Ekonometrik Keuangan01

REGRESI LINIER BERGANDA

Multiple Linear Regression

Pengertian Regresi

Regresi: ketergantungan  satu variabel pada variabel yang lain, studi ketergantungan satu variabel (variabel tak bebas) pada satu atau lebih variabel lain (variabel yang menjelaskan), dengan maksud untuk menaksir dan/atau meramalkan nilai rata-rata hitung (mean) atau rata-rata (populasi) variabel tak bebas, dalam pengambilan sampel berulang-ulang dari variabel yang menjelaskan (explanatory variable) dengan 3 tujuan:

1. estimasi nilai rata-rata variabel è Estimate a relationship among economic variables, such as y = f(x).
2. menguji hipotesa
3. Memprediksi è Forecast or predict the value of one variable, y, based on the value of another variable, x.

ESTIMASI

Salah satu bentuk inferensi statistika (pengambilan kesimpulan) terhadap parameter populasi adalah estimasi. Dalam estimasi yang dilakukan adalah menduga/memperkirakan parameter dengan penduga yang sesuai (“terbaik”).

Misalnya :

	populasi	sampel
mean	m
standar deviasi	s	s
variansi	s2	s2
proporsi	p

Dalam analisis regresi, ada asimetris atau tidak seimbang (asymmetry) dalam memperlakukan variabel tak bebas dan variabel bebas. Variabel tak bebas diasumsikan bersifat stokastik atau acak. Pada bagian lain, variabel bebas diasumsikan mempunyai nilai yang tetap dalam pengambilan sampel secara berulang-ulang. Sementara itu, dalam analisis korelasi, baik variabel tak bebas maupun variabel bebas diperlakukan secara simetris atau seimbang di mana tidak ada perbedaan antara variabel tak bebas dengan variabel bebas.

Regresi klasik

1. Regresi klasik mengasumsikan bahwa E (X_t,e_t)=0. Diasumsikan bahwa tidak ada korelasi antara error term (e_t) dengan variabel independennya, maka variabel independen disebut independen atau deterministik.
2. Apabila asumsi klasik tersebut di atas tidak terpenuhi, yang berarti E(X_t,e_t)¹0, maka hasil estimasi dengan menggunakan methoda OLS tidak lagi menghasilkan estimator yang BLUE.
3. Jika ada korelasi positif antara independen variabel dan error-term, ada kecenderungan hasil estimasi dengan menggunakan OLS akan menghasilkan estimasi terhadap intersep yang under-valued, dan koefisien parameter yang over-estimated. Apabila ukuran sampel diperbesar, korelasi positif antara independen variabel dan error-term akan menghasilkan estimasi yang semakin bias. Intersep akan semakin bias ke bawah, sedangkan koefisien parameter akan semakin bias ke atas.

Fungsi Regresi Populasi dan Fungsi Regresi Sampel

1.     population regression function = PRF è E(Y½X_i)= b_o + b₁ X_i + m_i

2.     Dengan asumsi bahwa data X dan Y tersedia, maka nilai yang akan dicari adalah rata-rata pengharapan atau populasi (expected or population mean) atau nilai rata-rata populasi (population average value of Y) pada berbagai tingkat harga (X).

3.     E(Y½X_i) è ekspektasi rata-rata nilai Y pada berbagai X_i

a.     b_o dan b₁   =  parameter regresi

b.     m_i = variabel pengganggu                         

4.     sample regression function = SRF 

a.      Ŷ = penaksir dari E(Y½X_i)

b.     b_o dan b₁ = penaksir dari b_o dan b₁

c.     e_i = variabel  pengganggu

PRF è SRF

1. SRF digunakan sebagai pendekatan untuk mengestimasi PRF
2. Penggunaan SRF harus memperhatikan kenyataan bahwa dalam dunia nyata terdapat unsur ketidakpastian (tidak ada hubungan yang pasti).
3. Untuk mengakomodasi faktor ketidakpastian, maka ditambahkan dengan pengganggu atau faktor acak (e_i).

Alasan penggunaan variabel pengganggu

1. Ketidaklengkapan teori (vagueness of theory).
2. Ketidaktersediaan data (unavailability of data).
3. Variabel pusat vs variabel pinggiran (core variable versus peripheral variable).
4. Kesalahan manusiawi (intrinsic randomness in human behavior).
5. Kurangnya variabel pengganti (poor proxy variables).
6. Prinsip kesederhanaan (principle of parsimony).
7. Kesalahan bentuk fungsi (wrong functional form).

Pengertian Linier

2.     Linier dalam Variabel

          Linier E(Y½X_i)= b_o + b₁ X_i + m_i   

Non Linier    E(Y½X_i)= b_o + b₁ X_i2 + m_i  

                             E(Y½X_i)= b_o + b₁ (1/X_i) + m_i

n      Linier dalam Parameter

 Dalam hal ini yang dimaksud linier adalah linier dalam parameter

Regresi Linier Bersyarat Sederhana adalah regresi linier yang hanya melibatkan dua variabel, satu variabel tak bebas serta satu variabel bebas

è

 è

Dengan menggunakan metode estimasi yang biasa dipakai dalam ekonometrika, yaitu OLS, pemilihan  dan  dapat dilakukan dengan memilih nilai jumlah kuadrat residual (residual sum of squared=RSS),  yang paling kecil. Minimisasi è

Dengan optimasi kondisi order pertama sama dengan nol

 è

Regresi Linier Berganda adalah regresi linier yang hanya melibatkan lebih dari dua variabel, satu variabel tak bebas serta dua atau lebih  variabel bebas (X), misal X2 dan X3

Metode Kuadrat Terkecil (Ordinary Least Square=OLS)

Asumsi OLS:

1.     Model regresi adalah linier dalam parameter.

2.     Nilai X adalah tetap di dalam sampel yang dilakukan secara berulang-ulang. Atau, X adalah non-stokastik (deterministik).

3.     Nilai rata-rata dari unsur faktor pengganggu adalah sama dengan nol

4.     Homokedastisitas

5.     Tidak ada otokorelasi antar unsur pengganggu.

6.     Nilai kovarian antara ui dan Xi adalah nol

7.     Jumlah pengamatan n harus lebih besar daripada jumlah parameter yang diobservasi.

8.     Nilai X adalah bervariasi (variability).

9.     Spesifikasi model regresi harus benar, sehingga tidak terjadi specification bias or error.

10. Tidak ada multikolinieritas sempurna  antar variabel penjelas.

Ciri-ciri estimator OLS

Teorema Gauss-Markov  

Teorema ini menyatakan bahwa apabila semua asumsi linier klasik dipenuhi, maka akan diketemukan model penaksir yang

1. tidak bias (unbiased),
2. linier (linear) dan
3. penaksir terbaik (efisien)

 atau (best linear unbiased estimator = BLUE) [Gujarati, 2003: 79]

Metode Kuadrat Terkecil dalam Model Regresi Linier Berganda

         

di mana ,  dan  masing-masing adalah nilai penaksir ,  dan .

Persamaan ini apabila dinyatakan dalam bentuk persamaan garis regresi populasi (PRL) yang diestimasi adalah:

         

Langkah berikutnya adalah memilih nilai jumlah kuadrat residual (=RSS), ,  yang sekecil mungkin.

RSS dari persamaan di atas adalah:

RSS:

Dengan manipulasi aljabar, diperoleh penaksir OLS untuk b:

di mana  dan  adalah rata-rata sampel dari X dan Y dan ) dan .

Menghitung Nilai t Statistik

Parameter yang diperoleh dalam estimasi OLS, masih perlu dipertanyakan apakah bersifat signifikan atau tidak. Uji signifikansi dimaksudkan untuk mengverifikasi kebenaran atau kesalahan hipotesis nol yang dibuat (Gujarati, 2003: 129). Salah satu cara untuk menguji hipotesis yang melihat signifiknasi pengaruh variabel independen terhadap variabel dependen adalah uji t. Secara sederhana, untuk menghitung nilai t statistik dari  dalam model regresi ganda adalah:

t statistik =

di mana .

Jika dimisalkan hipotesis nol , maka dapat ditulis:

t statistik =

Dengan menggunakan uji t dalam pembuatan keputusan, maka setidaknya ada tiga pengetahuan yang sangat dibutuhkan, yaitu:

1. Tingkat derajat kebebasan (degree of freedom). Besar Degree of freeom (df)  ditentukan berdasar (n – k), dimana n adalah jumlah observasi dan k adalah jumlah parameter termasuk konstanta. Sehingga bila dalam regresi sederhana terdapat satu variable penjelas dan satu konstanta maka df = n-2, sedangkan dalam regresi berganda dengan 2 varibale penjelas maka df= n-3
2. Tingkat signifikansi (α) dapat dipilih pada kisaran  1 %; 5 % atau 10 %.
3. Apakah menggunakan uji dua sisi ataukah satu sisi. Penetapan uji satu atau dua sisi tergantung pada hipotesis yang dibuat oleh peneliti. Apabila peneliti menduga bahwa variabel penjelas memilih arah pengaruh yang pasti, misalnya negatif atau positif maka, uji t yang digunakan adalah uji satu sisi (Ho:  > 0, atau Ho:  < 0). Sedangkan bila tidak diketahui secara pasti arah pengaruhnya maka digunakan uji dua sisi dengan Ho:  = 0.

Apabila nilai t statistik lebih besar dibandingkan dengan nilai t tabel (kritisnya), maka hipotesis nol yang mengatakan bahwa  = 0 ditolak. Begitu pula sebaliknya, apabila nilai t statistik lebih kecil dibandingkan dengan nilai t tabel, maka hipotesis nol yang mengatakan bahwa  = 0 harus ditolak.

Koefisien Determinasi: Suatu Ukuran Kebaikan-Kesesuaian

Uji kebaikan-kesesuaian (goodness of fit) garis regresi terhadap sekumpulan data merupakan kelengkapan lain dari estimasi OLS. Tujuan dari uji goodness of fit adalah untuk mengetahui sejauh mana garis regresi sampel cocok dengan data. Hal ini berkaitan dengan harapan kita agar semua pengamatan terletak pada garis regresi, sehingga akan diperoleh kesesuaian yang sempurna.  Kesesuaian semacam itu tidak akan terjadi karena adanya unsur pengganggu menyebabkan tidak mungkin diperoleh nilai kesesuaian yang sempurna.

Untuk lebih memudahkan, nilai koefisien determinasi regresi dua variabel dinamakan dengan , sementara untuk nilai koefisien determinasi regresi berganda dinamakan dengan . Nilai , dapat  diamati dari persamaan berikut:

Variasi dalam dari nilai nilai rata-ratanya

Variasi dalam  yang dijelaskan oleh X  di sekitar nilai nilai rata-ratanya (Catatan:  )

Yang tidak dapat dijelaskan atau variasi residual

 

bila ditulis dalam bentuk simpangan adalah:

Dengan mengkuadratkan kedua sisi dan menjumlahkannya untuk semua sampel, maka akan diperoleh:

Karena ŷ_i = b₂x_i, maka persamaan tersebut adalah ekuivalen dengan,

 

Berbagai jumlah kuadrat yang muncul dalam persamaan di atas dapat dijelaskan sebagai berikut:

1.      = total variasi nilai Y sebenarnya di sekitar rata-rata sampelnya, yang bisa disebut sebagai jumlah kuadrat total (total sum of squares = TSS).

2.      = variasi nilai Y, yang diestimasi di sekitar rata-ratanya , yang bisa disebut sebagai jumlah kuadrat karena regresi, yaitu karena variabel yang menjelaskan, atau dijelaskan oleh regresi, atau sering pula disebut dengan jumlah kuadrat yang dijelaskan (explained sum of squares = ESS).

3.      = residual atau variasi yang tidak dapat dijelaskan (unexplained) dari nilai Y di sekitar garis regresi atau sering pula disebut dengan jumlah kuadrat residual (residual sum of squares = RSS).

Dengan demikian, dapat ditulis sebagai berikut:

TSS=ESS + RSS

Memilih Model dan Bentuk Fungsi Model Empiris

1. model empirik yang baik dan mempunyai daya prediksi serta peramalan dalam sampel
2. syarat-syarat dasar lain:

a.     model itu dibuat sebagai suatu perpsepsi mengenai fenomena ekonomi aktual yang dihadapi dan didasarkan pada teori ekonomika yang sesuai,

b.     lolos uji baku dan berbagai uji diagnosis asumsi klasik,

c.     tidak menghadapi persoalan regresi lancung atau korelasi lancung dan residu regresi yang ditaksir adalah stasioner khususnya untuk analisis data runtun waktu

d.     specification error è variabel gangguan (disturbances), variabel penjelas (explanatory variable) dan parameter.

e.     penentuan bentuk fungsi (functional form) dari model yang akan diestimasi è   bentuk fungsi adalah linier atau log-linier

3. Kriteria pemilihan model empirik

a.     Sederhana (parsimony)

b.     Mempunyai adminisibilitas dengan data (data admissibility)

c.     Koheren dengan data (data coherency)

d.     Parameter yang diestimasi harus konstan (constant parameter)

e.     Model konsisten dengan teori ekonomika yang dipilih atau teori pesaingnya (theoretical consistency)

f.       Model mampu mengungguli (encompassing) model pesaingnya  è diketahui via nested dan non nested test

Rumus Kriteria Statistika Seleksi Model

Tabel  Rumus Kriteria Statistika Seleksi Model

Nama	Rumus	Nama	Rumus
1. AIC		6. SCHWARZ
2. FPE		7. SGMASQ
3. GCV		8. SHIBATA
4. HQ		9. PC
5. RICE		10. RVC

Keterangan:

RSS  = Residual sum of squares

T     = Jumlah data/observasi

k      = Jumlah variabel penjelas ditambah dengan konstanta

k_j     = Jumlah variabel penjelas tanpa konstanta

Menentukan Bentuk Fungsi Model Empiris

Kesalahan spesifikasi yang sering muncul adalah apabila peneliti terserang sindrom R2 yang menganggap bahwa R2 merupakan besaran statistika penting dan harus memiliki nilai yang tinggi (mendekati satu). Dalam kasus di mana variabel tak bebasnya berbeda, katakanlah model A dengan variabel tak bebas dalam bentuk aras (level of) dan model B variabel tak bebasnya dinyatakan dalam logaritma, maka  dan  tidak dapat dibandingkan

Uji MacKinnon, White dan Davidson (MWD Test)

• Y_t = a₀ + a₁X_t1 + a₂X_t2 + u_t
• LY_t = b₀ + b₁LX_t1 + b₂LX_t2 + v_t
• persamaan uji MWD
• Y_t = a₀ + a₁X_t1 + a₂X_t2 + a₃Z₁ + u_t
• LY_t = b₀ + b₁LX_t1 + b₂LX_t2 + b₃Z₂ + v_t
• Z₁ è nilai logaritma dari fitted persamaan dasar dikurangi dengan nilai fitted persamaan log
• Z₂ è nilai antilog dari fitted persamaan log dikurangi dengan nilai fitted persamaan dasar
• Bila Z₁ signifikan secara statistik, maka hipotesis nol yang menyatakan bahwa model yang benar adalah bentuk linear ditolak
• bila Z₂ signifikan secara statistik, maka hipotesis alternatif yang menyatakan bahwa model yang benar adalah log-linear ditolak.

Langkah MWD

•         Regresi model log-linier dan dapatkan nilai estimasi log Y (log Y fitted) ® LYF

–        Klik QUICK

–        ESTIMATE EQUATION

–        log(Y) C log(X2) log(X3)

–        OK

–        Dari tampilan equation,

•         FORECAST

•         log(y)

•         LYF     (pada kotak dialog SERIES NAME ® FORECAST NAME)

•         OK

•         Beri nama equation,

•         klik NAME

•         EQ02

•         OK

Dependent Variable: LOG(INVR)
Method: Least Squares
Date: 02/15/08   Time: 04:38
Sample: 1980:1 2005:4
Included observations: 104
Variable	Coefficient	Std. Error	t-Statistic	Prob.
C	-0.757923	0.393766	-1.924804	0.0571
LOG(RK)	0.136025	0.062273	2.184318	0.0313
LOG(YDR)	0.917818	0.034187	26.84702	0.0000
R-squared	0.885161	Mean dependent var		10.00437
Adjusted R-squared	0.882887	S.D. dependent var		0.470160
S.E. of regression	0.160897	Akaike info criterion		-0.787680
Sum squared resid	2.614680	Schwarz criterion		-0.711399
Log likelihood	43.95935	F-statistic		389.2460
Durbin-Watson stat	0.470514	Prob(F-statistic)		0.000000

•         GENR Z1 = log(YF) – LYF

•         Regresi Y terhadap variabel X dan Z1. Jika Z1 signifikan secara statistik, maka tolak Ho (model linier) dan jika tidak signifikan, maka tidak menolak Ho

•         GENR Z2= exp(LYF) – YF

•         Regresi log Y terhadap variabel log X dan Z2. Jika Z2 signifikan secara statistik, maka tolak Ha (model log linier) dan jika tidak signifikan maka tidak menolak Ha

Dependent Variable: INVR
Method: Least Squares
Included observations: 104
Variable	Coefficient	Std. Error	t-Statistic	Prob.
C	26934.79	4400.626	6.120672	0.0000
RK	-418.2901	113.2593	-3.693207	0.0004
YDR	0.101303	0.022810	4.441115	0.0000
Z1	-129721.0	21086.83	-6.151754	0.0000

Dependent Variable: LOG(INVR)
Method: Least Squares
Included observations: 104
Variable	Coefficient	Std. Error	t-Statistic	Prob.
C	-2.263580	1.044447	-2.167252	0.0326
LOG(RK)	0.215951	0.080420	2.685284	0.0085
LOG(YDR)	1.029080	0.079211	12.99158	0.0000
Z2	-7.30E-05	4.69E-05	-1.554652	0.1232

AIC, Ommited test, wald test

•         Model A:     

Y_t = a₁ + a₂ X₂ + a₃ X₃ + a₄ X₄ + a₅ X₅ + a₆ X₆ + u_t

•         Model B:     

LY_t = b₁ + b₂ LX₂ + b₃ LX₃ + b₄ LX₄ + b₅ LX₅ + b₆ LX₆ + u_t

AIC

•         Regresi model A dan model B dengan satu variabel bebas. è Perintahnya:

–        Dari menu utama,

–        Klik QUICK

–        ESTIMATE EQUATION,

–        Y C X2

–        OK

•         Tambahan variabel X3:

–        dari workfile EQUATION,

–        klik PROCS

–        SPECIFY/ESTIMATE

–        X3                         (pada kotak dialog)

–        OK

•         Lakukan berulang untuk variabel baru lainnya dan model B

•         Jika penambahan variabel bebas baru menaikkan nilai AIC maka variabel bebas baru harus dikeluarkan dari model dan sebaliknya jika penambahan variabel baru menurunkan AIC maka variabel baru masuk dalam model

Omitted Test

•         Test ini dilakukan menguji apakah variabel baru bisa ditambahkan dalam model

•         Regresi OLS model A dengan satu variabel bebas

–        Dari Workfile Equation,

–        klik VIEW

–        COEFFICIENT TESTS

–        OMITTED VARIABLES – LIKELIHOOD RATIO

–        X3      (Pada kotak dialog ketikkan nama variabel baru yang akan ditambahkan)

–        OK.

•         Perhatikan nilai probabilitas pada F-Statistic, jika lebih kecil dari 0,05 berarti penambahan variabel baru memberikan kontribusi yang signifikan pada model sehingga varibel tersebut harus dimasukkan dalam model.

Wald Test

•         Kebalikan dari omitted test, wald test dilakukan untuk mengeluarkan variabel dari model

•         Regresi model A dengan memasukkan semua variabel bebas

•         Lakukan Wald test terhadap variabel yang paling tidak signifikan pada regresi awal, misal X6.

–        Dari Equation:

–        klik VIEW

–        COEFFICIENT TESTS

–        WALD – Coefficient Restrictions,

–        C(6)=0    (Pada kotak dialog tuliskan koefisien yang akan direstriksi, yaitu c(6)=0)

–        OK

•         Probabilitas F tidak signifikan, berarti variabel X6 bisa dikeluarkan dari model

NB: Maaf, rumus (equation) tidak dapat ditampilkan dalam postingan dikarena tidak support!