Multiple Linear
Regression
Pengertian
Regresi
Regresi: ketergantungan satu variabel pada variabel yang lain, studi ketergantungan satu variabel (variabel tak bebas) pada satu atau lebih variabel lain
(variabel yang menjelaskan), dengan maksud untuk menaksir dan/atau meramalkan
nilai rata-rata hitung (mean) atau rata-rata (populasi) variabel tak
bebas, dalam pengambilan sampel berulang-ulang dari variabel yang menjelaskan (explanatory
variable) dengan 3 tujuan:
- estimasi
nilai rata-rata variabel è Estimate
a relationship among economic variables, such as y = f(x).
- menguji
hipotesa
- Memprediksi
è
Forecast or predict the value of one variable, y, based on the
value of another variable, x.
ESTIMASI
Salah satu bentuk inferensi statistika (pengambilan
kesimpulan) terhadap parameter populasi adalah estimasi. Dalam
estimasi yang dilakukan adalah menduga/memperkirakan parameter dengan penduga
yang sesuai (“terbaik”).
Misalnya :
|
populasi
|
sampel
|
mean
|
m
|
|
standar deviasi
|
s
|
s
|
variansi
|
s2
|
s2
|
proporsi
|
p
|
|
Dalam analisis regresi, ada asimetris atau tidak
seimbang (asymmetry) dalam memperlakukan variabel tak bebas dan variabel
bebas. Variabel tak bebas diasumsikan bersifat stokastik atau acak. Pada bagian
lain, variabel bebas diasumsikan mempunyai nilai yang tetap dalam pengambilan
sampel secara berulang-ulang. Sementara itu, dalam analisis korelasi, baik
variabel tak bebas maupun variabel bebas diperlakukan secara simetris atau
seimbang di mana tidak ada perbedaan antara variabel tak bebas dengan variabel
bebas.
Regresi klasik
- Regresi klasik mengasumsikan bahwa E (Xt,et)=0. Diasumsikan bahwa
tidak ada korelasi antara error term (et) dengan variabel
independennya, maka variabel independen disebut independen atau
deterministik.
- Apabila asumsi klasik tersebut di atas tidak
terpenuhi, yang berarti E(Xt,et)¹0, maka hasil estimasi dengan menggunakan methoda OLS tidak lagi
menghasilkan estimator yang BLUE.
- Jika ada korelasi positif antara independen variabel
dan error-term, ada kecenderungan hasil estimasi dengan menggunakan
OLS akan menghasilkan estimasi terhadap intersep yang under-valued,
dan koefisien parameter yang over-estimated. Apabila ukuran sampel
diperbesar, korelasi positif antara independen variabel dan error-term
akan menghasilkan estimasi yang semakin bias. Intersep akan semakin bias
ke bawah, sedangkan koefisien parameter akan semakin bias ke atas.
Fungsi Regresi
Populasi dan Fungsi Regresi Sampel
1.
population regression function
= PRF è E(Y½Xi)= bo + b1 Xi
+ mi
2.
Dengan asumsi bahwa data X dan
Y tersedia, maka nilai yang akan dicari adalah rata-rata pengharapan
atau populasi (expected or population mean) atau nilai rata-rata
populasi (population average value of Y) pada berbagai tingkat harga (X).
3.
E(Y½Xi)
è ekspektasi
rata-rata nilai Y pada berbagai Xi
a.
bo dan b1 =
parameter regresi
b.
mi = variabel
pengganggu
4.
sample regression function = SRF
a.
Ŷ = penaksir
dari E(Y½Xi)
b.
bo dan b1 = penaksir dari bo dan b1
c.
ei =
variabel pengganggu
PRF è SRF
- SRF digunakan sebagai pendekatan untuk mengestimasi
PRF
- Penggunaan SRF harus memperhatikan kenyataan bahwa
dalam dunia nyata terdapat unsur ketidakpastian (tidak ada hubungan yang
pasti).
- Untuk mengakomodasi faktor ketidakpastian, maka
ditambahkan dengan pengganggu atau faktor acak (ei).
Alasan penggunaan
variabel pengganggu
- Ketidaklengkapan
teori (vagueness of theory).
- Ketidaktersediaan
data (unavailability of data).
- Variabel
pusat vs variabel pinggiran (core variable versus
peripheral variable).
- Kesalahan
manusiawi (intrinsic randomness
in human behavior).
- Kurangnya
variabel pengganti (poor proxy variables).
- Prinsip
kesederhanaan (principle of
parsimony).
- Kesalahan
bentuk fungsi (wrong functional form).
Pengertian Linier
2. Linier
dalam Variabel
Linier E(Y½Xi)=
bo + b1 Xi
+ mi
Non Linier E(Y½Xi)= bo + b1 Xi2
+ mi
E(Y½Xi)= bo + b1 (1/Xi)
+ mi
n
Linier dalam Parameter
Dalam hal
ini yang dimaksud linier adalah linier dalam parameter
Regresi Linier Bersyarat Sederhana adalah regresi linier yang hanya melibatkan dua variabel,
satu variabel tak bebas serta satu variabel bebas
è 
è 
Dengan menggunakan metode estimasi yang biasa
dipakai dalam ekonometrika, yaitu OLS, pemilihan dan
dapat dilakukan dengan memilih nilai jumlah kuadrat residual (residual
sum of squared=RSS), yang paling
kecil. Minimisasi è
Dengan optimasi kondisi order pertama sama dengan
nol
è
Regresi Linier Berganda adalah regresi linier yang hanya melibatkan lebih dari dua
variabel, satu variabel tak bebas serta dua atau lebih variabel bebas (X), misal X2 dan X3
Metode Kuadrat Terkecil (Ordinary Least Square=OLS)
Asumsi OLS:
1.
Model regresi adalah linier
dalam parameter.
2.
Nilai X adalah tetap di
dalam sampel yang dilakukan secara berulang-ulang. Atau, X adalah
non-stokastik (deterministik).
3.
Nilai rata-rata dari unsur
faktor pengganggu adalah sama dengan nol
4.
Homokedastisitas
5.
Tidak ada otokorelasi antar
unsur pengganggu.
6.
Nilai kovarian antara ui dan
Xi adalah nol
7.
Jumlah pengamatan n
harus lebih besar daripada jumlah parameter yang diobservasi.
8.
Nilai X adalah bervariasi
(variability).
9.
Spesifikasi model regresi
harus benar, sehingga tidak terjadi specification bias or error.
10. Tidak ada multikolinieritas sempurna antar variabel penjelas.
Ciri-ciri estimator OLS
Teorema Gauss-Markov
Teorema ini menyatakan bahwa apabila semua asumsi
linier klasik dipenuhi, maka akan diketemukan model penaksir yang
- tidak bias (unbiased),
- linier
(linear) dan
- penaksir terbaik (efisien)
atau (best
linear unbiased estimator = BLUE) [Gujarati, 2003: 79]
Metode Kuadrat Terkecil dalam Model Regresi Linier Berganda
di mana 
, 
dan 
masing-masing adalah
nilai penaksir 
, 
dan 
.
Persamaan ini apabila dinyatakan dalam bentuk
persamaan garis regresi populasi (PRL) yang diestimasi adalah:
Langkah berikutnya adalah memilih nilai jumlah
kuadrat residual (=RSS), 
, yang sekecil
mungkin.
RSS dari persamaan di atas adalah:
RSS: 
Dengan manipulasi aljabar, diperoleh penaksir OLS
untuk b:
di mana 
dan 
adalah rata-rata
sampel dari X dan Y dan 
) dan 
.
Menghitung Nilai t Statistik
Parameter yang
diperoleh dalam estimasi OLS, masih perlu dipertanyakan apakah bersifat
signifikan atau tidak. Uji signifikansi dimaksudkan untuk mengverifikasi
kebenaran atau kesalahan hipotesis nol yang dibuat (Gujarati, 2003: 129). Salah
satu cara untuk menguji hipotesis yang melihat signifiknasi pengaruh variabel
independen terhadap variabel dependen adalah uji t. Secara sederhana, untuk
menghitung nilai t statistik dari dalam model regresi
ganda adalah:
t statistik = 
di mana 
.
Jika dimisalkan hipotesis nol 
, maka dapat ditulis:
t statistik = 
Dengan menggunakan uji t dalam pembuatan keputusan, maka setidaknya ada tiga pengetahuan
yang sangat dibutuhkan, yaitu:
- Tingkat
derajat kebebasan (degree of freedom).
Besar Degree of freeom (df) ditentukan berdasar (n – k), dimana n
adalah jumlah observasi dan k adalah jumlah parameter termasuk konstanta.
Sehingga bila dalam regresi sederhana terdapat satu variable penjelas dan
satu konstanta maka df = n-2, sedangkan dalam regresi berganda dengan 2
varibale penjelas maka df= n-3
- Tingkat
signifikansi (α) dapat dipilih pada kisaran 1 %; 5 % atau 10 %.
- Apakah
menggunakan uji dua sisi ataukah satu sisi. Penetapan uji satu atau dua
sisi tergantung pada hipotesis yang dibuat oleh peneliti. Apabila peneliti
menduga bahwa variabel penjelas memilih arah pengaruh yang pasti, misalnya
negatif atau positif maka, uji t yang digunakan adalah uji satu sisi (Ho: > 0, atau Ho: < 0).
Sedangkan bila tidak diketahui secara pasti arah pengaruhnya maka
digunakan uji dua sisi dengan Ho: = 0.
Apabila nilai t statistik lebih besar dibandingkan dengan nilai t tabel (kritisnya), maka hipotesis nol
yang mengatakan bahwa = 0 ditolak. Begitu
pula sebaliknya, apabila nilai t
statistik lebih kecil dibandingkan dengan nilai t tabel, maka hipotesis nol yang mengatakan bahwa = 0 harus ditolak.
Koefisien
Determinasi: Suatu Ukuran Kebaikan-Kesesuaian
Uji
kebaikan-kesesuaian (goodness of fit)
garis regresi terhadap sekumpulan data merupakan kelengkapan lain dari estimasi
OLS. Tujuan dari uji goodness of fit adalah
untuk mengetahui sejauh mana garis regresi sampel cocok dengan data. Hal ini
berkaitan dengan harapan kita agar semua pengamatan terletak pada garis
regresi, sehingga akan diperoleh kesesuaian yang sempurna. Kesesuaian semacam itu tidak akan terjadi
karena adanya unsur pengganggu menyebabkan tidak mungkin diperoleh nilai
kesesuaian yang sempurna.
Untuk lebih
memudahkan, nilai koefisien determinasi regresi dua variabel dinamakan dengan 
, sementara untuk nilai koefisien determinasi regresi
berganda dinamakan dengan 
. Nilai , dapat diamati dari
persamaan berikut:
bila ditulis dalam bentuk simpangan adalah:
Dengan mengkuadratkan kedua sisi dan
menjumlahkannya untuk semua sampel, maka akan diperoleh:
Karena ŷi
= b2xi, maka persamaan tersebut adalah ekuivalen
dengan,
Berbagai jumlah
kuadrat yang muncul dalam persamaan di atas dapat dijelaskan sebagai berikut:
1. 
= total variasi nilai Y
sebenarnya di sekitar rata-rata sampelnya, yang bisa disebut sebagai jumlah
kuadrat total (total sum of squares =
TSS).
2. 
= variasi nilai Y,
yang diestimasi di sekitar rata-ratanya 
, yang bisa disebut sebagai jumlah kuadrat karena regresi,
yaitu karena variabel yang menjelaskan, atau dijelaskan oleh regresi, atau
sering pula disebut dengan jumlah kuadrat yang dijelaskan (explained sum of squares = ESS).
3. = residual atau
variasi yang tidak dapat dijelaskan (unexplained)
dari nilai Y di sekitar garis regresi
atau sering pula disebut dengan jumlah kuadrat residual (residual sum of squares = RSS).
Dengan demikian, dapat ditulis sebagai berikut:
TSS=ESS + RSS
Memilih Model dan Bentuk Fungsi Model Empiris
- model empirik yang baik dan mempunyai daya prediksi
serta peramalan dalam sampel
- syarat-syarat dasar lain:
a.
model itu dibuat sebagai suatu
perpsepsi mengenai fenomena ekonomi aktual yang dihadapi dan didasarkan pada
teori ekonomika yang sesuai,
b.
lolos uji baku dan berbagai
uji diagnosis asumsi klasik,
c.
tidak menghadapi persoalan
regresi lancung atau korelasi lancung dan residu regresi yang ditaksir adalah
stasioner khususnya untuk analisis data runtun waktu
d.
specification error è variabel gangguan (disturbances), variabel
penjelas (explanatory variable) dan parameter.
e.
penentuan bentuk fungsi (functional form)
dari model yang akan diestimasi è bentuk fungsi adalah linier atau log-linier
- Kriteria
pemilihan model empirik
a.
Sederhana (parsimony)
b.
Mempunyai adminisibilitas dengan data (data
admissibility)
c.
Koheren dengan data (data coherency)
d.
Parameter yang diestimasi harus konstan (constant
parameter)
e.
Model konsisten dengan teori ekonomika yang dipilih
atau teori pesaingnya (theoretical consistency)
f.
Model mampu mengungguli (encompassing) model
pesaingnya è
diketahui via nested dan non nested test
Rumus Kriteria Statistika Seleksi Model
Tabel Rumus Kriteria Statistika
Seleksi Model
Nama
|
Rumus
|
Nama
|
Rumus
|
1. AIC
|
|
6. SCHWARZ
|
|
2. FPE
|
|
7. SGMASQ
|
|
3. GCV
|
|
8. SHIBATA
|
|
4. HQ
|
|
9. PC
|
|
5. RICE
|
|
10. RVC
|
|
Keterangan:
RSS = Residual
sum of squares
T = Jumlah data/observasi
k = Jumlah variabel penjelas ditambah dengan
konstanta
kj = Jumlah variabel penjelas tanpa konstanta
Menentukan Bentuk Fungsi Model Empiris
Kesalahan spesifikasi yang sering muncul adalah
apabila peneliti terserang sindrom R2 yang menganggap bahwa R2
merupakan besaran statistika penting dan harus memiliki nilai yang tinggi
(mendekati satu). Dalam kasus di mana variabel tak bebasnya berbeda, katakanlah
model A dengan variabel tak bebas dalam bentuk aras (level of) dan model
B variabel tak bebasnya dinyatakan dalam logaritma, maka dan
tidak dapat dibandingkan
Uji MacKinnon,
White dan Davidson (MWD Test)
- Yt
= a0 + a1Xt1 + a2Xt2
+ ut
- LYt
= b0 + b1LXt1 + b2LXt2
+ vt
- persamaan
uji MWD
- Yt
= a0 + a1Xt1 + a2Xt2
+ a3Z1 + ut
- LYt
= b0 + b1LXt1 + b2LXt2
+ b3Z2 + vt
- Z1
è
nilai logaritma dari fitted persamaan dasar dikurangi dengan nilai fitted
persamaan log
- Z2
è
nilai antilog dari fitted persamaan log dikurangi dengan nilai fitted
persamaan dasar
- Bila
Z1 signifikan secara statistik, maka hipotesis nol yang
menyatakan bahwa model yang benar adalah bentuk linear ditolak
- bila
Z2 signifikan secara statistik, maka hipotesis alternatif yang
menyatakan bahwa model yang benar adalah log-linear ditolak.
Langkah MWD
•
Regresi model log-linier dan dapatkan nilai
estimasi log Y (log Y fitted) ® LYF
–
Klik QUICK
–
ESTIMATE EQUATION
–
log(Y) C log(X2) log(X3)
–
OK
–
Dari tampilan equation,
•
FORECAST
•
log(y)
•
LYF (pada
kotak dialog SERIES NAME ®
FORECAST NAME)
•
OK
•
Beri nama equation,
•
klik NAME
•
EQ02
•
OK
Dependent Variable: LOG(INVR)
|
Method: Least Squares
|
Date: 02/15/08
Time: 04:38
|
Sample: 1980:1 2005:4
|
Included observations: 104
|
Variable
|
Coefficient
|
Std.
Error
|
t-Statistic
|
Prob.
|
C
|
-0.757923
|
0.393766
|
-1.924804
|
0.0571
|
LOG(RK)
|
0.136025
|
0.062273
|
2.184318
|
0.0313
|
LOG(YDR)
|
0.917818
|
0.034187
|
26.84702
|
0.0000
|
R-squared
|
0.885161
|
Mean
dependent var
|
10.00437
|
Adjusted R-squared
|
0.882887
|
S.D.
dependent var
|
0.470160
|
S.E. of regression
|
0.160897
|
Akaike
info criterion
|
-0.787680
|
Sum squared resid
|
2.614680
|
Schwarz
criterion
|
-0.711399
|
Log likelihood
|
43.95935
|
F-statistic
|
389.2460
|
Durbin-Watson stat
|
0.470514
|
Prob(F-statistic)
|
0.000000
|
•
GENR Z1 = log(YF) – LYF
•
Regresi Y terhadap variabel X dan Z1. Jika Z1
signifikan secara statistik, maka tolak Ho (model linier) dan jika tidak
signifikan, maka tidak menolak Ho
•
GENR Z2= exp(LYF) – YF
•
Regresi log Y terhadap variabel log X dan Z2. Jika
Z2 signifikan secara statistik, maka tolak Ha (model log linier) dan jika tidak
signifikan maka tidak menolak Ha
Dependent Variable: INVR
|
Method: Least Squares
|
Included observations: 104
|
Variable
|
Coefficient
|
Std.
Error
|
t-Statistic
|
Prob.
|
C
|
26934.79
|
4400.626
|
6.120672
|
0.0000
|
RK
|
-418.2901
|
113.2593
|
-3.693207
|
0.0004
|
YDR
|
0.101303
|
0.022810
|
4.441115
|
0.0000
|
Z1
|
-129721.0
|
21086.83
|
-6.151754
|
0.0000
|
Dependent Variable: LOG(INVR)
|
Method: Least Squares
|
Included observations: 104
|
Variable
|
Coefficient
|
Std.
Error
|
t-Statistic
|
Prob.
|
C
|
-2.263580
|
1.044447
|
-2.167252
|
0.0326
|
LOG(RK)
|
0.215951
|
0.080420
|
2.685284
|
0.0085
|
LOG(YDR)
|
1.029080
|
0.079211
|
12.99158
|
0.0000
|
Z2
|
-7.30E-05
|
4.69E-05
|
-1.554652
|
0.1232
|
AIC, Ommited
test, wald test
•
Model A:
Yt = a1
+ a2 X2 + a3 X3 + a4 X4
+ a5 X5 + a6 X6 + ut
•
Model B:
LYt =
b1 + b2 LX2 + b3 LX3 + b4
LX4 + b5 LX5 + b6 LX6 +
ut
AIC
•
Regresi model A dan model B
dengan satu variabel bebas. è Perintahnya:
–
Dari menu utama,
–
Klik QUICK
–
ESTIMATE EQUATION,
–
Y C X2
–
OK
•
Tambahan variabel X3:
–
dari workfile EQUATION,
–
klik PROCS
–
SPECIFY/ESTIMATE
–
X3 (pada
kotak dialog)
–
OK
•
Lakukan berulang untuk
variabel baru lainnya dan model B
•
Jika penambahan variabel bebas
baru menaikkan nilai AIC maka variabel bebas baru harus dikeluarkan dari model
dan sebaliknya jika penambahan variabel baru menurunkan AIC maka variabel baru masuk dalam model
Omitted Test
•
Test ini dilakukan menguji apakah variabel baru
bisa ditambahkan dalam model
•
Regresi OLS model A dengan satu variabel bebas
–
Dari Workfile Equation,
–
klik VIEW
–
COEFFICIENT TESTS
–
OMITTED VARIABLES – LIKELIHOOD RATIO
–
X3 (Pada kotak dialog ketikkan nama variabel
baru yang akan ditambahkan)
–
OK.
•
Perhatikan nilai probabilitas pada F-Statistic,
jika lebih kecil dari 0,05 berarti penambahan variabel baru memberikan
kontribusi yang signifikan pada model sehingga varibel tersebut harus
dimasukkan dalam model.
Wald Test
•
Kebalikan dari omitted test, wald test dilakukan
untuk mengeluarkan variabel dari model
•
Regresi model A dengan memasukkan semua variabel
bebas
•
Lakukan Wald test terhadap variabel yang paling
tidak signifikan pada regresi awal, misal X6.
–
Dari Equation:
–
klik VIEW
–
COEFFICIENT TESTS
–
WALD – Coefficient Restrictions,
–
C(6)=0 (Pada kotak dialog tuliskan koefisien yang
akan direstriksi, yaitu c(6)=0)
–
OK
•
Probabilitas F tidak signifikan, berarti variabel
X6 bisa dikeluarkan dari model
NB: Maaf, rumus (equation) tidak dapat ditampilkan dalam postingan dikarena tidak support!
By
Budi Y
Dapat mengoperasikan model yang jauh lebih rumit dan bersifat
multidimensi.
0 comments: