Lý thuyết Kinh tế lượng (AAA) - Hồi quy OLS

Tìm thêm tài liệu tại aaaclass.edu.vn giasuktl@gmail.com ÔN THI KINH TẾ LƯỢNG 2014 – 2015 Buổi 1. Hồi quy OLS A. Số liệu trong Kinh tế lượng: – Số liệu chuỗi thời gian: Số liệu của 1 đơn vị kinh tế theo chuỗi thời gian: ngày, tháng, quý, năm … – Số liệu chéo: Số liệu của nhiều đơn vị kinh tế tại 1 thời điểm. – Số liệu hỗn hợp (số liệu bảng): Số liệu của nhiều đơn vị kinh tế theo chuỗi thời gian. Số liệu chuỗi thời gian Số liệu chéo Chi tiêu C và thu nhập Y của anh A từ 2000 đến 2002 Chi tiêu C và thu nhập Y của A, B, C năm 2000 Năm Y C Người Y C 5 4 5 4 2000 A 5 6.5 5 2001 6.5 B 7 5.5 7 5.5 2002 C Số liệu hỗn hợp Chi tiêu C và thu nhập Y của A, B, C từ 2000 - 2002 Y C Y-2000 Y-2001 Y-2002 C-2000 C-2001 C-2002 5 6.5 7 4 5 5.5 A 4.5 5 6.5 4 4 4.5 B 5 6 6.5 3.5 5 5 C B. Mô hình hồi quy tuyến tính: Mô hình (hàm) hồi quy tổng thể (PRF): 𝐸(𝑌|𝑋2𝑖 , … 𝑋𝑘𝑖 ) = 𝛽1 + 𝛽2 𝑋2𝑖 + ⋯ + 𝛽𝑘 𝑋𝑘𝑖 𝑌𝑖 = 𝐸(𝑌|𝑋2𝑖 , … 𝑋𝑘𝑖 ) + 𝑢𝑖 Mô hình (hàm) hồi quy mẫu (SRF): 𝑌̂𝑖 = 𝛽̂1 + 𝛽̂2 𝑋2𝑖 + ⋯ + 𝛽̂𝑘 𝑋𝑘𝑖 𝑌𝑖 = 𝑌̂𝑖 + 𝑒𝑖 Sai số ngẫu nhiên và phần dư: đại diện cho những yếu tố không đưa được vào mô hình. Sai số ngẫu nhiên (Nhiễu) Phần dư (là ước lượng của sai số) 𝑢𝑖 = 𝑌𝑖 − 𝐸(𝑌|𝑋𝑖 ) 𝑒𝑖 = 𝑌𝑖 − 𝑌̂𝑖 Ý nghĩa của hệ số hồi quy: – 𝛽1 : Trong MH hồi quy tuyến tính, khi tất cả 𝑋𝑖 = 0 thì giá trị trung bình của biến phụ thuộc là 𝛽1. – 𝛽2 : Dạng hàm Công thức Ý nghĩa hệ số góc Tuyến tính 𝑋 tăng 1 đơn vị thì 𝑌 trung bình tăng 𝛽2 đơn vị 𝑌 = 𝛽1 + 𝛽2 𝑋 + 𝑢𝑖 Log 𝑋 tăng 1% thì 𝑌 trung bình tăng 𝛽2% ln(𝑌) = 𝛽1 + 𝛽2 ln(𝑋) + 𝑢𝑖 Log – Lin 𝑋 tăng 1 đơn vị thì 𝑌 trung bình tăng 100.𝛽2% ln(𝑌) = 𝛽1 + 𝛽2 𝑋 + 𝑢𝑖 Lin – Log 𝑋 tăng 1% thì 𝑌 trung bình tăng 𝛽2/100 đơn vị 𝑌 = 𝛽1 + 𝛽2 ln(𝑋) + 𝑢𝑖 Lưu ý: – Mô hình hồi quy tuyến tính là mô hình có các hệ số hồi quy ở dạng bậc nhất (so với dấu “=”). – Mô hình có n quan sát, k hệ số hồi quy thì có số bậc tự do là: n – k. – Khi đơn vị 𝑋 thay đổi làm giá trị của 𝑋 tăng m lần, đơn vị 𝑌 không đổi, thì hệ số góc 𝛽 tương ứng với 𝑋 giảm m lần (hệ số chặn không đổi). – Nếu mô hình có nhiều biến độc lập, khi nêu ý nghĩa hệ số của biến độc lập này thì phải cố định các biến độc lập còn lại (các biến còn lại không đổi). Bài luyện tập 1: Mô hình nào sau đây là mô hình hồi quy tuyến tính: 𝑋 𝛽 b) 𝑌 = 𝛽 +𝛽 𝑋 + 𝑢 a) 𝑌 = 𝛽1 + 𝑋2 + 𝑢 1 c) 𝑌 2 = 𝛽1 + 𝛽2 √ln(𝑋) + 𝑢 2 d) 𝑌 = 𝑒 𝛽1 +𝛽2 𝑋+𝑢 Bài luyện tập 2: Cho (SRF): 𝑌 = 5 − 0.5𝑋1 + ln(𝑋2 ) + 𝑒𝑖 . Biết 𝑛 = 150. a) Ý nghĩa của hệ số biến 𝑋1 là gì? 1 Tìm thêm tài liệu tại aaaclass.edu.vn giasuktl@gmail.com b) Biết 𝑌 là lượng cầu cơm rang (đĩa), 𝑋1 là giá 1 đĩa cơm rang (nghìn đồng/đĩa), 𝑋2 là giá 1 bát bún (nghìn đồng/bát). Hỏi khi giá 1 bát bún tăng 2% thì lượng cầu cơm rang thay đổi như thế nào? c) Thay đổi đơn vị giá cơm rang từ nghìn đồng/đĩa sang triệu đồng/đĩa. Nêu ý nghĩa hệ số của 𝑋1 ? C. Phương pháp bình phương nhỏ nhất OLS Giả thiết OLS: 𝑋𝑖 đã biết (phi ngẫu nhiên). Kỳ vọng 𝑢𝑖 bằng 0: 𝐸(𝑢𝑖 ) = 0 ∀𝑖 Phương sai 𝑢𝑖 không đổi: 𝑣𝑎𝑟(𝑢𝑖 ) = 𝑣𝑎𝑟(𝑢𝑖 ) = 𝜎 2 ∀𝑖 ≠ 𝑗 Không có sự tương quan giữa các 𝑢𝑖 : 𝑐𝑜𝑣(𝑢𝑖 , 𝑢𝑗 ) = 0 ∀𝑖 ≠ 𝑗 𝑢𝑖 và 𝑋𝑖 không tương quan: 𝑐𝑜𝑣(𝑢𝑖 , 𝑋𝑗 ) = 0 ∀𝑖 Nhiễu phân phối chuẩn: 𝑢𝑖 ~ 𝑁(0, 𝜎 2 ) Không có đa cộng tuyến hoàn hảo (đối với mô hình hồi quy bội). Ước lượng OLS: Ước lượng càng chính xác khi giá trị ước lượng 𝑌̂𝑖 càng gần với giá trị thực 𝑌𝑖 . Phương pháp OLS ước lượng các 𝛽 sao cho ∑ 𝑒𝑖2 = ∑(𝑌𝑖 − 𝑌̂𝑖 )2 nhỏ nhất. Công thức hệ số ước lượng của mô hình hồi quy đơn: ∑(𝑋𝑖 − 𝑋̅)(𝑌𝑖 − 𝑌̅) ∑ 𝑥𝑖 𝑦𝑖 𝑐𝑜𝑣(𝑋𝑖 , 𝑌𝑖 ) 𝛽̂2 = = = 𝛽̂1 = 𝑌̅ − 𝛽̂2 𝑋̅ ∑ 𝑥𝑖 2 ∑(𝑋𝑖 − 𝑋̅)2 𝑣𝑎𝑟(𝑋𝑖 ) với 𝑥𝑖 = 𝑋𝑖 − 𝑋̅ và 𝑦𝑖 = 𝑌𝑖 − 𝑌̅ Định lý Gauss – Markov: Khi thỏa mãn các giả thiết OLS, các ước lượng OLS được gọi là BLUE (best linear unbiased estimator) hay có tính chất: tuyến tính, không chệch, tốt nhất (có phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch). Tính không chệch: 𝐸(𝛽̂𝑖 ) = 𝛽𝑖 . Với mỗi mẫu (cùng số quan sát) được chọn từ tổng thể, chúng ta ước lượng được một bộ các hệ số 𝛽̂ khác nhau và duy nhất. Tính không chệch nghĩa là trung bình các 𝛽̂ bằng 𝛽 thực của tổng thể (𝐸(𝛽̂1 ) = 𝛽1 ; 𝐸(𝛽̂2 ) = 𝛽2 …). Các tính chất của hồi quy mẫu: Đường hồi quy mẫu đi qua điểm (𝑌̅, 𝑋̅2 , 𝑋̅3 … 𝑋̅𝑘 ): 𝑌̅ = 𝛽̂1 + 𝛽̂2 𝑋̅2 + 𝛽̂3 𝑋̅3 + ⋯ + 𝛽̂𝑘 𝑋̅𝑘 Trung bình Y thực tế bằng trung bình Y ước lượng: 𝑌̅ = 𝑌̅̂ . Tổng phần dư bằng 0: ∑ 𝑒𝑖 = 0 Phần dư 𝑒𝑖 không tương quan với 𝑌̂ và 𝑋: ∑ 𝑒𝑖 𝑌̂𝑖 = ∑ 𝑒𝑖 𝑋𝑖 = 0. Độ chính xác của hệ số ước lượng: Đánh giá bằng phương sai và sai số tiêu chuẩn. Sai số tiêu chuẩn trong mô hình hồi quy đơn: 𝜎̂ ∑ 𝑋𝑖2 𝑠𝑒(𝛽̂2 ) = ∑ 𝑒𝑖2 2 𝑠𝑒(𝛽̂1 ) = 𝜎̂√ 𝜎̂ = √∑ 𝑥𝑖2 𝑛 ∑ 𝑥𝑖2 𝑛−2 Phương sai: 𝑣𝑎𝑟(𝛽̂ ) = 𝑠𝑒 2 (𝛽̂ ). Với 𝜎̂ 2 là ước lượng phương sai của 𝑢𝑖 (𝜎 2 ). Khoảng tin cậy của hệ số hồi quy 𝜷 với độ tin cậy 𝟏 − 𝜶: Hai phía (𝛽̂ − 𝑠𝑒(𝛽̂ ). 𝑡𝛼⁄2 (𝑛 − 𝑘); 𝛽̂ + 𝑠𝑒(𝛽̂ ). 𝑡𝛼⁄2 (𝑛 − 𝑘)) Phía trái (−∞; 𝛽̂ + 𝑠𝑒(𝛽̂ ). 𝑡𝛼 (𝑛 − 𝑘)) Phía phải (𝛽̂ − 𝑠𝑒(𝛽̂ ). 𝑡𝛼 (𝑛 − 𝑘); +∞) Của 2 hệ số hồi quy: (𝛽̂ ∗ − 𝑠𝑒(𝛽̂ ∗ ). 𝑡𝛼⁄2 (𝑛 − 𝑘); 𝛽̂ ∗ + 𝑠𝑒(𝛽̂ ∗ ). 𝑡𝛼⁄2 (𝑛 − 𝑘)) Trong đó: − 𝛽̂ ∗ = 𝛽̂𝑖 ± 𝛽̂𝑗 . − 𝑡𝛼⁄2 (𝑛 − 𝑘) là giá trị tới hạn Student, mức ý nghĩa 𝛼/2 bậc (𝑛 − 𝑘). − 𝑡𝛼 (𝑛 − 𝑘) là giá trị tới hạn Student, mức ý nghĩa 𝛼 bậc (𝑛 − 𝑘). 2 Tìm thêm tài liệu tại aaaclass.edu.vn giasuktl@gmail.com − 𝑠𝑒(𝛽̂ ∗ ) = √𝑣𝑎𝑟(𝛽̂𝑖 ± 𝛽̂𝑗 ) = √𝑣𝑎𝑟(𝛽̂𝑖 ) + 𝑣𝑎𝑟(𝛽̂𝑗 ) ± 2𝑐𝑜𝑣(𝛽̂𝑖 , 𝛽̂𝑗 ) với 𝑣𝑎𝑟(𝛽̂ ) = 𝑠𝑒 2 (𝛽̂ ). Bài luyện tập 3: Cho hồi quy: 𝑌𝑖 = 𝑎𝑋𝑖 + 𝑏 + 𝑒𝑖 với mẫu 10 quan sát thu được kết quả: ∑ 𝑌𝑖 = 120, ∑ 𝑋𝑖 = 230, ∑ 𝑥𝑖 𝑦𝑖 = 2600, ∑ 𝑥𝑖 2 = 5300, ∑ 𝑦𝑖 2 = 1500 (𝑥𝑖 = 𝑋𝑖 − 𝑋̅; 𝑦𝑖 = 𝑌𝑖 − 𝑌̅) Các ước lượng OLS thu được có giá trị: A. a = 0.49, b = 7.17 C. a = 0.49, b = 0.717 B. a = 7.17, b = 0.49 D. a = 0.717, b = 0.49 Bài luyện tập 4: Cho hồi quy: 𝑌𝑖 = 1.2 + 𝑋2𝑖 − 𝑋3𝑖 + 𝑒𝑖 𝑠𝑒(𝛽̂𝑖 ): 2.2 − 0.3 − 1.4 𝑛 = 30; 𝛼 = 0.05 Tìm khoảng tin cậy 2 phía của 𝛽2. Khi 𝑋2𝑖 tăng 1 đơn vị (𝑋3𝑖 không đổi) thì 𝑌𝑖 thay đổi trong khoảng nào? Tăng tối đa là bao nhiêu? Biết 𝑡0.025 (27) = 2.052; 𝑡0.05 (27) = 1.703. D. Kiểm định giả thuyết về các hệ số hồi quy: Loại kiểm định Hai phía Phía trái Phía phải Giả thuyết 𝐻0 𝛽=𝑎 𝛽≥𝑎 𝛽≤𝑎 Giả thuyết 𝐻1 𝛽≠𝑎 𝛽<𝑎 𝛽>𝑎 ̂ −𝑎 𝛽 Miền bác bỏ |𝑡| > 𝑡𝛼⁄2 (𝑛 − 𝑘) 𝑡 < −𝑡𝛼 (𝑛 − 𝑘) 𝑡 > 𝑡𝛼 (𝑛 − 𝑘) – Dùng thống kê t: Tính giá trị quan sát: 𝑡𝑞𝑠 = 𝑠𝑒(𝛽̂). Nếu 𝑡𝑞𝑠 thuộc miền bác bỏ thì bác bỏ 𝐻0 . – Dùng khoảng tin cậy: Nếu 𝑎 không nằm trong khoảng tin cậy thì bác bỏ 𝐻0 . – Dùng giá trị P – value: + Kiểm định hai phía: Nếu P – value < 𝛼 thì bác bỏ 𝐻0 . + Kiểm định một phía: Nếu P – value < 2𝛼 thì bác bỏ 𝐻0 . Ngược lại thì chưa có cơ sở bác bỏ giả thuyết 𝐻0 . Trường hợp 2 hệ số: Đặt 𝛽 ∗ = 𝛽𝑖 ± 𝛽𝑗 . Coi biểu thức giữa 2 hệ số là 1 hệ số mới. Quy tắc bác bỏ tương tự. Bài luyện tập 5: (tiếp Bài luyện tập 4) a) Hệ số biến 𝑋2𝑖 có ý nghĩa thống kê không? b) Khi 𝑋2𝑖 không đổi, có thể cho rằng khi 𝑋3𝑖 tăng 1 đơn vị thì 𝑌𝑖 giảm ít hơn 1.2 đơn vị không? E. Hệ số xác định 𝑹𝟐 : – 𝑅 2 cho biết các biến độc lập 𝑋𝑖 giải thích được bao nhiêu % sự biến động của biến phụ thuộc 𝑌𝑖 . (1 ≥ 𝑅 2 ≥ 0) (𝑅 2 có thể âm khi mô hình không có hệ số chặn) – Các tổng bình phương độ lệch: 𝑇𝑆𝑆 = 𝐸𝑆𝑆 + 𝑅𝑆𝑆 với: 𝑇𝑆𝑆 = ∑(𝑌𝑖 − 𝑌̅)2 = ∑ 𝑦𝑖2 𝐸𝑆𝑆 = ∑(𝑌̂𝑖 − 𝑌̅)2 𝑅𝑆𝑆 = ∑(𝑌𝑖 − 𝑌̂𝑖 )2 = ∑ 𝑒𝑖2 2 Giá trị của 𝑅 : 𝐸𝑆𝑆 𝑅𝑆𝑆 𝑅2 = =1− 𝑇𝑆𝑆 𝑇𝑆𝑆 Hệ số xác định đã hiệu chỉnh ̅̅̅̅ 𝑹𝟐 : ̅𝑅̅̅2̅ = 1 − (1 − 𝑅 2 ) 𝑛 − 1 𝑛−𝑘 Tính chất: – 1 ≥ 𝑅 2 ≥ ̅̅ 𝑅̅̅2 , ̅𝑅̅̅2̅ có thể âm. 3 Tìm thêm tài liệu tại aaaclass.edu.vn giasuktl@gmail.com – Dùng ̅̅ 𝑅̅̅2 để xem xét việc đưa biến mới vào mô hình: Nếu việc thêm biến mới làm ̅̅ 𝑅̅2̅ tăng, hệ số hồi quy của biến được đưa vào có ý nghĩa thì nên đưa biến đó vào mô hình. Bài luyện tập 6: OLS, using observations 1-20 Dependent variable: Q Coefficient Std. Error t-ratio p-value const 10.31076 2.586328 3.986638 0.0004 P - 0.389687 0.118694 3.283121 0.0028 Px 5.33333 3.365153 1.58487 0.0553 Mean dependent var 18.45833 S.D. dependent var 4.613 Sum squared resid … S.E. of regression 3.989267 R-squared … Adjusted R-squared … a) Viết mô hình tổng thể và mẫu. b) Tính TSS, ESS, RSS, 𝑅 2 , ̅𝑅̅̅2̅. (Mean dependent var = 𝑌̅: Trung bình biến phụ thuộc. Sum squared resid = 𝑅𝑆𝑆: Tổng bình phương phần dư. 𝑇𝑆𝑆 S.D. dependent var = √𝑛−1: Sai số tiêu chuẩn của biến phụ thuộc. ∑ 𝑒2 𝑅𝑆𝑆 S.E. of regression = 𝜎̂ = √𝑛−𝑘𝑖 = √𝑛−𝑘: Sai số tiêu chuẩn của hàm hồi quy.) c) Hệ số xác định của hàm hồi quy có giá trị bằng bao nhiêu? Ý nghĩa của nó là gì? F. Kiểm định sự phù hợp của mô hình: Xét mô hình 𝑌 = 𝛽1 + 𝛽2 𝑋2 + 𝛽3 𝑋3 + ⋯ + 𝛽𝑘 𝑋𝑘 + 𝑢 H : R2 = 0 (mô hình không phù hợp) – Cặp giả thuyết: { 0 2 H1 : R > 0 (R2 ≠ 0)(mô hình phù hợp) H0 : 𝛽2 = 𝛽3 = ⋯ = 𝛽𝑘 = 0 Hoặc: { H1 : 𝛽22 + 𝛽32 + ⋯ + 𝛽𝑘2 > 0 (tồn tại ít nhất một hệ số khác 0) – Giá trị quan sát: 𝑅2 𝑛 − 𝑘 𝐹𝑞𝑠 = 1 − 𝑅2 𝑘 − 1 (𝑘−1,𝑛−𝑘) Nếu 𝐹𝑞𝑠 > 𝐹𝛼 thì bác bỏ 𝐻0 . Mô hình hồi quy là phù hợp, các biến độc lập giải thích được sự biến động của biến phụ thuộc. Kiểm định thu hẹp hồi quy (kiểm định nhiều ràng buộc về các hệ số hồi quy): H : Hệ số các biến muốn bỏ bằng 0 – Cặp giả thuyết: { 0 . H1 : tồn tại ít nhất một hệ số khác 0 – Giá trị quan sát: 𝑅12 − 𝑅22 𝑛 − 𝑘 𝑅𝑆𝑆2 − 𝑅𝑆𝑆1 𝑛 − 𝑘 𝐹𝑞𝑠 = . = . 𝑚 𝑅𝑆𝑆1 𝑚 1 − 𝑅12 Trong đó: + n là số quan sát, k là số tham số hồi quy mô hình trước khi bỏ biến, m là số biến muốn bỏ khỏi mô hình. + 𝑅12 , 𝑅22 lần lượt là hệ số xác định của mô hình trước và sau khi bỏ biến. + 𝑅𝑆𝑆1 , 𝑅𝑆𝑆2 lần lượt là tổng bình phương phần dư của mô hình trước và sau khi bỏ biến. (𝑚,𝑛−𝑘) Nếu 𝐹𝑞𝑠 > 𝐹𝛼 thì bác bỏ 𝐻0 ⟹ Không bỏ biến khỏi mô hình. Các kiểm định trên đều có thể dùng p – value để đánh giá. Nếu p – value < mức ý nghĩa 𝛼 thì bác bỏ H0 . 4 Tìm thêm tài liệu tại aaaclass.edu.vn giasuktl@gmail.com Bài luyện tập 7: (tiếp Bài luyện tập 6) a) Mô hình có phù hợp không? Biết F(2, 17) = 3.59 ở mức ý nghĩa 5%. b) Bỏ biến Px, hồi quy lại mô hình thu được R – squared = 0.156343. Có nên bỏ biến Px không? Biết F(1, 17) = 4.48 ở mức ý nghĩa 5%. G. Dự báo: 1. Dự báo (Ước lượng) điểm giá trị trung bình khi 𝑋 = 𝑋0: 𝑌̂0 = 𝛽̂1 + 𝛽̂2 𝑋0 2. Dự báo giá trị trung bình khi 𝑋 = 𝑋0: 𝑌̂0 − 𝑠𝑒(𝑌̂0 ). 𝑡𝛼⁄2 (𝑛 − 𝑘) ≤ 𝐸(𝑌|𝑋0) ≤ 𝑌̂0 + 𝑠𝑒(𝑌̂0 ). 𝑡𝛼⁄2 (𝑛 − 𝑘) 3. Dự báo giá trị cá biệt khi 𝑋 = 𝑋0: 𝑌̂0 − 𝑠𝑒(𝑌0 ). 𝑡𝛼⁄2 (𝑛 − 𝑘) ≤ 𝑌0 ≤ 𝑌̂0 + 𝑠𝑒(𝑌0 ). 𝑡𝛼⁄2 (𝑛 − 𝑘) Với: 1 (𝑋0 − 𝑋̅)2 𝑠𝑒(𝑌̂0 ) = 𝜎̂√ + ; ∑ 𝑥𝑖2 𝑛 𝑠𝑒(𝑌0 ) = 𝜎̂√1 + 1 (𝑋0 − 𝑋̅)2 + ; ∑ 𝑥𝑖2 𝑛 𝑥𝑖 = 𝑋𝑖 − 𝑋̅ Một số thuật ngữ trong bảng kết quả của các phần mềm Kinh Tế Lượng Model SS Residual SS; Sum squared resid Total SS Number of obs; observations Dependent variable Sample 1 12 F(3,20) Prob > F; P-value(F); Prob (F-statistic) R-squared Adj R-squared; Adjusted R-squared Cột Coef.; Coefficient Cột Std. Err; Std. Error Cột t; t-ratio; t-Statistic Cột P>|t|; p-value; Prob. 95% Coef. Interval _cons; const; C Mean dependent var SD. dependent var S.E of regression ESS RSS TSS Số quan sát Biến phụ thuộc Mẫu sử dụng các quan sát từ 1 đến 12 Fqs trong kiểm định sự phù hợp của mô hình P-value trong kiểm định sự phù hợp của mô hình 𝑅 2 – hệ số xác định 𝑅̅ 2 – hệ số xác định đã hiệu chỉnh Hệ số ước lượng (các beta mũ) Sai số tiêu chuẩn của hệ số ước lượng Giá trị quan sát t khi kiểm định ý nghĩa của beta P – value trong của kiểm định ý nghĩa của beta Khoảng tin cậy 95% của hệ số hồi quy Các thông số của hệ số chặn 𝑌̅ – giá trị trung bình biến phụ thuộc Sai số (Độ lệch) tiêu chuẩn của biến phụ thuộc: 𝑇𝑆𝑆 √ 𝑛−1 Sai số (Độ lệnh) tiêu chuẩn của hàm hồi quy: 𝜎̂ = √ ∑ 𝑒𝑖2 𝑅𝑆𝑆 =√ 𝑛−𝑘 𝑛−𝑘 5