Гетероскедастичность характерна для перекрестных данных, когда учитываются экономические субъекты (потребители, домохозяйства, фирмы, отрасли и т.д.), имеющие различные доходы, размеры, потребности и т.д. В данном случае возможны проблемы, связанные с эффектом масштаба.
Гетероскедастичность возникает также и во временных рядах, когда зависимая переменная имеет большой интервал качественно неоднородных значений или высокий темп изменения (инфляция, технологические сдвиги, изменения в законодательстве, потребительские предпочтения и т.д.).
Последствия гетероскедастичности
При рассмотрении классической линейной регрессионной модели МНК дает наилучшие линейные несмещенные оценки (BLUE-оценки) лишь при выполнении ряда предпосылок, одной из которых является постоянство дисперсии отклонений (гомоскедастичность).
При гетероскедастичности последствия применения МНК будут следующими:
Вполне вероятно, что стандартные ошибки коэффициентов будут занижены. Это приведет к завышению t-статистик и даст неправильное (завышенное) представление о точности оценок.
Так при проверке значимости коэффициента регрессии с помощью статистики , использование заниженного значения повлечет увеличение t-статистики, что может привести к неправильным выводам.
Дата добавления: 2016-01-26 ; просмотров: 1725 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ
Рассмотренные в предыдущем параграфе стандартные ошибки позволяют успешно тестировать гипотезы и строить доверительные интервалы в условиях гетероскедастичности, однако не устраняют другого её негативного последствия, упомянутого в начале главы: неэффективности МНК-оценок. Для получения эффективных оценок параметров можно воспользоваться так называемым взвешенным МНК (weighted least squares, WLS). Чтобы понять, как он работает, рассмотрим несколько важных случаев.
Случай 1. Дисперсия случайных ошибок \(\mathit <\left( \varepsilon_\right) = \sigma_^<2>>\) известна
Пусть рассматривается модель
В этом случае можно разделить правую и левую часть уравнения регрессии на \(\sigma_\) :
После этого сделаем простую замену переменных:
В результате замены переменных переходим к новой модели:
Новая модель полезна тем, что в ней гетероскедастичности нет, так как дисперсия случайной ошибки является константой:
Следовательно, МНК, примененный к новой модели, будет давать не только несмещенный, но и эффективный результат. Таким образом, суть взвешенного МНК состоит в том, чтобы сделать правильную замену переменных так, чтобы применение к новой модели (с измененными переменными) обычного МНК приводило к получению эффективных оценок коэффициентов. После этого для интерпретации результатов можно вернуться к исходным переменным.
Чтобы понять, почему этот метод называется взвешенным МНК, сравним оптимизационные задачи в рамках обычного МНК и в рамках взвешенного МНК. В первом случае мы минимизируем сумму квадратов остатков:
В случае взвешенного МНК мы минимизируем сумму квадратов остатков новой модели:
Обратите внимание, что даже если в исходной модели был свободный член, в новой модели в результате замены переменных константа пропадает (вместо неё возникает переменная \(<\overset<\sim>>_^ <(1)>= \frac<1><\sigma_>\) ). Поэтому, в частности, привычный коэффициент \(R^<2>\) для такой модели неприменим и не может интерпретироваться стандартным образом (хотя, если его все-таки посчитать, он часто оказывается выше по сравнению c аналогичным коэффициентом для обычного МНК).
Разумеется, в реальности дисперсия случайной ошибки обычно не известна исследователю, что приводит нас к необходимости рассмотрения более реалистичного случая.
Случай 2. Дисперсия случайных ошибок \(\mathit <\left( \varepsilon_\right) = \sigma_^<2>>\) не известна
Затем оценивают вспомогательную модель для остатков следующего вида:
Здесь \(z_^<(1)>,z_^<(2)>,\ldots,z_^<(p)>\) — набор переменных, которые предположительно влияют на дисперсию случайной ошибки. Обычно в качестве таких переменных берутся регрессоры из исходной модели, а также их квадраты.
\(\ln e_^<2>\) иногда используется в левой части вспомогательного уравнения вместо \(e_^<2>\) для того, чтобы предсказанное значение квадрата остатков никогда не было отрицательным (что было бы нелогично).
Пример 5.2. Оценка эффективности использования удобрений (продолжение)
Продолжите рассмотрение модели урожайности, которое мы начали в примере 5.1. Теперь оцените модель, используя взвешенный МНК. Сравните полученные результаты с результатами из примера 5.1.
В качестве вспомогательного уравнения оценивалась следующая спецификация, включающая все регрессоры исходной модели, а также их квадраты:
Модель 3: С поправкой на гетероскедастичность, использованы наблюдения 1-200
При оценивании модели с коррекцией на гетероскедастичность изменились коэффициенты, а их стандартные ошибки в целом стали меньше.
Напомним, что обычная гетероскедастичность не приводит к смещению оценок коэффициентов, поэтому неудивительно, что полученные результаты совсем немного отличаются от оценок коэффициентов, вычисленных на основе обычного МНК (см. числа в примере 5.1). Тем не менее, если мы корректно оценили дисперсию случайной ошибки, есть надежда, что новые результаты являются немного более точными.
В заключение данного параграфа рассмотрим еще один случай применения взвешенного МНК. Этот случай является более частным, чем случай 2, однако также может быть полезен в некоторых ситуациях.
Случай 3. Дисперсия случайной ошибки прямо пропорциональна квадрату единственной переменной: \(\mathit <\left( \varepsilon_\right) = \sigma_^ <2>= \sigma_<0>^<2>>^ <2>> 0>\) .
Подразумевается, что величина \(\sigma_<0>^<2>\) не известна, но это нам не помешает. Оказывается, столкнувшись с таким частным случаем гетероскедастичности, можно легко её устранить. Действительно, для этого достаточно поделить правую и левую части исходного уравнения на переменную \(z_\) :
Делаем замену переменных:
В результате замены переменных переходим к новой модели со звездочками:
В новой модели гетероскедастичности нет, так как дисперсия случайной ошибки является константой:
Следовательно, для оценки параметров новой модели можно использовать обычный МНК, и оценки коэффициентов будут эффективными.
Какой же метод устранения негативных последствий гетероскедастичности лучше использовать: состоятельные в условиях гетероскедастичности стандартные ошибки или взвешенный МНК?
Казалось бы, взвешенный МНК предпочтительней, потому что он дает возможность получить эффективные оценки коэффициентов, то есть в ситуации гетероскедастичности он должен быть точнее обычного МНК. Однако это верно только при условии, что мы правильно специфицировали уравнение для дисперсии случайной ошибки (то есть правильно поняли, как именно устроена гетероскедастичность в анализируемой модели). К сожалению, на практике это может быть проблематично. Кроме того, при наличии достаточно большой выборки обычный МНК и так дает удовлетворительные результаты. Поэтому в прикладных эконометрических работах гораздо чаще применяется обычный МНК в сочетании с робастными стандартными ошибками.
В предыдущих параграфах данной главы мы рассматривали случай отказа от одной предпосылки классической линейной модели множественной регрессии. Теперь мы расширим наш анализ и откажемся сразу от двух предпосылок: от предпосылок №№4-5 (о постоянстве дисперсии случайной ошибки и о некоррелированности разных случайных ошибок между собой). В техническом смысле этот параграф несколько сложнее предыдущих (в частности, тут более широко используется линейная алгебра). Поэтому, если вы заинтересованы в том, чтобы разобраться только в прикладных аспектах множественной регрессии, а в соответствующих вычислениях готовы полностью довериться эконометрическому пакету, можете его пропустить.
Модель, в которой сохранены только первые три предпосылки классической линейной модели множественной регрессии, называется обобщенной линейной моделью множественной регрессии.
Проанализируем, к каким последствиям приводит отказ от предпосылок №№4-5.
Во-первых, полученная обычным методом наименьших квадратов оценка \( <\widehat<\beta>= \left( X> \right)^<- 1>>X’y\) остается несмещенной (это свойство мы доказывали, опираясь как раз лишь на первые три предпосылки).
Во-вторых, МНК-оценки хоть и остаются несмещенными, но больше не являются эффективными.
В-третьих, если мы оцениваем ковариационную матрицу вектора оценок коэффициентов (которая нужна для тестирования всевозможных гипотез), то оценка \(\widehat<<(\widehat<\beta>)> = \left( X> \right)^<- 1>>S^<2>\) смещена и больше не является корректной.
Чтобы убедиться в этом, посчитаем ковариационную матрицу от \(\widehat<\beta>\) в условиях обобщенной модели (при этом мы используем свойства ковариационной матрицы, перечисленные в параграфе 3.3):
Таким образом, последствия перехода к обобщенной модели аналогичны тем, что мы наблюдали для случая гетероскедастичности. Это неудивительно, так как гетероскедастичность — частный случай обобщенной линейной модели.
Поэтому для получения эффективных оценок обычный МНК не подойдет, и придется воспользоваться альтернативным методом — обобщенным МНК (ОМНК, generalized least squares, GLS). Формулу для расчета оценок коэффициентов при помощи ОМНК позволяет получить специальная теорема.
то оценка вектора коэффициентов модели \(<<\widehat<\beta>>^<> = <(X>)>^<- 1>>X’\Omega^<- 1>y\) является:
Предпосылки теоремы Айткена — это предпосылки обобщенной линейной модели множественной регрессии. Из них первые три — стандартные, как в классической модели, а четвертая ничего особого не требует (у вектора случайных ошибок может быть любая ковариационная матрица без каких-либо дополнительных специальных ограничений). Сама теорема Айткена является аналогом теоремы Гаусса — Маркова для случая обобщенной модели.
Докажем эту теорему.
Из линейной алгебры известно: если матрица \(\Omega\) симметрична и положительно определена, то существует такая матрица P, что
Вернемся к исходной модели, параметры которой нас и интересуют:
Умножим левую и правую части равенства на матрицу \(P\) :
С учетом новых обозначений это равенство можно записать так:
Для новой модели (со звездочками) выполняются предпосылки теоремы Гаусса-Маркова. Чтобы в этом убедиться, достаточно показать, что математическое ожидание вектора случайных ошибок является нулевым вектором (третья предпосылка классической модели) и ковариационная матрица вектора случайных ошибок является диагональной с одинаковыми элементами на главной диагонали (четвертая и пятая предпосылки).
Для этого вычислим математическое ожидание нового вектора ошибок:
Теперь вычислим ковариационную матрицу вектора \(\varepsilon^<>\) :
Здесь \(I_\) обозначает единичную матрицу размера n на n.
Следовательно, для модели со звездочками выполняются все предпосылки теоремы Гаусса — Маркова. Поэтому получить несмещенную и эффективную оценку вектора коэффициентов можно, применив к этой измененной модели обычный МНК:
Теперь осталось вернуться к исходным обозначениям, чтобы получить формулу несмещенной и эффективной оценки интересующего нас вектора в терминах обобщенной модели:
Что и требовалось доказать.
Взвешенный МНК, который мы обсуждали ранее, — это частный вариант обобщенного МНК (для случая, когда только предпосылка №4 нарушена, а предпосылка №5 сохраняется).
Как и при использовании взвешенного МНК в ситуации применения ОМНК коэффициент R-квадрат не обязан лежать между нулем и единицей и не может быть интерпретирован стандартным образом.
Применение этого подхода осложняется тем, что \(\widehat<\Omega>\) не может быть оценена непосредственно без дополнительных предпосылок, так как в ней слишком много неизвестных элементов. Действительно, в матрице размер \(n\) на \(n\) всего \(n^<2>\) элементов, и оценить их все, имея всего \(n\) наблюдений, представляется слишком амбициозной задачей. Даже если воспользоваться тем, что матрица \(\Omega\) является симметричной, в результате чего достаточно оценить только элементы на главной диагонали и над ней, мы все равно столкнемся с необходимостью оценивать \(\left( \right)\) элементов, что всегда больше числа доступных нам наблюдений.
Поэтому процедура доступного ОМНК устроена так:
Пример 5.4. Автокорреляция и ОМНК-оценка
(а) Найдите ковариационную матрицу вектора случайных ошибок для представленной модели.
(б) Запишите в явном виде формулу ОМНК-оценки вектора коэффициентов модели, предполагая, что коэффициент \(\rho\) известен.
Примечание: в отличие от гетероскедастичности, автокорреляция случайных ошибок обычно наблюдается не в пространственных данных, а во временных рядах. Для временных рядов вполне естественна подобная связь будущих случайных ошибок с предыдущими их значениями.
Тем самым мы нашли элементы, которые будут стоять на главной диагонали ковариационной матрицы вектора случайных ошибок. Теперь найдем элементы, которые будут находиться непосредственно на соседних с главной диагональю клетках:
По аналогии легко убедиться, что
Следовательно, ковариационная матрица вектора случайных ошибок имеет вид:
(б) Вектор ОМНК-оценок коэффициентов имеет вид:
Пример 5.5. Гетероскедастичность и ОМНК-оценка
(а) Найдите ковариационную матрицу вектора случайных ошибок для представленной модели.
(б) Запишите в явном виде формулу ОМНК-оценки вектора коэффициентов модели.
(а) Так как в этом случае нарушена только четвертая предпосылка классической линейной модели множественной регрессии, то вне главной диагонали ковариационной матрицы вектора случайных ошибок будут стоять нули.
(б) Обратите внимание, что при подстановке в общую формулу для ОМНК-оценки величина \(\sigma_<0>^<2>\) сокращается, следовательно, для оценки вектора коэффициентов знать её не нужно:
Ещё одна важная ситуация, когда с успехом может быть применен доступный ОМНК — это модель со случайными эффектами, которую мы рассмотрим в главе, посвященной панельным данным.
Негативным последствием применения классического мнк в случае гетероскедастичности является то что
В данной главе основное внимание уделяется проблемам, к которым приводит нарушение основных предпосылок классической линейной регрессии. Подробно обсуждаются последствия и методы устранения гетероскедастичности, мультиколлинеарности и автокорреляции. Изучаются обобщенные модели множественной регрессии.
4.1. Нарушения основных предпосылок классической регрессионной модели и их последствия
4.1.1. Предпосылки относительно регрессоров и последствия их нарушений
Относительно регрессоров в классической линейной модели должны выполнятся следующие предпосылки: регрессоры являются детерминированными; регрессоры измеряются без ошибок (предпосылка 1), регрессоры не коллинеарны; матрица наблюдений регрессоров имеет полный ранг (предпосылка 8); количество наблюдений регрессоров должно быть больше количества регрессоров (предпосылка 9).
Предпосылка о детерминированных регрессорах
Эта предпосылка означает, что в принципе значения регрессоров могут выбираться (контролироваться) исследователем (например, он может выбирать неслучайные моменты наблюдений при изучении зависимости регрессанда от времени). Предположение о детерминированных регрессорах существенно упрощает вывод уравнений и анализ свойств оценок наименьших квадратов. На практике при изучении реальных социально-экономических процессов эта предпосылка часто не выполняется. Ее нарушение может привести, например, к смещенности оценок наименьших квадратов. Это произойдет в случае, если хотя бы один регрессор и случайная составляющая модели коррелированы между собой.
Предпосылка: регрессоры измеряются без ошибок
На практике независимые переменные модели часто наблюдаются (измеряются) с ошибками. Если регрессор (независимая переменная) наблюдается с ошибками, то его наблюдаемое значение отличается от истинного и его можно представить в виде
Предпосылка: регрессоры не коллинеарны
Предпосылка: количество наблюдений больше числа оцениваемых параметров
Предпосылка: модель должна содержать все значимые факторы
4.1.2. Предпосылки относительно случайной составляющей и последствия их нарушений
Все не учитываемые явно в модели факторы (латентные переменные), влияющие на зависимую переменную, включаются в состав случайной составляющей модели.
Предпосылка: нулевое математическое ожидание
В классической регрессии и ее обобщениях предполагается, что случайная составляющая модели во всех наблюдениях имеет математическое ожидание, равное нулю
Это условие фактически всегда удовлетворяется, поскольку не нулевое математическое ожидание случайной составляющей всегда можно включить в свободный член регрессионного уравнения.
Предпосылки: случайная составляющая гомоскедастична и некоррелирована в различных наблюдениях
Что бы глубже понять роль этой предпосылки (а также последующих), рассмотрим структуру ковариационной матрицы вектора возмущений u. В общем случае эта матрица имеет вид
В классической линейной модели предполагается, что:
1 дисперсия случайной составляющей постоянна во всех наблюдениях, то есть имеет место свойство гомоскедастичности
2 случайные возмущения некоррелированы для разных наблюдений.
В этом случае матрица ковариаций возмущений имеет следующий вид
Дисперсия возмущений может меняться от наблюдения к наблюдению, например, при изучении инвестиционной деятельности разброс в показателях будет тем больше, чем больше капитал фирмы. Все это не позволяет построить адекватную модель процесса, основываясь на предпосылках классической регрессионной модели, и приводит к необходимости ее обобщения.
Рассмотрим, к каким последствиям приводит применение обычного метода наименьших квадратов для оценивания параметров обобщенной модели. Очевидно, оценка вектора коэффициентов, как и прежде для классической модели, будет определяться в соответствии с выражением ( 3.15 ). Определим матрицу ковариаций вектора оценок. Для этого используем ранее полученное выражение
При невыполнении предпосылок классической регрессии относительно случайных возмущений модели применение обычного метода наименьших квадратов приводит к следующим последствиям.
(формула ( 3.43 ) п. 3.4.4 ) является смещенной оценкой истинной ковариационной матрицы ( 4.2 ) обобщенной модели.
Покажем это. Вектор остатков регрессии можно записать в виде
Вероятностные характеристики вектора остатков с учетом ( 4.4 ):
Таким образом, математическое ожидание оценки вида ( 4.3 ) ковариационной матрицы вектора оценок равно
Правая часть выражения ( 4.5 ) не совпадает с выражением для истинной (теоретической) ковариационной матрицы вектора оценок.
3). Оценки коэффициентов модели не будут эффективными (наилучшими в классе линейных несмещенных).
Таким образом, при применении обычного МНК для оценивания обобщенной модели, получаемые оценки теряют свойства оценок классической модели, то есть теорема Гаусса-Маркова теперь не выполняется. Кроме того, применение этих оценок при построении t- и F- тестов и доверительных интервалов приводит к искажениям. Смещенность оценок дисперсий коэффициентов (и, следовательно, их среднеквадратичных ошибок) приводит либо к занижению оценок стандартных ошибок (при отрицательном смещении) и соответственно, к завышению статистических критериев, либо наоборот, к завышению оценок стандартных ошибок и занижению критериев (при положительном смещении).
Дополнительная предпосылка о нормальном распределении вектора возмущений
В классической модели регрессии при построении доверительных интервалов и проверке гипотез относительно параметров модели основополагающей является предпосылка о нормальном распределении вектора возмущений. Аналогичная предпосылка необходима и для обобщенной модели.
4.1.3. Предпосылки относительно коэффициентов регрессии и последствия их нарушения
В классической модели регрессии принимаются две важные предпосылки относительно коэффициентов:
1) коэффициенты линейной регрессии , (i=1,2,…,k) являются детерминированными величинами;
2) коэффициенты линейной регрессии являются постоянными величинами, независящими ни от номера наблюдений, ни от времени.
Таким образом, одно из направлений обобщения классической модели состоит в отказе от предпосылки о детерминированных постоянных параметрах модели. Это направление исследований наиболее актуально в современной эконометрике.
4.1.4. Предпосылка: модель правильно специфицирована
Все предыдущие предпосылки можно обобщить в данной предпосылке, поскольку правильная спецификация модели предполагает, что для адекватного описания реального процесса с помощью регрессионной модели должны выполняться предположения, при которых данную модель можно применять. Если реальные взаимосвязи не описываются линейными соотношениями с аддитивной случайной составляющей (переменной возмущений), то следует модифицировать модель, и если это возможно, свести ее к линейной. Проблема в том, что при моделировании реальных процессов вид регрессионной зависимости чаще всего априорно неизвестен. Неизвестен также и набор регрессоров.
Модель должна соответствовать наблюдаемым данным, относительно которых априорно можно высказывать лишь предположения, которые могут не подтвердиться в процессе тестирования и проверки модели на практике. Если речь идет о корректном применении метода наименьших квадратов для оценивания параметров модели, то последствием неправильной спецификации будут некорректные оценки.
Подводя итог обсуждению предпосылок классической линейной модели и ее обобщений, следует подчеркнуть, что если при построении эконометрической модели принимается какая-либо предпосылка, то ее роль и последствия невыполнения должны быть четко осознаны исследователем. Каждая предпосылка должна быть тщательно обоснована как с помощью экономической теории, так и на основе всевозможных тестов, построенных с использованием реальных данных. Метод оценивания параметров модели должен соответствовать условиям его применимости.
, использование заниженного значения 
повлечет увеличение t-статистики, что может привести к неправильным выводам.
, (i=1,2,…,k) являются детерминированными величинами;