30. Классический метод наименьших квадратов для модели множественной регрессии

Неизвестные параметры в0… вn линейной модели множественной регрессии определяются с помощью классического метода наименьших квадратов, или МНК.

Общий вид линейной модели множественной регрессии:

y i= β0+ β1 x 1k+… + βn x ik+ εi,

где уi – значение /-ой результативной переменной, i = 1,n;

х 1i …х ki ,— значения факторных переменных, i = 1,n;

β0… βn – неизвестные параметры регрессионной модели;

В соответствии с методом наименьших квадратов в качестве метода оценки неизвестных параметров регрессионной модели будет выступать сумма квадратов отклонений наблюдаемых значений результативного признака у от теоретических значений у (рассчитанных с помощью регрессионной модели):

Для нахождения оптимальных значений неизвестных параметров β0… βn необходимо минимизировать функционал F по данным параметрам, т. е. необходимо рассчитать такой вектор оценки параметра β, который бы доставлял минимум функции, т. е. минимизировал бы сумму квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений y (значений, рассчитанных с помощью регрессионной модели).

Матричная форма функционала F метода наименьших квадратов:

где Y – вектор значений результативной переменной;

X — вектор значений факторной переменной.

Для определения минимума функционала (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю.

Общий вид стационарной системы уравнений для функции (1):

В результате решения системы нормальных уравнений получим следующие МНК-оценки неизвестных параметров регрессионной модели:

Предположим, что в ходе исследований была доказана линейная зависимость между результативной и двумя факторными переменными, выражающаяся равенством вида: