Линейный множественный регрессионный анализ

Пусть имеется n наблюдений измеряемой величины y при фиксированных значениях m факторов x. Предполагается, что y линейно зависит от факторов, т.е. y_i = Σb_jx_i,j, где i = [1–n], j = [1–m].

Или в матричной форме Y = XB, где Y – вектор наблюдаемых значений размерностью n, X – матрица плана размерностью nxm, B – вектор оцениваемых параметров размерностью m.

Применяя метод наименьших квадратов, нужно найти минимум суммы min (Y − Y^расч)^T(Y − Y^расч).

Если приравнять частные производные этой суммы по b к нулю (необходимое условие минимума), то мы придем к необходимости решения уравнения (X^TX)B = X^TY . Откуда B = (X^TX)^-1X^TY .

Погрешности коэффициентов b_j расчитываются как S_{b, j} = S_остd_j, где S_ост² = (Y − Y^расч)^T(Y − Y^расч) / (n − m − 1) – остаточная дисперсия регресcии; d_j – квадратный корень j-го диагонального элемента матрицы (X^TX)^-1.

Значимость коэффициентов регресии оценивают по критерию Стьюдента с критическим значением t_(n-m,P), где P – доверительная вероятность (обычно 95%).

Если |b_j| / S_{b, j} > t_(n-m,P), то j-й регрессионный коэффициент считают значимым.

Значимость оценки регрессией оценивают по критерию Фишера сравнением остаточной диспресии S_ост² с дисперсий y относительно среднего S_y².

Если S_y² / S_ост² > F_{(n-1,n-m-1,P)}, то оценку y регрессией считают лучшей, чем оценку y средним.

Закрыть справку