Метод наименьших квадратов

Допустим, что некоторая теоретическая модель предполагает линейную зависимость одной из характеристик системы от других: y = Σ_i k_i·x_i (i – число независимых переменных). Задача заключается в следующем: при фиксируемых параметрах x и измеренных значениях y рассчитать вектор параметров k, удовлетворяющий некоторому критерию оптимальности.

В методе наименьших квадратов этим критерием является минимум суммы квадратов отклонений расчитанных значений y от наблюдаемых (экспериментальных): min Σ_i (y_s,i – y_i)². Чтобы найти минимум функции, это выражение надо продифференцировать по параметрам и приравнять нулю (условие минимума). В результате поиск минимума суммы квадратов сводиться в простым операциям с матрицами (см. например МНК, Регрессионый анализ.

Если теоретическая модель представляет собой линейную зависимость от одного параметра (y = a + b·x), то решение выражается в виде простых формул, которые можно рассчитать даже на микрокалькуляторе:
Z = nΣx_i² - (Σx_i)²;
a = (Σy_iΣx_i² – Σy_ix_iΣx_i) / Z;     S_a² = S_y² Σx_i² / Z;
b = (nΣy_ix_i – Σy_iΣx_i) / Z;     S_b² = S_y² n / Z;
S_y² = Σ(y_s,i – y_i)² / (n – 2) (y_s,i – рассчитанное значение, y_i – эксперементально измеренное значение)

При расчете погрешностей предполагается, что точность плана экспримента (значений x) значительно превосходит точность измеряемых значений y, погрешность измерения которых подчиняется нормальному распределению.

Программа расчета такой линейной модели приведена ниже.