Метод наименьших квадратов

Пусть имеется набор значений yi, каждое из которых соответствует некоторому моменту времени ti (i = 1, 2,…, N). Требуется найти зависимость y = f(t), которая наилучшим образом описывала бы поведение таких дискретных данных.

Метод наименьших квадратов утверждает, что в некотором классе функций таким “наилучшим” описанием
является функция (кривая), сумма квадратов отклонений которой от заданных (известных, скажем, в результате проведения эксперимента) точек yi является минимальной. Т.е.

(1)  Σ(f(ti) - yi)2 à min

Более того, доказывается, что такая кривая является единственной в рассматриваемом классе. Поэтому говоря об этом методе, мы должны указывать в каком классе ищется решение. В принципе, одни и те же данные мы можем описать разными функциями с помощью одного и того же метода.

Здесь мы будем искать решение в классе линейных функций (прямая): y = at + b. Тогда условие (1) можно записать в следующем виде

Σ(a*ti +b - yi)2 à min

Необходимым условием существования минимума является равенство нулю двух частных производных по a и b соответственно:

Σ((a*ti +b - yi)*ti) =0

Σ(a*ti +b - yi) = 0

В обозначениях

Σti2 = stt 

Σ(yi*ti) = syt

Σ(ti) = st

Σ(yi) = sy

и замечая, что

Σb = bN              

систему можно переписать в виде

astt + bst - syt = 0

ast +bN - sy = 0

Решая эту систему двух линейных уравнений относительно a и b, получим

a = (sytN - syst)/(Nstt - stst)

b = (sttsy - sytst)/(Nstt - stst)