Метод наименьших квадратов
Мы помогаем студентам с дипломными, курсовыми, контрольными Узнать стоимость

Метод наименьших квадратов

    Начнем статью сразу с примера. У нас есть некие экспериментальные данные о значениях двух переменных – x и y. Занесем их в таблицу.

      i=1 i=2 i=3 i=4 i=5
    xi 0 1 2 4 5
    yi 2,1 2,4 2,6 2,8 3,0

    После выравнивания получим функцию следующего вида: g(x)=x+13+1.

    Мы можем аппроксимировать эти данные с помощью линейной зависимости y=ax+b, вычислив соответствующие параметры. Для этого нам нужно будет применить так называемый метод наименьших квадратов. Также потребуется сделать чертеж, чтобы проверить, какая линия будет лучше выравнивать экспериментальные данные.

    В чем именно заключается МНК (метод наименьших квадратов)

    Главное, что нам нужно сделать, – это найти такие коэффициенты линейной зависимости, при которых значение функции двух переменных F(a, b)=i=1n(yi-(axi+b))2 будет наименьшим. Иначе говоря, при определенных значениях a и b сумма квадратов отклонений представленных данных от получившейся прямой будет иметь минимальное значение. В этом и состоит смысл метода наименьших квадратов. Все, что нам надо сделать для решения примера – это найти экстремум функции двух переменных.

    Как вывести формулы для вычисления коэффициентов

    Для того чтобы вывести формулы для вычисления коэффициентов, нужно составить и решить систему уравнений с двумя переменными. Для этого мы вычисляем частные производные выражения F(a, b)=i=1n(yi-(axi+b))2 по a и b и приравниваем их к 0.

    δF(a, b)δa=0δF(a, b)δb=0-2i=1n(yi-(axi+b))xi=0-2i=1n(yi-(axi+b))=0ai=1nxi2+bi=1nxi=i=1nxiyiai=1nxi+i=1nb=i=1nyiai=1nxi2+bi=1nxi=i=1nxiyiai=1nxi+nb=i=1nyi

    Для решения системы уравнений можно использовать любые методы, например, подстановку или метод Крамера. В результате у нас должны получиться формулы, с помощью которых вычисляются коэффициенты по методу наименьших квадратов.

    ni=1nxiyi-i=1nxii=1nyini=1n-i=1nxi2b=i=1nyi-ai=1nxin

    Мы вычислили значения переменных, при который функция
    F(a, b)=i=1n(yi-(axi+b))2 примет минимальное значение. В третьем пункте мы докажем, почему оно является именно таким.

    Это и есть применение метода наименьших квадратов на практике. Его формула, которая применяется для поиска параметра a, включает в себя i=1nxi, i=1nyi, i=1nxiyi, i=1nxi2, а также параметр
    n – им обозначено количество экспериментальных данных. Советуем вам вычислять каждую сумму отдельно. Значение коэффициента b вычисляется сразу после a.

    Обратимся вновь к исходному примеру.

    Пример 1

    Здесь у нас n равен пяти. Чтобы было удобнее вычислять нужные суммы, входящие в формулы коэффициентов, заполним таблицу.

      i=1 i=2 i=3 i=4 i=5 i=15
    xi 0 1 2 4 5 12
    yi 2,1 2,4 2,6 2,8 3 12,9
    xiyi 0 2,4 5,2 11,2 15 33,8
    xi2 0 1 4 16 25 46

    Решение

    Четвертая строка включает в себя данные, полученные при умножении значений из второй строки на значения третьей для каждого отдельного i. Пятая строка содержит данные из второй, возведенные в квадрат. В последнем столбце приводятся суммы значений отдельных строчек.

    Воспользуемся методом наименьших квадратов, чтобы вычислить нужные нам коэффициенты a и b. Для этого подставим нужные значения из последнего столбца и подсчитаем суммы:

    ni=1nxiyi-i=1nxii=1nyini=1n-i=1nxi2b=i=1nyi-ai=1nxina=5·33,8-12·12,95·46-122b=12,9-a·125a0,165b2,184

    У нас получилось, что нужная аппроксимирующая прямая будет выглядеть как y=0,165x+2,184. Теперь нам надо определить, какая линия будет лучше аппроксимировать данные – g(x)=x+13+1 или 0,165x+2,184. Произведем оценку с помощью метода наименьших квадратов.

    Чтобы вычислить погрешность, нам надо найти суммы квадратов отклонений данных от прямых σ1=i=1n(yi-(axi+bi))2 и σ2=i=1n(yi-g(xi))2, минимальное значение будет соответствовать более подходящей линии.

    σ1=i=1n(yi-(axi+bi))2==i=15(yi-(0,165xi+2,184))20,019σ2=i=1n(yi-g(xi))2==i=15(yi-(xi+13+1))20,096

    Ответ: поскольку σ1<σ2, то прямой, наилучшим образом аппроксимирующей исходные данные, будет
    y=0,165x+2,184.

    Как изобразить МНК на графике функций

    Метод наименьших квадратов наглядно показан на графической иллюстрации. С помощью красной линии отмечена прямая g(x)=x+13+1, синей – y=0,165x+2,184. Исходные данные обозначены розовыми точками.

    Поясним, для чего именно нужны приближения подобного вида.

    Они могут быть использованы в задачах, требующих сглаживания данных, а также в тех, где данные надо интерполировать или экстраполировать. Например, в задаче, разобранной выше, можно было бы найти значение наблюдаемой величины y при x=3 или при x=6. Таким примерам мы посвятили отдельную статью.

    Доказательство метода МНК

    Чтобы функция приняла минимальное значение при вычисленных a и b, нужно, чтобы в данной точке матрица квадратичной формы дифференциала функции вида F(a, b)=i=1n(yi-(axi+b))2 была положительно определенной. Покажем, как это должно выглядеть.

    Пример 2

    У нас есть дифференциал второго порядка следующего вида:

    d2F(a; b)=δ2F(a; b)δa2d2a+2δ2F(a; b)δaδbdadb+δ2F(a; b)δb2d2b

    Решение

    δ2F(a; b)δa2=δδF(a; b)δaδa==δ-2i=1n(yi-(axi+b))xiδa=2i=1n(xi)2δ2F(a; b)δaδb=δδF(a; b)δaδb==δ-2i=1n(yi-(axi+b))xiδb=2i=1nxiδ2F(a; b)δb2=δδF(a; b)δbδb=δ-2i=1n(yi-(axi+b))δb=2i=1n(1)=2n

    Иначе говоря, можно записать так: d2F(a; b)=2i=1n(xi)2d2a+2·2xii=1ndadb+(2n)d2b.

    Мы получили матрицу квадратичной формы вида M=2i=1n(xi)22i=1nxi2i=1nxi2n.

    В этом случае значения отдельных элементов не будут меняться в зависимости от a и b. Является ли эта матрица положительно определенной? Чтобы ответить на этот вопрос, проверим, являются ли ее угловые миноры положительными.

    Вычисляем угловой минор первого порядка: 2i=1n(xi)2>0. Поскольку точки xi не совпадают, то неравенство является строгим. Будем иметь это в виду при дальнейших расчетах.

    Вычисляем угловой минор второго порядка:

    det(M)=2i=1n(xi)22i=1nxi2i=1nxi2n=4ni=1n(xi)2-i=1nxi2

    После этого переходим к доказательству неравенства ni=1n(xi)2-i=1nxi2>0 с помощью математической индукции.

    1. Проверим, будет ли данное неравенство справедливым при произвольном n. Возьмем 2 и подсчитаем:

    2i=12(xi)2-i=12xi2=2x12+x22-x1+x22==x12-2x1x2+x22=x1+x22>0

    У нас получилось верное равенство (если значения x1 и x2 не будут совпадать).

    1. Сделаем предположение, что данное неравенство будет верным для n, т.е. ni=1n(xi)2-i=1nxi2>0 – справедливо.
    2. Теперь докажем справедливость при n+1, т.е. что (n+1)i=1n+1(xi)2-i=1n+1xi2>0, если верно ni=1n(xi)2-i=1nxi2>0.

    Вычисляем:

    (n+1)i=1n+1(xi)2-i=1n+1xi2==(n+1)i=1n(xi)2+xn+12-i=1nxi+xn+12==ni=1n(xi)2+n·xn+12+i=1n(xi)2+xn+12--i=1nxi2+2xn+1i=1nxi+xn+12==i=1n(xi)2-i=1nxi2+n·xn+12-xn+1i=1nxi+i=1n(xi)2==i=1n(xi)2-i=1nxi2+xn+12-2xn+1x1+x12++xn+12-2xn+1x2+x22+...+xn+12-2xn+1x1+xn2==ni=1n(xi)2-i=1nxi2++(xn+1-x1)2+(xn+1-x2)2+...+(xn-1-xn)2>0

    Выражение, заключенное в фигурные скобки, будет больше 0 (исходя из того, что мы предполагали в пункте 2), и остальные слагаемые будут больше 0, поскольку все они являются квадратами чисел. Мы доказали неравенство.

    Ответ: найденные a и b будут соответствовать наименьшему значению функции F(a, b)=i=1n(yi-(axi+b))2, значит, они являются искомыми параметрами метода наименьших квадратов (МНК).

    Если вы заметили ошибку в тексте, пожалуйста, выделите её и нажмите Ctrl+Enter
    Средняя оценка статьи
    4,8 из 5 (19 голосов)