Де застосовується метод найменших квадратів

Де застосовується метод найменших квадратів


Метод найменших квадратів (МНК) дозволяє оцінювати різні величини, використовуючи результати безлічі вимірювань, що містять випадкові помилки.


Характеристика МНК

Основна ідея даного методу полягає в тому, що в якості критерію точності вирішення завдання розглядається сума квадратів помилок, яку прагнуть звести до мінімуму. При використанні цього методу можна застосовувати як чисельний, так і аналітичний підхід.

Зокрема, як чисельну реалізацію метод найменших квадратів передбачає проведення якомога більшого числа вимірювань невідомої випадкової величини. Причому, чим більше обчислень, тим точніше буде рішення. На цьому безлічі обчислень (вихідних даних) отримують інше безліч передбачуваних рішень, з якого потім вибирається найкраще. Якщо багато рішень налаштувати, метод найменших квадратів зведеться до пошуку оптимального значення параметрів.

Як аналітичний підхід до реалізації МНК на безлічі вихідних даних (вимірювань) і передбачуваній безлічі рішень визначається деяка функціональна залежність (функціонал), яку можна висловити формулою, одержуваною як деяку гіпотезу, що вимагає підтвердження. У цьому випадку метод найменших квадратів зводиться до знаходження мінімуму цього функціоналу на безлічі квадратів помилок вихідних даних.

Зауважте, що не самі помилки, а саме квадрати помилок. Чому? Справа в тому, що часто відхилення вимірювань від точного значення бувають як позитивними, так і негативними. При визначенні середньої похибки вимірювань просте підсумовування може призвести до неправильного висновку про якість оцінки, оскільки взаємне знищення позитивних і негативних значень знизить потужність вибірки безлічі вимірювань. А, отже, і точність оцінки.

Для того щоб цього не сталося, і підсумовують квадрати відхилень. Навіть більше, щоб вирівняти розмірність вимірюваної величини і підсумкової оцінки, з суми квадратів похибок витягують квадратний корінь.

Деякі програми МНК

МНК широко використовується в різних областях. Наприклад, у теорії ймовірностей та математичній статистиці метод використовується для визначення такої характеристики випадкової величини, як середнє квадратичне відхилення, що визначає ширину діапазону значень випадкової величини.

У математичному аналізі та різних галузях фізики, що використовують для виведення або підтвердження гіпотез даний апарат, МНК застосовують, зокрема, для оцінки наближеного подання функцій, визначених на числових безлічі, більш простими функціями, що допускають аналітичні перетворення.

Ще одне застосування цього методу - відокремлення корисного сигналу від накладеного на нього шуму в завданнях фільтрації.

Ще одна область застосування МНК - економетрика. Тут цей метод настільки широко використовується, що для нього були визначені деякі спеціальні модифікації.

Більшість завдань економетрики, так чи інакше, зводиться до вирішення систем лінійних економетричних рівнянь, що описують поведінку деяких систем - структурних моделей. Основний елемент кожної такої моделі - тимчасовий ряд, що являє собою набір деяких характеристик, значення яких залежать як від часу, так і від ряду інших факторів. При цьому може спостерігатися відповідність між внутрішніми (ендогенними) характеристиками моделі і зовнішніми (екзогенними) характеристиками. Ця відповідність виражається зазвичай у вигляді систем лінійних економічних рівнянь.

Характерною особливістю таких систем є наявність взаємозв'язків між окремими змінними, які з одного боку, ускладнюють її, з іншого - перевизначають. Що є причиною появи невизначеності при виборі вирішення таких систем. Додатковим фактором, що ускладнює вирішення таких завдань, є залежність параметрів моделей від часу.

Основна мета завдань економетрики - ідентифікація моделей, тобто визначення структурних взаємозв'язків у обраній моделі, а також оцінювання низки її параметрів.

Відновлення залежностей у часових рядах, складових моделі, може бути виконано, зокрема, за допомогою як прямого МНК, так і деяких його модифікацій, а також ряду інших методів. Спеціальні модифікації МНК при вирішенні таких завдань спеціально розвинені для вирішення тих чи інших проблем, що виникають у процесі чисельного вирішення систем рівнянь.

Зокрема, одна з таких проблем пов'язана з наявністю вихідних обмежень на параметри, які потрібно оцінювати. Наприклад, дохід приватного підприємства може бути витрачений на споживання або на його розвиток. Отже, сума частин даних двох видів витрат завідомо дорівнює 1. У систему економетричних рівнянь ці частини можуть входити незалежно одна від одної. Отже, можна оцінити різні види витрат за допомогою МНК, без урахування вихідного обмеження, а потім підкоригувати отриманий результат. Такий спосіб вирішення названий непрямим методом найменших квадратів.

Непрямий метод найменших квадратів (КМНК) використовується для визначеної структурної моделі. Алгоритм КМНК передбачає виконання таких дій:

1) перетворення структурної моделі на більш просту, наведену форму шляхом введення додаткової залежності;

2) оцінка за допомогою звичайного МНК наведених коефіцієнтів для кожного рівняння спрощеної моделі;

3) отримані коефіцієнти простої форми моделі перетворюються на параметри вихідної структурної моделі.

Варто зазначити, що для надідентифікованих систем КМНК не використовують, оскільки в цьому випадку неможливе завдання однозначних оцінок параметрів структурної моделі. Для таких моделей може бути використана ще одна модифікація МНК - двошаговий метод найменших квадратів (ДМНК).

Алгоритм ДМНК наступний:

1) на основі спрощеної моделі розрахувати для надідентифікованого рівняння значення внутрішніх змінних, які містяться в правій частині рівняння;

2) підставити отримані значення змінних на місце відповідних фактичних змінних у вихідній моделі і ще раз застосувати звичайний МНК.

Докладний опис непрямого і двошагового методів найменших квадратів наведено в багатьох підручниках з економетрики. Особливість цих методів, так само як і звичайного МНК, в їх універсальності, що дозволяє використовувати їх для оцінки коефіцієнтів будь-якої структурної моделі в якій завгодно предметній області.