Як розрахувати регресію

Як розрахувати регресію


Уявімо собі, що є випадкова величина (СВ) Y, значення якої підлягають визначенню. При цьому Y пов 'язана якимось чином з випадковою величиною X, значення якої X = x, у свою чергу, доступні для вимірювання (спостереження). Таким чином, вийшло завдання оцінювання значення СВ Y = y, недоступне для спостереження, за спостережуваними значеннями X = x. Саме для таких випадків застосовуються регресійні методи.

Вам знадобиться

  • - знання основних принципів методу найменших квадратів.

Інструкція

спільнийщільність1. Нехай є система СВ (X, Y), де Y залежить від того, яке значення в досвіді прийняла СВ Х. Розглянемо ймовірностей системи W (x, y). Як відомо, W (x, y) = W (x) W (y 'x) = W (y) W (x' y). Тут фігурують умовні щільності ймовірностей W (y 'x). Повне прочитання такої щільності наступне: умовна щільність ймовірностей СВ Y, за умови, що СВ Х прийняла значення х. Більш короткий і грамотний запис має вигляд: W(y|Х=x).

2. Дотримуючись байєсівського підходу W (y 'x) = (1/W (x)) W (y) W (x' y). W (y 'x) - це апостеріорний розподіл СВ Y, тобто такий, який стає відомим після твору досвіду (спостереження). Дійсно, саме апостеріорна щільність ймовірностей містить в собі всі відомості про CB Y після отримання досвідчених даних.

3. Встановити значення СВ Y = y (апостеріорно) - означає знайти її оцінку y *. Оцінки знаходять слідуючи критеріям оптимальності, в даному випадку - це мінімум апостеріорної дисперсії б (х) ^ 2 = М {(у * (х) -Y) ^2|x}=min, при виконанні критерію y * (x) = M {Y 'x}, який називають оптимальною оцінкою за цим критерієм. Оптимальна оцінка y * СВ Y, як функція від х, називається регресією Y на х.

4. Розгляньте лінійну регресію y = a + R (y 'x) x. Тут параметр R (y 'x) називається коефіцієнтом регресії. З геометричної точки зору R (y 'x) - кутовий коефіцієнт, що визначає нахил лінії регресії до осі 0Х. Визначення параметрів лінійної регресії можна здійснити за допомогою методу найменших квадратів, заснованим на вимозі мінімальності суми квадратів відхилень вихідної функції від апроксимуючої. У разі лінійної апроксимації метод найменших квадратів призводить до системи для визначення коефіцієнтів (див. рис. 1).

5. Для лінійної регресії можна визначити параметри на основі зв 'язку між коефіцієнтами регресії та кореляції. Між коефіцієнтом кореляції та параметром парної лінійної регресії існує залежність, а саме. R (y 'x) = r (x, y) (бу/бх) де r (x, y) - коефіцієнт кореляції між х і у; (бх і бу) - середньоквадратичні відхилення. Коефіцієнт a визначаються за формулою: a = y * -Rx *, тобто для того щоб його обчислити, треба просто в рівняння регресії підставити середні значення змінних.