ANALIZA REGRESJI
Na poprzednich ćwiczeniach omówiliśmy współczynnik korelacji liniowej Pearsona mierzący
siłę i kierunek liniowego związku między dwiema zmiennymi losowymi. Na obecnych
ćwiczeniach poświęconych regresji liniowej zajmiemy się modelowaniem związku między:
zmienną zależną, oznaczaną przez Y i zmienną niezależną, oznaczaną przez X. Model, który
tu będziemy opisywać zakłada, że między X i Y zachodzi liniowy związek. Model regresji
liniowej opisujący zależność zmiennej Y od X przyjmuje w takiej sytuacji postaci:
Y = β0 + β1X + ε
gdzie odpowiednio:
β0, β1 - parametry liniowej funkcji regresji
ε - składnik losowy
Wyraz wolny β0 jest punktem przecięcia linii prostej z osią rzędnych(oś Y), a β1 jest
współczynnikiem kierunkowym, czyli miarą nachylenia linii β0 + β1x (względem osi
odciętych). Składnik losowy reprezentuje losowe zakłócenia funkcyjnego powiązania między
wartościami zmiennej zależnej a wartościami zmiennej niezależnej. Składnik ten wyraża
wpływ wszystkich czynników, które obok X wpływać mogą na zmienną objaśnianą Y, oraz
związany jest z brakiem pełnego dopasowania analitycznej postaci funkcji regresji do
rzeczywistego powiązania między analizowanymi zmiennymi. Składnik ten jest losową
zmienną, która pozwala na obliczenie dokładności szacunku parametrów liniowej funkcji
regresji. Musimy pamiętać, że w rzeczywistości nie są znane parametry β0, β1. Możemy je
jedynie oszacować na podstawie n-elementowej próby składającej się z par obserwacji (xi, yi)
dla i = 1, 2,..., n. Oszacowana funkcja regresji przyjmuje wówczas następującą postać:
yi = b0 + b1xi +ε i
gdzie odpowiednio:
b0 i b1 – oceny parametrów β0, β1.
ei - tzw. reszty (zmienna losowa) definiowane jako 𝑒𝑖= 𝑦𝑖− 𝑦𝑖, czyli różnica między
wartością obserwowaną yi a teoretyczną wyliczoną z modelu 𝑦𝑖.
Jak jednak znaleźć taką „dobrze dopasowaną” linię prostą? Punktem wyjścia są reszty, a
właściwie suma kwadratów reszt opisująca rozbieżność pomiędzy wartościami empirycznymi
zmiennej zależnej a jej wartościami teoretycznymi, obliczonymi na podstawie wybranej
funkcji. Oszacowania b0 i b1 dobieramy tak, aby suma kwadratów reszt osiągnęła minimum.
Ta najbardziej znana i stosowana metoda szacowania parametrów linii regresji nosi nazwę
metody najmniejszych kwadratów (MNK). Nie musimy się martwić o skomplikowane
obliczenia występujące w tej metodzie, bowiem wszystkie pakiety statystyczne obliczają
oceny współczynników regresji. Tutaj tradycyjnie pokażemy, jak korzystać z pakietu
STATISTICA, aby uzyskać pełne rozwiązanie problemu regresji. Pakiet ten dysponuje
modułem do przeprowadzenia bardziej ciekawych i złożonych analiz. Jest to moduł Regresja
Wielokrotna. Przy pomocy tego modułu możemy przeprowadzić obliczenia związane z
liniową regresją wielokrotną, regresją krokową lub przeprowadzić analizę modeli
nieliniowych, które poprzez transformację sprowadzamy do postaci liniowej.
Rozważmy badanie, w którym analizowano powiazanie między obwodem serca a masą ciała
dla 15 krów. Jesteśmy zainteresowani równaniem regresji opisującej zależność masy ciała
i obwodu serca. Fragment omawianych danych przedstawia poniższa tabelka.
