Regressziós modellezés

Megfogalmazzuk a regressziós feladatot a sokaságban (azaz, ha ismerjük minden változó eloszlását), megoldjuk azt, majd megvizsgáljuk a megoldást abban a speciális esetben, ha a változók eloszlása normális. Röviden kitérünk arra a kérdésre is, hogy egy modell jósága hogyan jellemezhető.

Megnézzük, hogy mit jelent a linearitás egy regresszió esetében, és ennek során kulcsfontosságú megállapításra jutunk, amikor a paramétereket értelmezzük.

Megbeszéljük, hogy mit jelent a mintából becslés feladata a lineáris regressziós modellnél, majd megnézzük a legfontosabb becslőt: a közönséges legkisebb négyzetek (OLS) becslőt. Mindehhez vektoros-mátrixos formalizmussal írjuk fel a feladatot. Ezt követően kitérünk a modell többszörös determinációs együtthatóval történő jellemzésére, és a négyzetösszeg-felbontásra.

Megnézzük, hogy a mintavételi helyzet mit jelent az OLS szolgáltatta becslésekre nézve. Vajon milyen feltevések teljesülése esetén milyen tulajdonságai bizonyíthatóak az OLS-nek? Ráadásként visszatérünk az optimális sokasági regresszió kérdésére, és adunk egy új, feltevéseket igénylő, de cserében sokkal egyszerűbb levezetést.

Megvizsgáljuk, hogy lineáris modellben hogyan lehet különböző hipotéziseket megvizsgálni (egy paraméterre, összes paraméterre, tetszőleges számú paraméterre vonatkozó hipotézisek vizsgálata, egy és több lineáris megkötés vizsgálata), illetve paraméterekre konfidenciaintervallumot szerkeszteni. Mindezekhez először is a mintavételi eloszlás alakjáról kell tudnunk valamit, amihez vagy a hibanormalitási feltevés teljesülésére, vagy nagy mintára van szükség.

Megbeszéljük annak a kérdéseit, ha egy regresszió magyarázó változói között kategoriális (minőségi) változót kell szerepeltetnünk. A változó szerepelhet önmagában, más kategoriális magyarázó változóval együtt, vagy folytonos változó mellett is.

Megnézzük, hogy a legklasszikusabb OLS eljáráson kívül milyen egyéb lehetőségek vannak regressziós modellek becslésére.

Bevezetésként megbeszéljük a marginális hatásnak ("+1 egység hogyan hat") mi a pontos értelmezése, melynek jelentősége lesz, ha nem csak lineáris modelleket nézünk. Ez után elsőként feloldjuk elsőként az additivitást, tehát, hogy az egyes magyarázó változók eredményváltozóra gyakorolt hatása nem függ a többi magyarázó változó értékétől, azaz bevezetjük az interakció fogalmát. Ezt követően feloldjuk a változónkénti linearitást is, tehát, hogy a meredekség ugyanaz, függetlenül attól, hogy mi a magyarázó változó értéke. Röviden áttekintjük egy analízisbeli érveléssel, hogy a linearitás miért lehet jó közelítés, majd teljes általánosságban osztályozzuk a nemlinearitásokat, és megbeszéljük becslési lehetőségeiket. Végezetül áttekintjük az egyik legfontosabb nemlinearitást, a logaritmált változók szerepeltetését, mind eredmény- mind magyarázó változóként.

A multikollinearitás két formája érdekes számunkra: az egzakt, amikor a regresszió paraméterei meg sem becsülhetőek, és a nem egzakt, amikor léteznek ugyan becsült paraméterek, de azok nem feltétlenül szerencsés tulajdonságokkal bírnak. A multikollinearitás kevesebb esetben jelent gondot, mint azt sokan feltételezik, úgyhogy elsőként azt tisztázzuk, hogy mikor kell egyáltalán foglalkozni vele. Ezt követően megbeszéljük a mérésére és a kezelésére szolgáló eszközöket, bár látni fogjuk, hogy mindkettőnél sok probléma merül fel.

A modellszelekció során azt a kérdést próbáljuk megválaszolni, hogy ha adott magyarázó változók egy potenciális köre (tehát nem vagyunk benne biztosak, hogy mindegyiket használni kell magyarázó változóként) akkor hogyan dönthetjük el, hogy melyek azok amiket végülis beveszünk egy regressziós modellbe.

Megnézzük, hogy a szigorú exogenitás modellfeltevése mit jelent pontosan, mi a tartalma. Látni fogjuk, hogy az egyik legfontosabb következménye, hogy kizárja a confounding-ot, azaz, hogy lényeges változót kihagyunk a regresszióból. Hosszan megbeszéljük, hogy ennek pontosan mi a statisztikai tartalma egy regressziós modellben. Ez persze csak egy példa, még ha a legfontosabb példa is, az exogenitás sérülésére; hasonló jelenséget okozhat a mérési hiba vagy a szimultaneitás is. Ezeken kívül megbeszéljük a feltétel lehetséges gyengítéseit, annak következményeit arra, hogy az OLS szolgáltatta becslésre milyen tulajdonságokat tudunk igazolni, illetve beszélünk a kezelés lehetőségeiről is, megmutatva, hogy ez miért nagyon nehéz feladat.

A homoszkedaszticitás követelménye egyszerűen szólva azt jelenti, hogy a hibák szórása legyen állandó. Elsőként megnézzük ennek a pontos definícióját, tartalmát és jelentőségét, különös tekintettel arra, hogy a sérülése esetén milyen problémák jelennek meg egy regressziós modellben, majd áttérünk a második nagy kérdéskörre: arra, hogy hogyan lehet detektálni ezt a jelenséget. A tesztelés kérdései után pedig, harmadik témaként megbeszéljük, hogy a homoszkedaszticitás sérülését hogyan lehet kezelni, mit tehetünk, ha egy regressziós modellben ha fellépne ez a jelenség.

Az eddigi lineáris regressziós modell kereteit szétfeszíti, ha az eredményváltozó nem folytonos, hanem kategoriális. Ehhez egy új regressziós megoldást kell kifejlesztenünk, ez lesz a logisztikus regresszió, mely sajátos értelmezéssel rendelkezik, OLS-elven nem becsülhető, de ML-elven igen, illetve komoly kérdéseket vet fel az előrejelzés vele. A legegyszerűbb - bináris - eredményváltozóra vonatkozó modell után megismerkedünk az egyéb eseteket kezelő változataival is ennek a modellnek.

Az általánosított lineáris modell (GLM) egy egységes elmélet, mely speciális esetként tartalmazza az összes eddig látott regressziós modellt. Elméleti szépsége mellett több gyakorlati előnyt is jelent, hiszen tulajdonságai jól kiismertek, és minden ilyen keretrendszerben leírható modell automatikusan rendelkezni fog velük.