V krizi smisla tiči misel






         

19.02.2012

Kratka interaktivna delavnica ekonometrije: preverjanje hipotez

Zapisano pod: Bloomingtonski zapisi, Ekonomija — andee - 19.02.2012

Nadaljujmo torej, kjer smo prejšnjič končali, pri preverjanju hipotez torej. Pojem hipoteze kot takšne tvori osnovo znanstvenega razmišljanja. Ne želim iti sicer preveč v popperjansko smer, kjer velja za znanost le tisto, kar je možno falsificirati, torej zapisati kot hipotezo, ki je podvržena preverjanju in mora biti potencialno ovrgljiva. Kot je dobro znano, zato za Popperja npr. Freudove in Marxove teorije niso znanost, ker preprosto niso zmožne producirati preverljivih oz. bolje ovrgljivih trditev. Ampak to bi bila tema za nek drug, bolj filozofsko obarvan zapis. Za nas naj bo dovolj to, da je hipoteza trditev, ki razdeli vse možnosti sveta v dva dela: enega, ki je v skladu s t.i. ničelno hipotezo (angl. null hypothesis), ki npr. pravi, da je nek koeficient v enačbi enak 0 (da npr. dohodek ne vpliva na rast prebivalstva, da je torej ustrezen koeficient v regresijski enačbi pri dohodku enak 0); ter alternativno hipotezo, ki trdi nasprotno, da je torej isti koeficient v enačbi različen od 0, da torej dohodek vpliva na rast prebivalstva. Potrebno je še dodati, da nas včasih zanima samo različnost od 0, v tem primeru govorimo o t.i. dvostranskih testih, v primeru, da pa vemo tudi za »smer« preverjanja, da torej želimo preveriti, ali je npr. dohodek pozitiven dejavnik rasti prebivalstva, v tem primeru govorimo o enostranskih testih (logično, ker nas zanima samo ena, npr. pozitivna stran).

Še ena kratka, popperjanska misel je na mestu. Nobene od trditev v popperjanskem znanstvenem svetu ne moremo dokončno potrditi. Naj dam razvpit primer: denimo, da želimo preveriti ničelno hipotezo, da so vsi labodi na svetu beli. Seveda je svet neskončen, poleg tega se še razvija (in to ponavadi nepredvidljivo) iz dneva v dan, zato nikoli ne bomo mogli preveriti beline čisto vseh labodov na svetu. Vedno obstaja možnost, da obstaja tudi kak siv ali črn labod, kot v knjigi Nassima Taleba. Za ovrženje ničelne hipoteze »vsi labodi so beli« pa je seveda dovolj že en sam samcat črn labod. Zato ničelne hipoteze nikdar ne moremo dokončno potrditi, lahko pa jo ovržemo. Toliko samo v opomin.

Najbolj osnoven postopek preverjanja hipotez, ki ga učijo osnovni učbeniki statistike, je sestavljen iz štirih delov. Najprej, določimo osnovno in alternativno hipotezo. Drugič, izberemo stopnjo zaupanja, pri kateri želimo ugotoviti ali lahko hipotezo ovržemo ali ne. Najbolj pogosto  so v uporabi stopnje zaupanja 90%, 95% in 99%. Stopnje zaupanja nam povedo, kako veliko bo in kje se bo pričelo naše kritično območje, torej območje, v katerem lahko brez skrbi zavrnemo ničelno hipotezo (o tem smo nekaj spregovorili zadnjič).

Tretjič, izberemo testno statistiko, torej cenilko (ocenjevalec parametra), s katero bomo preverjali našo hipotezo. Tu pride v poštev npr. naša Z (ali tudi t) statistika, ki smo jo omenjali prejšnjič, torej vrednost spremenljivke, zmanjšana za njeno povprečno vrednost in deljena z standardnim odklonom v populaciji. Kasneje bomo videli, da je ta testna statistika le posebna vrednost t.i. Wald statistike, v primeru, da imamo opraviti le z enim ocenjevanim parametrom, torej le z eno omejitvijo (angl. constraint).

Ostane še zadnji, četrti korak. V njem izračunamo vrednost eksperimentalne statistike, torej vrednosti cenilke pri pravi vrednosti spremenljivke in jo primerjamo s kritično vrednostjo testne statistike, torej tisto vrednostjo, ki je na meji kritičnega območja. V primeru, da vrednost eksperimentalne statistike presega kritično vrednost, lahko ničelno hipotezo zavrnemo, v nasprotnem tega ne moremo storiti. Velja še omeniti, da v redkih primerih nekaterih testnih statistik (npr. p vrednost) gledamo tudi čim manjšo vrednost statistike, torej v primeru, da je vrednost manjša od določene vrednosti (npr. 0.1, 0.05, 0.01), lahko ničelno hipotezo zavrnemo. Vendar v bolj preprosti praksi ocenjevanja hipotez pogosteje srečamo prvo možnost, drugo v praksi srečamo le pri sicer pogostih p vrednostih (ki jih dobite npr. pri regresijah v SPSS).

Da torej ponovimo: razen pri statistikah p, nas zanima ali je vrednost eksperimentalne statistike večja od kritične vrednosti, če to velja, lahko hipotezo zavrnemo, v nasprotnem tega ne moremo storiti.

Naredimo kratek primer, ki je iz skripte za predmet Statistika za FDV. V anketi SJM 2002/1, pri vzorcu n velikosti 1115, je bilo število članov v slovenskih gospodinjstvih 3.27 in varianca 2.032. Ali lahko pri 10% stopnji značilnosti (vemo, da je stopnja značilnosti 1-(minus)stopnja zaupanja) trdimo, da je povprečno število članov gospodinjstva v Sloveniji statistično značilno različno od 3?

Prvi korak: ničelna hipoteza. Ponavadi je ničelna hipoteza enakost, torej bo naša hipoteza, da je število članov gospodinjstva enako 3. Alternativna hipoteza bo dvostranska, saj nas smer ne zanima, zanima nas le,da je vrednost različna od 3 (in ne npr. večja ali manjša od 3).

Drugi korak: stopnja zaupanja. V našem primeru je stopnja značilnosti enaka 10% (torej je stopnja zaupanja enaka 90%). Kritično območje (ker zaenkrat predpostavljamo normalne porazdelitve, gre za z statistiko) je dvostransko, torej iščemo z-vrednost pri stopnji značilnosti 0.05 (polovica od 10% – ker je test dvostranski, moramo vrednost deliti z 2). Iz z-tabele v prejšnjem prispevku lahko preberemo, da gre za vrednost plus minus 1.65.

Tretji korak: izberemo testno statistiko, ki bo našem primeru (velik vzorec, predpostavljena normalna porazdelitev) kar običajna t-statistika, ki ima značilno obliko, ki smo jo omenili že prejšnjič: ocenjena povprečna vrednost minus povprečna vrednost v ničelni hipotezi, oboje deljeno z ocenjeno standardno napako v populaciji. Ker slednje nimamo, moramo v našem primeru standardno napako vzorca (koren iz variance, torej koren iz 2.032) deliti s korenom iz velikosti vzorca, torej korenom iz 1115. Rezultat je: 0.0427. Vrednost t-statistike torej zdaj izračunamo po prejšnji formuli: 3.27 (ocenjena povprečna vrednost v vzorcu 1115) minus 3 (vrednost v ničelni hipotezi), oboje skupaj deljeno z 0.0427. Rezultat je: 6.32.

Še zadnji korak tega postopka: primerjamo vrednosti ocenjene (eksperimentalne) statistike, ki smo jo izračunali ravnokar (torej 6.32) in kritične vrednosti statistike, ki je plus minus 1.65 (glej drugi korak malo prej). Ker je naša vrednost po absolutni vrednosti precej večja od kritične, to pomeni, da lahko hipotezo zavrnemo pri stopnji značilnosti 10%. Pri tej stopnji značilnosti lahko torej trdimo, da je povprečno število članov gospodinjstva značilno različno od 3 (oz. da ni enako 3, kar je bila ničelna hipoteza).

Tako…Takšnim testom pravimo tudi t-testi in predpostavljajo, da imamo opravka z normalno porazdelitvijo, prav tako pa gre pri njih le za eno omejitev, torej je ničelna hipoteza sestavljena le iz ene enačbe z enim parametrom (npr. povprečno število članov je enako 3). Le malce bolj zapletemo stvari, če imamo opraviti s hi-kvadrat testi (med njimi omenimo le Pearsonovega – že tako porabljamo kar veliko časa pri teh čistih osnovah, ki so bolj statistične in ne toliko ekonometrične). Kot že ime pove, so hi-kvadrat testi vezani na hi-kvadrat porazdelitev, ki smo jo podrobneje spoznali prejšnjič. Z njimi torej preverjamo predvsem a) ali ima porazdelitev naše spremenljivke obliko hi-kvadrat spremenljivke; ali b) ali sta dve dani spremenljivki med seboj neodvisni. V podrobnosti tega testa tule ne bomo šli, če koga to zanima, naj vpraša. Vsi štirje koraki od prej so enaki, le da je porazdelitev seveda hi-kvadrat (in ne normalna, kot je bila prej), seveda pa je tudi postopek izračuna hi-kvadrat statistike drugačen kot prej prikazani postopek izračuna t-statistike. Več lahko preberete na tejle povezavi.

Ker smo prejšnjič govorili tudi o F – porazdelitvi, omenimo še pripadajoči F – test. F – test je vezan na ustrezno (seveda F…) porazdelitev, torej se ponovno spremenijo postopki izračuna statistike. Vendar velja, da si zapomnite zgornje štiri osnovne korake, ki so v takšni ali drugačni obliki vedno prisotni pri preverjanju hipotez! F – test se najpogosteje uporablja pri preverjanju, ali so povprečne vrednosti dveh ali večih populacij, ki sledijo normalni porazdelitvi, med seboj enake ali različne. Z njim lahko torej preverjamo ali sta srednji vrednosti neke spremenljivke pri dveh opazovanih populacijah med seboj enaki, kar je pogosto zlasti pri tako imenovani »analizi variance« (ANOVA), ki je ena osnovnih funkcij v vseh statističnih paketih, npr. v SPSS. F – test uporabljamo tudi, ko hočemo preveriti ali smo z dodatnimi specifikacijami modela kaj pridobili pri učinkovitosti ocenjevanja. V vsakem primeru pa velja naš četrti korak: v primeru, da vrednost izračunane (t, hi-kvadrat, F, …) statistike presega kritično vrednost (ki jo vedno preberemo iz tabel iz prejšnjega prispevka), lahko ničelno hipotezo, kakršna koli že je, zavrnemo, v nasprotnem tega ne moremo storiti (in je najverjetneje točna).

Za konec teh uvodnih sestavkov izpolnimo še obljubo in se podajmo za hip malce resneje v ekonometrično preverjanje hipotez, omenimo torej Waldove, LM in LR teste. Omenjali smo že pojem omejitve, restrikcije (angl. constraint), ki je bistvo preverjanja hipotez, ponavadi tvori kar hipotezo samo. V FDV-jevskem primeru, ki smo ga prej prikazali, je bila restrikcija to, da je srednja vrednost članov gospodinjstva enaka 3. T-test, ki smo ga uporabili v tem primeru, je samo poseben primer Waldovega testa, ki je tudi najpogostejši test v ekonometričnih izpeljavah. Zanj je značilno, da vrednost hipoteze (torej restrikcije) primerjamo le z vrednostmi, ki niso vezane na restrikcije (v našem primeru uporabimo torej vrednost 3.27, ki je bila dejanska, izračunana vrednost). Za razliko od njega uporablja LR test (likelihood ratio test oz. test verjetnostnih razmerij) primerjavo z razliko vrednosti dveh statistik, kjer je ena izračunana le pri neomejenih in druga le pri omejenih/restriktivnih vrednostih statistike. Velikokrat je LR test bolj priporočljiv od Waldovega, saj je slednji odvisen od načina, kako postavimo vprašanje. Z Waldovim testom tako dobimo različne rezultate v primerih, da preverjamo ali je vrednost nekega parametra enaka 0 ali log 1 (ki je prav tako enak 0…), saj sta lahko porazdelitvi in slučajni napaki za obe vrednosti drugačni.

Tretji test in tretja možnost je test Lagrangevega multiplikatorja (Lagrange Multiplier oz. LM Test) oz. t.i. score test, pri katerem vrednost statistike ocenjujemo le za omejeni model, torej model na temelju restrikcij. To je torej še tretja možnost ki jo imamo: pri Waldovem testu postavljamo ocene le na podlagi neomejenega modela, pri LM testu le na podlagi omejenega, pri LR testu pa uporabimo enega in drugega. Eno pomembnejših spoznanj statistike druge polovice prejšnjega stoletja je bilo, da so vsi trije testi asimptotsko enaki (to je lepo prikazano tule), to pomeni, da se vrednosti vseh treh testov v osnovi ne bi smele preveč (ali celo sploh) razlikovati – uporaba kateregakoli od njih pa je potem samo odločitev glede na dane lastnosti modela, ki ga ocenjujemo. Kot rečeno pa je najpogosteje v uporabi Waldov test.

Tako, s tem smo sklenili tale hiter trodelni statistični pregled, naslednjič pričnemo z linearnimi regresijskimi modeli, najprej seveda s slavno metodo najmanjših kvadratov oz. OLS modeli, ki so tudi najbolj enostavni in osnovni modeli v ekonometriji.

  • Share/Bookmark


5 komentarjev »

  1.   milkaj — 3.11.2012 @ 11:51

    pozdravljen andee..

    prosim te za pomoč..kaj pomeni visoka stopnja wald chi-kvadrata… in stopnje značilnosti pri raziskavi (1,5 ali 10%)?

    Hvala… J

  2.   andee — 3.11.2012 @ 12:07 andee

    Pozdravljeni,
    Waldov test (velja tudi za Wald hi kvadrat) se obnaša kot katerikoli drug test glede pomena – njegova visoka vrednost pomeni, da lahko zavrnete ničelno hipotezo, nizka (nižja od kritične) pa da tega ne morete storiti. Stopnja značilnosti pomeni pri kateri stopnji značilnosti lahko ničelno hipotezo zavrnete, nižja kot je ta vrednost (npr. 1%), bolj je test statistično značilen in prej lahko ničelno hipotezo zavrnete.
    V primeru Waldovega hi kvadrata ponavadi testirate neodvisnost stopcev od vrstic v kontingenčni tabeli (ničelna hipoteza je, da so stolpci neodvisni od vrstic). Zato visoka vrednost tega testa (in “visoka” statistična značilnost – torej npr. vsaj 5% ali še manj) pomeni, da so stolpci odvisni od vrstic in med spremenljivkama v kontingenčni tabeli obstaja povezanost oz. odvisnost, pri dani stopnji statistične značilnosti, ki jo pokaže test. Nizka vrednost Walda in statistično neznačilen test pa bi pomenil, da ne morete zavrniti ničelne hipoteze, da torej velja, da sta spremenljivki nepovezani.

  3.   milkaj — 3.11.2012 @ 13:18

    o, havla!

    kaj pa če stopnje značilnosti ni – kaj to pomeni?

    Primer:
    - imam dva vzorca:
    1. vzorec koeficienti:
    * – 0,554 (wald hi-kvadrat = 8.25), stopnja značilnosti 1%
    * – 0,458 (wald hi-kvadrat = 4.47), stopnja značilnosti 5%
    * – 0.755 (wald hi-kvadrat = 6.44), stopnja značilnosti 5%

    2. vzorec koeficienti:
    * – 0,288 (wald hi-kvadrat = 3.86), stopnja značilnosti 5%
    * – 0,232 (wald hi-kvadrat = 1.82), NI stopnje značilnosti
    * – 0,402 (wald hi-kvadrat = 3.32), stopnja značilnosti 10%

    Prevajam raziskavo, statistika ni moje področje, zato si želim pravilno interpretirati rezultate. Torej v raziskavi je zapisano, da prvi vzorec ustreza napovedim, drugi pa ne. Če razumem prav je 1. vzorec ustrezen zaradi visoke stopnje wald-hi in stopenj znač. med 1 – 5%, vzorec 2. pa ne, zaradi nizke stopnje wald hi?

  4.   andee — 3.11.2012 @ 13:28 andee

    Zdravo,
    vsekakor vzorca govorita drugačno zgodbo – prvi govori o statistični značilnosti nekega modela oz. hipotez, drugi pa nekoliko drugačno, ravno obratno zgodbo, čeprav je tudi še šibko značilen, razen pri enem koeficientu. Mislim, da je vaša interpretacija torej kar prava, modela oz. vzorca se razlikujeta, napovedi, ki so se pokazale veljavne v prvem vzorcu, niso enako veljavne v drugem vzorcu.

  5.   milkaj — 3.11.2012 @ 13:42

    Hvala :)

RSS vir za komentarje na objavo. Trackback URI

Komentiraj

Komentiranje iz tujine je omogočeno zgolj prijavljenim uporabnikom !

Blog V krizi smisla tiči misel | Zagotavlja SiOL | O Sistemu |