V krizi smisla tiči misel






         

12.01.2013

Delavnica ekonometrije: o trojici testov – Wald, LM, LR

Zapisano pod: Ekonometrija, Ekonomija — andee - 12.01.2013

Končno izpolnjujem tudi obljubo, da bomo nekaj napisali o trojici testov, ki so najobičajnejši, ko imamo opravka s svetom cenilk največjega verjetja in predvsem s preučevanjem asimptotskega obnašanja cenilk, ki je jedro sodobne ekonometrije. Testi so torej nekakšna posplošitev testov, ki smo jih že predstavljali tule, torej Z, t, F in hi kvadrat testov, v svetu asimptotskega obnašanja. Za razumevanje tega prispevka torej predlagam, da kratko preletite še tale prispevek iz predhodnih izvedb te delavnice.

Ko sem včeraj pripravljal članek, sem v temle prispevku naletel na pot razlage, ki je tako preprosta in kratka, da jo bomo uporabili tudi sami. Predpostavimo, da poznamo verjetnostno gostoto l(y,θ) v modelu, kjer želimo preveriti neko ničelno hipotezo H0: θ= θ0, da je torej naš parameter θ enak neki vnaprej določeni vrednosti θ0. Imenujmo L(θ) našo logaritemsko funkcijo verjetja in θ našo ocenjeno vrednost θ.

Naš prvi, torej Waldov test, temelji na zamisli, da bo ničelna hipoteza veljavna (oziroma je ne bomo mogli ovreči), kadar bo θ blizu vrednosti θ0. Zato je osnova za formulacijo testa razlika med θ, torej ocenjeno vrednostjo pravega parametra, ter ničelno vrednostjo θ0. Najpreprostejša formula za Wald testno statistiko (na spodnji sliki) je torej preprosto kvadrat razlike med θ in θ0, deljen z varianco ocenjene vrednosti parametra. Formula za Wald test je videti zelo preprosto (tudi formule za Z, t in hi kvadrat test so le njeni posebni primeri), stvar se nekoliko zaplete, ko imamo opravka s cenilkami največjega verjetja, v tem primeru je varianca v imenovalcu seveda enaka inverzu informacijske matrike deljenem s številom opazovanj. Več o tem smo povedali prejšnjič, ko smo govorili o Cramer-Rao neenakosti in asimptotski učinkovitosti MLE cenilk.

Zgoraj: Preprosta formula za izračun Wald testa

Kaj se spremeni pri testu Lagrangeovega multiplikatorja? V tem primeru naš problem maksimiranja funkcije verjetja (ponovno nekaj, o čemer smo govorili prejšnjič) zapišemo v drugačni optimizacijski obliki, optimizaciji z omejitvami (constraint optimization): maksimiramo torej vrednost logaritemske funkcije verjetja, pod pogojem, da je vrednost parametra θ enaka θ0, torej izhodiščni vrednosti pri ničelni hipotezi. Mnogi med vami, ki ste že kdaj reševali optimizacijske probleme veste, da je to problem, ki se ga da najhitreje rešiti s pomočjo Lagrangeove funkcije, ki sešteje optimizacijski problem z vrednostjo omejitve oz. pogoja, pri čemer je slednja pomnožena z neko konstanto, ki ji rečemo Lagrangeov multiplikator. Ko rešujemo optimizacijski problem je prav vrednost slednjega ključna pri reševanju.

Test Lagrangeovega multiplikatorja torej gradi na reševanju optimizacijskega problema, zato igra ključno vlogo Lagrangeov multiplikator – od tod torej tudi ime testa, kar je zdaj jasno že vsem, ki berete ta zapis. V primeru, da želimo veljavnost ničelne hipoteze, bo morala biti vrednost pri pogoju oz. restrikciji čim manjša, zato ta test v izhodišču preverja, kako blizu števila nič je vrednost Lagrangeovega multiplikatorja.

Osnovna formula za izračun tega testa (odslej mu bomo pravili LM test) je zapisana spodaj, testna statistika pa je enaka produktu treh matrik, o katerih smo govorili prejšnjič – transponirane score matrike, inverza informacijske matrike (torej dejansko variančno kovariančne matrike za naš test), ter originalne score matrike. Zaradi takšne konstrukcije temu testu večkrat pravimo tudi score test, tako ga je imenoval prvi, ki je pisal o njem, že omenjeni indijski statistik Rao. Kar je še pomembno dodati je, da so vse tri matrike v izračunu testa izračunane pri vrednosti omejitve, torej ničelne hipoteze, θ0, in ne pri vrednosti ocenjenega parametra θ.

Zgoraj: Formula za izračun LM testa (levo) in formula za izračun score matrike (desno)

Ostal je še zadnji test, test razmerja verjetnosti oz. likelihood ratio test (odslej tudi LR test). Če je Wald test gradil le na vrednostih izračunanih brez upoštevanja restrikcij, torej le pri vrednosti θ, in če je LM test pri vseh vrednostih v testni statistiki upošteval vrednost pri restrikciji, torej θ0, sta v izračunu testa razmerja verjetnosti vključeni obe vrednosti. Osnovna ideja, ki počiva v temelju tega testa je, da bosta pri izpolnjeni ničelni hipotezi tudi vrednosti (logaritemske) funkcije verjetja pri ocenjeni vrednosti θ in vrednosti ničelne hipoteze θ0 zelo blizu druga drugi. Test torej preprosto vzame ocenjeno razliko med funkcijo L pri ocenjeni vrednosti in pri vrednosti ničelne hipoteze, jo pomnoži z 2 zaradi lepšega asimptotskega obnašanja (večkrat oz. večinoma boste videli tu vrednost -2: v tem primeru je samo vrstni red vrednosti pri izračunu razlike obraten, odštevamo torej ocenjeno vrednost od ničelne hipoteze), ter to vrednost jemlje kot izhodiščno testno statistiko. Formula je zapisana spodaj.

Zgoraj: Preprosta formula za izračun LR testa

Eno pomembno stvar za vse, ki vsaj malo bolje poznate in uporabljate statistiko, smo izpustili. Seveda ni dovolj, da povemo le formulo izračuna testne statistike, potrebno je povedati še statistično porazdelitev, po kateri se testna statistika porazdeljuje, da bomo npr. lahko iskali kritične vrednosti in dejansko opravljali vse želene statistične teste. Odgovor je v tem primeru zelo kratek: vse tri statistike se pod predpostavljeno ničelno hipotezo porazdeljujejo kot hi kvadrat porazdelitev pri k stopinjah prostosti, kjer je k dimenzija parametra θ (v primeru, da gre npr. za navadno številko, je ta vrednost enaka 1; v primeru, da ima θ dve koordinati, je ta vrednost dva, itd.). Vse drugo lahko torej načeloma preberemo iz tabel.

Še kratek geometrijski prikaz je na mestu. Spodnja slika nazorno pokaže, kar smo prej že zapisali. Pri Waldovem testu, nas zanima predvsem razlika med samima vrednostma parametra, kar je ponazorjeno (kot vedno) na x osi. Pri LR testu nas zanima razlika med vrednostma funkcij parametra, torej L, kar je ponazorjeno z razliko na y osi. Pri LM testu pa nas zanima score matrika, ki je, kot smo povedali prejšnjič, odvod (logaritemske) funkcije verjetja, iz osnov matematične analize pa vemo, da je geometrijski pomen odvoda naklon tangente na funkcijo. Vse omenjeno je torej ponazorjeno v spodnji sliki.

Zgoraj: Geometrijski prikaz in pomen vseh treh testov

Še nekaj besed o uporabi teh testov je na mestu. Dve ugotovitvi sta posebej lepi in zanimivi. Najprej, vsi trije testi so asimptotsko enakovredni, vsi se porazdeljujejo po enaki statistični porazdelitvi, zato bi morali v danem primeru vsaj v grobem dati enake rezultate. To seveda v praksi ni vedno res, kar s primerom lepo pokaže Robert Engle v temle prispevku (strani 793 in 794). Zato ta trditev seveda v grobem drži, v praksi pa značilnosti opazovanih spremenljivk določajo primernost posameznega testa. Še nekaj desetletij nazaj je bila uporaba LR testa računalniško in časovno prezahtevna, saj zahteva oceno obeh modelov (z in brez restrikcij). Odkar je računalništvo napredovalo, je ta, torej LR test, stopil v ospredje in je po mnenju nekaterih najpogosteje uporabljan od vseh treh. Waldov test se velikokrat uporablja v primeru velikega števila slamnatih (dummy) spremenljivk v modelu. Ena od pomembnih uporab LM testa pa je pri preverjanju specifikacij modela in izpuščenih spremenljivk, ponovno predvsem takrat, kadar je število spremenljivk zelo veliko. Engle navaja tudi uporabnost LM testa pri preverjanju t.i. nesferičnih napak, torej pri preverjanju prisotnosti heteroskedastičnosti in/ali avtokorelacije. S tem je lahko dopolnilo testom kot so Breusch-Godfrey, Goldfeld-Quandt, Breusch-Pagan in drugi, o katerih smo nekaj malega že rekli tule.

Še druga lepa ugotovitev nam je preostala, lahko jo povemo zelo kratko. Vrednost Wald statistike bo vedno najmanj enaka LR statistiki, slednja pa vedno najmanj enaka LM statistiki. V primeru, da se statistike razlikujejo je torej Wald vedno največji (in s tem najpogosteje zavrne ničelno hipotezo, oz. ima največjo statistično moč), drugi je LR, najmanjši pa je LM. Asimptotsko gledano, pa je statistična moč vseh treh enaka, in sicer 1 oz. 100% – vsi trije bodo pri dovolj velikem številu ponavljanj testa vedno pravilno zavrnili ničelno hipotezo, kadar bo napačna.

Omenjeno ugotovitev sta leta 1977 v temle prispevku pokazala ameriška ekonomista E.R. Berndt in N.E. Savin. V slikovnem delu zato prilagam avtorje nekaterih pomembnih spoznanj z danes obravnavanega področja: transilvanskega oz. madžarskega statistika Abrahama Walda, po katerem je poimenovan Wald test; ameriškega matematika Samuela S. Wilksa, ki je prvi ugotovil pravilno porazdelitev LR testnih statistik (Wilksov izrek), ki je enaka kot pri LM in Wald testu; ter že omenjenega Ernsta R. Berndta. Izbor avtorjev je seveda povsem moja odločitev, morda bi si kdo drug bolj zaslužil biti predstavljen.

Zgoraj (z leve proti desni): Abraham Wald, Samuel S. Wilks, Ernst R. Berndt

Tako, za danes smo zaključili, naslednjič nas čakajo instrumentalne spremenljivke – končno, bi lahko dejali, saj gre še za eno od tem, ki dominirajo v sodobni ekonometriji. Upam, da so bile razlage doslej dovolj razumljive in da gremo torej veselo naprej.

Za nadaljnje branje na temo trojice testov priporočam sledeča gradiva, ki so bila tudi meni v pomoč pri pisanju tega prispevka:
Zelo dobra, jedrnata in kratka razlaga – krajše se skorajda ne da: http://faculty.ndhu.edu.tw/~jlin/files/3tests.pdf
Precej izčrpno, a odlično – nobelovec R. Engle o trojici testov, s poudarkom na LM testu: http://www.stern.nyu.edu/rengle/LagrangeMultipliersHandbook_of_Econ__II___Engle.pdf
Malce starejši prispevek (1982), vendar dobro in kratko izhodišče za razlago treh testov: http://www.rand.org/content/dam/rand/pubs/papers/2008/P6756.pdf
Kratka ponazoritev z veliko geometrije:
http://www.ats.ucla.edu/stat/mult_pkg/faq/general/nested_tests.htm

Kot vedno povem, a zaradi časovnih omejitev bolj redko izpolnim – skušal bom dodati še kakšno zanimivo povezavo in študijo na to temo.

  • Share/Bookmark


Brez komentarjev »

Še brez komentarjev.

RSS vir za komentarje na objavo. Trackback URI

Komentiraj

Komentiranje iz tujine je omogočeno zgolj prijavljenim uporabnikom !

Blog V krizi smisla tiči misel | Zagotavlja SiOL | O Sistemu |