V krizi smisla tiči misel






         

11.03.2012

Kratka interaktivna delavnica ekonometrije: Trije najpogostejši problemi linearne regresije

Zapisano pod: Bloomingtonski zapisi, Ekonomija — andee - 11.03.2012

Pozdrav ponovno. V nekaj predhodnih zapisih smo spoznali, kako potekajo osnovni mehanizmi ocenjevanja s pomočjo linearne regresije, osnovne postavke, na katerih slednja sloni, ter tudi nekaj primerov. Danes bomo nadaljevali, kjer smo končali, in pričeli z vpogledom, kaj se dogaja, ko katera od naših šestih temeljnih postavk linearne regresije ni izpolnjena. V zaključku se bomo vrnili k našemu praktičnemu primeru ocenjevanja dejavnikov, ki vplivajo na finančno vrednost NBA moštev in videli, kaj v predhodnem modelu ni bilo pravilnega.

NAPAČNA SPECIFIKACIJA MODELA IN MULTIKOLINEARNOST

Prva stvar, ki gre lahko narobe je, da smo v model bodisi vključili katero od spremenljivk, ki vanj ne sodijo ali iz njega izključili katero, ki vanj sicer sodijo in so pomembni dejavniki pojava, ki ga preučujemo. Izkaže se, da prva napaka ne spremeni kaj dosti – model s preveč spremenljivkami namreč ohrani večino dobrih lastnosti cenilke, o katerih smo govorili prejšnjič (spomnite se kratic BLUE in NENALICE). Cenilka parametra b bo torej še vedno nepristranska in dosledna, sprememba bo le v učinkovitosti – model s preveč parametri ima praviloma preveliko varianco, zato je tudi glede tega potrebno biti previden. Kot še marsikje drugje v ekonometriji, naj tudi tu igra osnovno vlogo ekonomska teorija: v model naj bodo torej vključene tiste spremenljivke, ki bi po teoriji morale pojasnjevati pojav, in če je to možno izključene tiste, ki naj bi ga ne pojasnjevale. Če torej ugotovimo neznansko močno povezavo pogostosti hoje dimnikarjev čez sosednje cesto in BDP na državni ravni je to bodisi znak, da z ekonomskim oz. ekonometričnim modelom nekaj ni v redu, ali pa drži katera od magijskih teorij Aleisterja Crowleyja in Carlosa Castanede. Mi bomo glede tega pač »konzervativni« in vztrajali na prvi razlagi.

Naj povemo še to, da zaradi tega, ker vključevanje nesignifikantnih spremenljivk nima nobenega vpliva na točnost parametrov, v praksi (v različnih analizah in ekonomskih člankih) največkrat srečate celotne modele, ki vključujejo vse spremenljivke, kjer pa so nekatere označene z zvezdicami, ki ponavadi označujejo, da je spremenljivka statistično značilna, več zvezdic kot ima, bolj značilna ponavadi je: tri zvezdice navadno označujejo značilnost na ravni 0.01, dve zvezdici na ravni 0.05 in ena zvezdica na ravni 0.1. Namesto zvezdic so včasih v uporabi tudi drugi simboli, kot so različni križi ali male latinske črke.

Druga možnost, ki pa je bolj nevarna za model, je da vanj pozabimo vključiti spremenljivke, ki bi morale biti relevantne. Če je torej prava enačba y=a+bx+cz+e1, mi pa ocenjujemo samo y=a+bx+e2, je očitno drugi e sestavljen iz dveh delov – prvi je prvotna napaka e1, drugi pa vpliv spremenljivke z. To pa žal pomeni, da naša ocena parametra b ni več točna, nepristranska, kar ima velike posledice. Naša ugotovitev, da je OLS cenilka BLUE oz. NENALICE je namreč temeljila na predpostavki, da ima standardna napaka, torej naš e, pričakovano vrednost enako 0. V tem primeru pa ni tako! Ker je e2 sestavljen tako iz e1 kot z, njegova pričakovana vrednost ni enaka pričakovani vrednosti e1, ki je 0. Zato je pričakovana vrednost e2 največkrat različna od 0, cenilka parametra b pa je pristranska, netočna in moramo spremeniti model in vanj poskusiti vključiti manjkajoče spremenljivke. Pri tem je ponovno najbolje, da poslušamo ugotovitve ekonomske teorije in na podlagi tega prilagodimo model.

Doslej še ni bilo veliko govora o pojmu koeficienta determinacije oz. R-kvadrat, čeprav je to osnovni element, s katerim ocenjujemo, kdaj se naš model dobro prilega podatkom in kdaj ne. Najprej o samem izračunu koeficienta determinacije. Govorili smo že o vsoti kvadratov ostankov, nenazadnje je prav to tisto, kar minimiziramo pri metodi najmanjših kvadratov, iščemo torej takšno cenilko, pri kateri bo vrednost kvadratov ostankov (slučajnih napak) najmanjša možna. Iz naših pravih in ocenjenih vrednosti odvisne spremenljivke lahko sedaj sestavimo tri različne vsote kvadratov: prva je že omenjena vsota kvadratov ostankov, torej razlik med pravo in ocenjeno odvisno spremenljivko, v statističnih paketih jo ponavadi srečate pod imenom Residual Sum of Squares. Drugo dobimo, če od vsake ocenjene vrednosti odvisne spremenljivke odštejemo povprečno vrednost ocenjene odvisne spremenljivke, rezultate kvadriramo in ponovno seštejemo. Temu pravimo tudi regresijska vsota kvadratov oz. Regression Sum of Squares. Tretjo pa dobimo, če od vsake prave vrednosti odvisne spremenljivke odštejemo povprečno vrednost, rezultate kvadriramo in seštejemo. Dobljeni vsoti pravimo skupna vsota kvadratov oz. Total Sum of Squares. Primerjavam med temi tremi vsotami ponavadi pravimo tudi analiza variance oz. ANOVA. Izkaže se, da je skupna vsota kvadratov kar enaka vsoti vsote kvadratov ostankov in vsote kvadratov regresije, kar nam zelo pomaga pri izračunih.

Izkaže se tudi, da je naš koeficient determinacije enak količniku regresijske vsote kvadratov in skupne vsote kvadratov. Po domače povedano koeficient determinacije pomeni kolikšen delež v skupni vsoti kvadratov predstavlja regresijska vsota kvadratov, kolikšen delež skupne variance smo torej uspeli pojasniti z regresijo. Iz definicije je razvidno, da se koeficient determinacije oz. R-kvadrat vedno giblje med 0 in 1: bližje kot je 1, več variance smo uspeli pojasniti z našim regresijskim modelom in boljši je torej (vsaj ponavadi) naš model.

Druga stvar, po kateri nosi tole podpoglavje tudi ime, je multikolinearnost. Pojem multikolinearnosti je v ekonometrijo vpeljal Ragnar Frisch, Norvežan, ki je skupaj z Nizozemcem Janom Tinbergenom leta 1969 prejel prvo Nobelovo nagrado na področju ekonomije (Frisch je še z dvema avtorjema podpisan tudi pod Frisch-Waugh-Lovellov teorem, ki je prav tako eno pomembnejših spoznanj pri analizi linearnih regresij, sami pa ga tu ne bomo posebej izpostavljali). Spomnimo se, da je bila ena od predpostavk linearne regresije neodvisnost med pojasnjevalnimi spremenljivkami. Multikolinearnost pravi ravno nasprotno: v tem primeru med spremenljivkami obstaja prevelika korelacija in eno lahko izrazimo kot kombinacijo drugih. Primer tega je denimo, ko v model pojasnjevanja npr. odločitve za nakup vstopnice na neko prireditev vključimo tako mesečni dohodek posameznika, kot njegovo izobrazbo – vemo, da sta slednji močno povezani, in da ima nekdo z višjo izobrazbo praviloma (ne pa nujno) tudi višji dohodek. V tem primeru bo model narobe specificiran – kljub velikemu R-kvadratu, torej veliki količini pojasnjene variance, bodo posamezni ocenjeni koeficienti pri parametrih neznačilni, veliko bo torej koeficientov s p-statistikami večjimi od 0.05. Povedano drugače, koeficient pri mesečnem dohodku bo »preglasil« koeficient pri izobrazbi in eden od njiju, kljub temu, da je pomemben dejavnik bo moral izpasti iz modela.

Multikolinearnost nima posebnega vpliva na BLUE lastnosti cenilk – te ostajajo nepristranske, učinkovite in dosledne. Zato je včasih v primeru multikolinearnosti najbolje ne narediti ničesar. Včasih se svetuje tudi povečanje vzorca, izključevanje močno koreliranih spremenljivk (v našem primeru bodisi dohodka bodisi izobrazbe), včasih je koristna tudi uporaba faktorske analize ali podobnih metod, ki pomagajo skrčiti število pomembnih dejavnikov v modelu.

HETEROSKEDASTIČNOST

Precej resnejše posledice za naš model ima prisotnost heteroskedastičnosti. Slednja pomeni (kot smo omenili že v naših osnovnih predpostavkah), da imajo slučajne napake nekonstantno varianco. Naša osnovna predpostavka homoskedastičnosti je namreč bila, da je varianca konstantna, da se torej razpršenost ne spreminja med opazovanji. V primeru, da to ne drži, da se torej varianca z opazovanji spreminja in npr. raste ali pada, je potrebno prilagoditi model. V tem primeru namreč vrednost b še naprej ostaja nepristranska, ni pa več najbolj učinkovita, ni več BLUE oz. NENALICE, pač pa le še LUE oz. NELICE. Tudi cenilka variance slučajne napake postane pristranska in zato testna statistika za koeficient b tudi ni več dosledna.

Dovolj razlogov za skrb torej. Heteroskedastičnost ponavadi najlažje vidimo iz grafa. Na spodnji povezavi sta grafa homoskedastične in heteroskedastične variance, pri prvem so variance enakomerno porazdeljene, pri drugem rastejo z opazovanji: povezava.

Na heteroskedastičnost lahko sklepamo tudi na osnovi nekaterih osnovnih testov, omenimo predvsem Whiteov, Goldfeld-Quandtov in Breusch-Paganov test. Nekateri omenjajo tudi Glejserjev in Parkov test. Vsem testom je skupen izračun testne statistike (najdete jih v večini osnovnih statističnih paketov, kot sta Stata in SPSS), ki se pri Glejserju in Parku porazdeljuje po t-porazdelitvi, pri Goldfeld-Quandtu po F-porazdelitvi, in pri Breusch-Paganu ter Whiteu po hi-kvadrat porazdelitvi. Ponovno torej opazujemo, ali testna statistika presega kritično vrednost, v tem primeru ponavadi lahko zavrnemo ničelno hipotezo, da je model homoskedastičen, s tem torej ugotovimo prisotnost heteroskedastičnosti. Več bomo pokazali na primeru ob koncu zapisa.

Heteroskedastičnost najlažje odpravimo z uporabo tehtanih najmanjših kvadratov (WLS, weighted least squares) ali tudi posplošenih najmanjših kvadratov (GLS, generalized least squares). Preprosteje povedano posamezne člene v modelu množimo (ali delimo) z ustreznim faktorjem oz. utežjo, da s tem »uravnotežimo« varianco. Najpogosteje regresijsko enačbo delimo tisto spremenljivko (ali njenim korenom), ki vpliva na varianco – pogosto je to kar standardna napaka iz regresije ali njen kvadrat, torej varianca pri posameznem opazovanju. Slednje bomo uporabili tudi mi pri reševanju primera v zaključku prispevka.

AVTOKORELACIJA

Ostane nam še tretji osnovni problem, ki lahko nastane pri ocenjevanju linearnih regresijskih enačb z metodo najmanjših kvadratov. Spomnimo se, da je bila ena naših osnovnih predpostavk tudi odsotnost avtokorelacije slučajnih napak. Kadar pride do slednje, so slučajne napake denimo petega opazovanja neposredno odvisne od npr. slučajne napake tretjega ali četrtega opazovanja. Avtokorelacijo ponavadi označujemo z kratico AR(k), kjer v oklepaju zapišemo do katerega odloga spremenljivke sega korelacija – avtokorelacija četrtega reda (AR(4)) torej pomeni, da je slučajna
napaka petega opazovanja neposredno odvisna od slučajnih napak prvega, drugega, tretjega in četrtega opazovanja. Z avtokorelacijo se ponavadi srečujemo pri ekonometriji časovnih vrst, o kateri bo v naši delavnici govora pri samem koncu, in ki je eno najbolj dinamičnih področij sodobne ekonometrije.

Posledice avtokorelacije so podobne kot pri heteroskedastičnosti: cenilka za b je še naprej nepristranska, ni pa več učinkovita in dosledna – je LUE oz. NELICE. Tudi cenilke varianc slučajne napake in variance koeficientov postanejo pristranske.

Avtokorelacijo ponovno lahko opazimo z grafično metodo. Na tejle povezavi je grafični primer avtokorelacije slučajnih napak: povezava.

Obstaja zelo veliko testov za avtokorelacijo, med njimi je gotovo najbolj znan Durbin-Watsonov test, zelo znani so tudi Wallisova in Durbinova statistika, ter Breusch-Godfreyjev test (oz. test LM). V osnovah časovnih vrst se omenjata še test asociacije napak modela in test sekvenc oz. Gearyjev test. Durbin-Watsonov test, ki je najpogostejši in ga najdete v vseh osnovnih statističnih paketih (npr. SPSS, Stata), razdeli celoten interval [0,4] na realni osi (Durbin-Watson statistika lahko zavzame vrednosti zgolj med 0 in 4) na pet področij. V primeru, da je Durbin-Watson statistika manjša od določene meje dl, je s tem dokazana prisotnost pozitivne avtokorelacije. V primeru, da je ista statistika večja od (4-dl), s tem pokažemo prisotnost negativne avtokorelacije. V primeru, da se statistika nahaja med neko zgornjo mejo du in (4-du), avtokorelacija ni prisotna. Ostaneta še primera, da je statistika bodisi med dl in du ali med (4-du) in (4-dl), v tem primeru odgovora o prisotnosti ali neprisotnosti avtokorelacije ne moremo dati.

Kaj lahko storimo, če ugotovimo prisotnost avtokorelacije? Prva možnost so ponovno generalizirani najmanjši kvadrati oz. GLS. Poznamo tudi različne transformacije npr. prek diferenčnih enačb, ocenjevanju avtokorelacijskega parametra npr. na temelju Durbin-Watsonove statistike, iterativne metode (torej metode, kjer se s postopnim ocenjevanjem bližamo pravemu parametru, znana je predvsem Cochrane-Orcutt procedura), Box-Jenkins metoda na podlagi ARIMA modelov (avtoregresijskih integriranih drseče-sredinskih modelov) ter Newey-Westova metoda korekcije. Podroben opis metod in testov presega tale zapis, morda se temu posvetimo, ko bo govora o časovnih vrstah.

IN ZDAJ NAPOSLED: KAJ TOREJ VPLIVA NA FINANČNO VREDNOST NBA MOŠTEV?

In zdaj torej naš primer od prejšnjič. Če se spomnite, je bila vrednost koeficienta determinacije v našem modelu visoka, okrog 96%, torej je model pojasnil kar 96% skupne variance, kar je zelo veliko. Tudi druge statistike, priložene v rezultatih paketa Gretl ne dajejo slutiti kakšnih posebnih problemov. Vendar nekaj vendarle daje za misliti: spremenljivke, ki bi morale vplivati na vrednost moštva, kot so tradicija moštva (npr. koliko naslovov NBA je to moštvo doslej že osvojilo, kar vemo koliko pomeni v ameriški košarki – mnogi bi ubijali zaradi tega…) ter nenazadnje vrednost samega moštva, torej plače igralcev, se v modelu niso izkazale kot statistično značilni pojasnjevalni dejavniki.

Morda bi lahko govorili o multikolinearnosti, saj so vsi pogoji za to izpolnjeni: R-kvadrat je velik, nekateri koeficienti pri spremenljivkah pa niso statistično značilni. V tem primeru je najbolje pogledati korelacijsko tabelo, da vidimo, koliko so spremenljivke dejansko povezane med seboj:

—————————————————————————
Correlation Coefficients, using the observations 1 – 30
5% critical value (two-tailed) = 0,3610 for n = 30

uspeh plexp metro_area revenues
1,0000 0,3197 -0,0230 0,3203 uspeh
1,0000 0,1032 0,5803 plexp
1,0000 0,4661 metro_area_popu
1,0000 revenues

wonNBA age
0,3774 0,0333 uspeh
0,4432 0,1106 plexp
0,2668 0,3232 metro_area
0,5078 0,3677 revenues
1,0000 0,5132 wonNBA
1,0000 age
———————————————————————–

Iz te tabele ni opaziti kake posebne povezanosti med neodvisnimi spremeljivkami. Prav nobene spremenljivke nimajo Pearsonovega korelacijskega koeficienta večjega od 0.6, da bi lahko govorili o veliki povezanosti. Tudi sicer logika ne najde prave povezave med spremenljivkami, ki smo jih namenoma vključevali v model tako, da se ne križajo druga z drugo. Edina para malce bolj med seboj povezanih spremenljivk sta revenues (prihodki) in plexp, torej izdatki za ekipo, kar je logično, saj obe izhajata iz finančnega delovanja kluba, ter spremenljivki age (starost moštva od ustanovitve kluba) in wonNBA (število osvojenih naslovov), kar tudi logično, saj sta obe vključeni, da ovrednotita tradicijo moštva. Kljub temu je korelacija med tema paroma spremenljivk manjša od 0.6, kar pomeni, da ni posebne nevarnosti za multikolinearnost. To lahko preverimo tudi tako, da katero od navedenih spremenljivk izključimo iz modela – rezultati se tako rekoč ne spremenijo, nobena spremenljivka ne postane kaj prida bolj statistično značilna.

Kaj pa heteroskedastičnost? Najbolje je pogledati graf ostankov (bo priložen, takoj ko dobim popravljen računalnik).

Iz tega grafa je razvidno, da sicer obstaja sum heteroskedastičnosti, da pa ta ni posebej močan oz. razviden. Opravimo še osnovne teste – Whiteovega:

White’s test for heteroskedasticity
OLS, using observations 1-30
Dependent variable: uhat^2

coefficient std. error t-ratio p-value
———————————————————————-
const 9688,92 30314,0 0,3196 0,7796
uspeh 12257,4 29412,3 0,4167 0,7173
player_expenses -368,651 621,762 -0,5929 0,6134
metro_area_popu 0,00208900 0,00289065 0,7227 0,5450
revenues -51,7638 374,176 -0,1383 0,9026
wonNBA 2259,33 6128,22 0,3687 0,7477
age -80,2823 236,672 -0,3392 0,7668

Warning: data matrix close to singularity!

Unadjusted R-squared = 0,937993

Test statistic: TR^2 = 28,139799,
with p-value = P(Chi-square(27) > 28,139799) = 0,403793
———————————————————————–

ter Breusch-Paganovega:

Breusch-Pagan test for heteroskedasticity
OLS, using observations 1-30
Dependent variable: scaled uhat^2

coefficient std. error t-ratio p-value
—————————————————————-
const -4,76183 2,29472 -2,075 0,0493 **
uspeh -3,31696 1,58837 -2,088 0,0480 **
player_expenses 0,107382 0,0335534 3,200 0,0040 ***
metro_area_popu -5,89494e-08 5,48223e-08 -1,075 0,2934
revenues -0,00150383 0,00996678 -0,1509 0,8814
wonNBA -0,128379 0,0731008 -1,756 0,0924 *
age 0,00816295 0,0156769 0,5207 0,6076

Explained sum of squares = 27,8113

Test statistic: LM = 13,905653,
with p-value = P(Chi-square(6) > 13,905653) = 0,030708
—————————————————————————

Whiteov test ne pokaže heteroskedastičnosti (glejte zadnjo vrstico: ker je p-vrednost precej večja od 0.05, ne moremo zavrniti ničelne hipoteze o homoskedastičnosti), jo pa pokaže Breusch-Pagan (glejte zadnjo vrstico: tu je p-vrednost manjša od 0.05, zato lahko s 95% stopnjo gotovosti zavrnemo ničelno hipotezo o homoskedastičnosti – torej je prisotna heteroskedastičnost, vsaj sodeč po tem testu). Tu torej morda tiči zajec.

Na tem mestu velja še en premislek: vzorec opazovanj je zelo majhen, obsega le 30 ekip. Vemo, da je za normalnost porazdelitve prav to skrajna meja. Če torej preverimo še normalnost posameznih vključenih spremenljivk, se dokopljemo do še enega vzroka za probleme, saj kar tri spremenljivke padejo na Jarque-Bera testu normalnosti (o katerem smo govorili v temle zapisu).

Kaj torej storiti? Literatura svetuje, da opravimo korekcijo za heteroskedastičnost in to tako, da kot uteži vključimo inverze kvadratov standardnih napak prvotne regresije, da torej vsak člen delimo s kvadratom ustrezne standardne napake iz prvotne regresije. Dobimo naslednji model:

Model 3: Heteroskedasticity-corrected, using observations 1-30
Dependent variable: value

coefficient std. error t-ratio p-value
—————————————————————-
const -28,8685 24,7762 -1,165 0,2559
uspeh 74,3684 19,1804 3,877 0,0008 ***
player_expenses 0,728475 0,351801 2,071 0,0498 **
metro_area_popu 4,11691e-06 5,77952e-07 7,123 2,96e-07 ***
revenues 2,39001 0,112111 21,32 1,20e-016 ***
wonNBA 1,41006 0,555147 2,540 0,0183 **
age -0,546260 0,219216 -2,492 0,0204 **

Statistics based on the weighted data:

Sum squared resid 39,92801 S.E. of regression 1,317574
R-squared 0,996176 Adjusted R-squared 0,995179
F(6, 23) 998,6758 P-value(F) 1,32e-26
Log-likelihood -46,85637 Akaike criterion 107,7127
Schwarz criterion 117,5211 Hannan-Quinn 110,8505

Statistics based on the original data:

Mean dependent var 368,7667 S.D. dependent var 99,81973
Sum squared resid 13788,84 S.E. of regression 24,48499
—————————————————————————

Kaj reči? Izvrstno… V novem modelu je vseh šest spremenljivk statistično značilnih, model pojasni še več variance kot predhodni (kar 99,6%, kar kaže, da smo verjetno vključili vse prave pojasnjevalne spremenljivke), značilnost F-statistike se je še precej izboljšala, tudi standardna napaka regresije je precej manjša (prej: 24,485; sedaj: 1,318).

Koeficienti pri spremenljivkah povedo sledeče:
- večji uspeh v rednem delu pomeni tudi večjo vrednost moštva; vsak odstotek večje uspešnosti pomeni 0,74 milijona večjo vrednost moštva
- večji izdatki za igralce, torej bolj kakovostno moštvo pomeni tudi večjo vrednost ekipe; vsak milijon vložen v igralce pomeni za 0,73 milijona večjo finančno vrednost moštva
- večje mesto, kjer ekipa domuje ima prav tako pozitiven učinek na finančno vrednost moštva; vsak milijon dodatnih prebivalcev pomeni 4,12 milijona večjo vrednost moštva
- celotni prihodki imajo prav tako pozitiven vpliv na vrednost moštva; vsak milijon dodatnih prihodkov pa pomeni 2,39 milijona večjo vrednost moštva
- vsak dodatni naslov, ki ga je moštvo osvojilo v preteklosti pomeni 1,41 milijona večjo vrednost ekipe
- starost moštva ima negativen predznak, kar je morda manjša uganka, ki jo je še potrebno rešiti, in jo zaenkrat prepuščam vam; model pravi, da vsako dodatno leto starosti moštva zmanjša vrednost moštva za približno pol milijona zelencev

Tako, naslednjič bomo poleg zadnjih odgovorov glede zgornjega modela pričeli oz. nadaljevali z obravnavo razširitev osnovnega OLS modela, torej metod GLS in WLS. Malce se bomo morda že dotaknili tudi instrumentalnih spremenljivk, ki bodo več kot zanimiva tema, s katero bomo počasi prešli k malce zahtevnejšim in bolj aktualnim temam v sodobni ekonometriji.

P.S.: Pomembno: bralce vljudno prosim za potrpljenje – moj računalnik je zadnje tedne ponorel pod vplivom škodljivih substanc z interneta. Zato bom tabele in slike k zadnjima dvema prispevkoma uredil in dopolnil tokom tega tedna, ko bo upam gotovo popravilo. Hvala za razumevanje.

  • Share/Bookmark


1 komentar »

  1.   Brigita — 23.04.2012 @ 17:26

    Kar nekaj vaših razlag so mi že koristile pri študiju ekonometrije. Imam pa tri naloge, ki jih ne morem razvozlati. Kaj vam lahko ponudim za pomoč, izpit se hitro bliža, jaz pa sem obtičala pri teh zame nerešljivih nalogah.

RSS vir za komentarje na objavo. Trackback URI

Komentiraj

Komentiranje iz tujine je omogočeno zgolj prijavljenim uporabnikom !

Blog V krizi smisla tiči misel | Zagotavlja SiOL | O Sistemu |