V krizi smisla tiči misel






         

31.08.2014

Indeks stanja na področju kulture za 33 evropskih držav (v letu 2009)

Prispevek na zgornjo temo, ki sem ga obljubljal že dlje časa, bo v prvi končni obliki predstavljen na bližajočih se konferencah raziskovalcev kulturne politike ICCPR v nemškem Hildesheimu in na 14. konferenci združenja EBES v španski Barceloni.

V nastajajočem prispevku, ki smo ga s soavtorjema Miroslavom Verbičem in Vesno Čopič naslovili »Index construction and multivariate analysis in high-dimensional settings: application to a cultural policy index« smo na podatkih »knjižice« Cultural Statistics Pocketbook 2011 (ki uporablja podatke za leto 2009) in drugih podatkov Eurostata konstruirali indeks, ki smo mu prvotno dejali indeks kulturne politike, morda pa bi ga bilo primerneje imenovati indeks stanja na področju kulture (torej dejansko Cultural Index).

Metodološki postopek izračuna indeksa je bil precej statistično kompleksen. Glavni problem, s katerim smo se srečali, je visokodimenzionalna narava izračuna indeksa, saj smo uporabili nabor 236 skupnih spremenljivk za 33 evropskih držav (28 držav EU ter Islandija, Norveška, Švica, Turčija in Makedonija). Visokodimenzionalnost v statistiki označuje situacije, ko imamo opravka s precej več spremenljivkami kot opazovanji in ponavadi terja statistične korekcije za pravilne izračune parametrov in statistik. Po domače povedano: predstavljajte si opravljati faktorsko analizo, ki ponavadi zahteva razmerje med spremenljivkami in opazovanji vsaj 1:10, s skoraj obratnim razmerjem, torej malo manj kot 10:1… Logična posledica je na eni strani pristranost v parametrih in na drugi strani neobstoj osnovnih statistik, kot je pri faktorski analizi Kaiser-Meyer-Olkinova statistika in druge.

Ob tem gre dodati, da se s tovrstnimi situacijami srečujete pri izračunih različnih indeksov na katerem koli področju družbe (npr. kmetijstva, zdravstva, “aktivnega staranja”, itd.), ko imate podatke za vrsto spremenljivk na ravni npr. 28-tih EU držav, torej imate ponovno opravka s precej več spremenljivkami kot opazovanji. V tem verjetno leži precejšnja uporabnost spoznanj članka tudi za druga področja ekonomije in družbe.

Literatura je sicer glede reševanja tega problema še precej skopa (visokodimenzionalna statistika je predmet intenzivnejših analiz šele v zadnjem desetletju), osnovni nasvet pa je uporaba bootstrapa pri izračunu parametrov in statistik. Ker ta pojem uporabljam zadnje čase kar pogosto: bootstrap je simulacijska metoda, ki je v zadnjih desetletjih postala temeljna metoda korigiranja pristranosti v izračunih, ki so posledica problemov z vzorcem in netočnih (ali celo neobstoječih) standardnih napak. Avtor metode je ameriški statistik Bradley Efron, po besedah mojih preteklih bloomingtonskih predavateljev (in tudi po mojem prepričanju) bi si Efron za to že zdavnaj zaslužil Nobelovo nagrado, vendar je podobno kot še nekateri (npr. Art Owen za metodo empiričnega verjetja; Rob Tibshirani za cenilko LASSO) ne bo prejel, ker ni ekonomist oz. ni prav blizu krogom, ki to nagrado podeljujejo.

Naših 236 spremenljivk je bilo sestavljenih iz 12 sklopov:
1) Splošni razvoj: BDP, raven tveganja revščine, raven poseljenosti države, raven izobraženosti v dveh osnovnih starostnih skupinah, delež delovno aktivnih prebivalcev, raven zaposlenosti, raven dolgoročne brezposelnosti;
2) Kulturna dediščina: število objektov kulturne dediščine, uvrščenih v listo UNESCO-ve dediščine, v neki državi;
3) Izobraževanje v kulturi: delež študentov umetnosti, humanistike, novinarstva in arhitekture (ločeno za vsa štiri področja); raven znanja tujih jezikov; delež študentov, ki gredo v tuje države; delež tujih študentov v domači državi;
4) Zaposlovanje v kulturi: delež zaposlenih v različnih panogah kulture;
5) Deleži kulturniških poklicev v skupni populaciji;
6) Deleži različnih skupin prebivalstva v kulturi: ženske, zaposleni za polovični čas, samozaposleni, visoko izobraženi, itd.;
7) Kulturne industrije: različni podatki o dodani vrednosti, prihodkih, zaposlenih itd. v podjetjih v kulturi;
8 ) Zunanja trgovina: številni podatki o ravni menjave različnih kulturnih dobrin (kultura skupno, umetnost, antikvitete, CDji, DVDji, časopisi, knjige) neke države s tujino;
9) Participacija in obisk kulturnih dogodkov: različni podatki o obiskovanju in sodelovanju v kulturnih dogodkih;
10) Internetne navade: vrsta podatkov o uporabi interneta, povezani s kulturo;
11) Zasebni izdatki za kulturo: vrsta podatkov o različnih oblikah zasebnih izdatkov za kulturo;
12) Javno financiranje kulture: podatki o višini skupnega proračuna (na splošni, državni in lokalni ravni) ter o višini proračuna za kulturo (ponovno na splošni, državni in lokalni ravni).

Naš metodološki postopek je bil torej sestavljen iz več stopenj:

1) Najprej smo se morali soočiti s tem, da veliko podatkov kulturne statistike pri več državah manjka. Resda (z izjemo podatkov o javnem financiranju) ne gre za manjkanja več kot npr. 20% vrednosti posamezne spremenljivke, vseeno pa je bil to resen začetni problem. Uporabili smo multiplo imputacijo po metodi »z uporabo pogojev« (angl. Fully Conditional Specification Method oz. FCS metoda, avtorjev van Buurena, Branda, Groothuis-Oudshoorna in Rubina, ki je zelo pogosto uporabljena metoda multiple imputacije v zadnjem času in je podrobneje opisana tule; metodo podpira tudi statistični paket Stata v modulu MICE oz. v ukazu mi impute chained). Pri metodi se manjkajoče spremenljivke po iteracijskem postopku sproti dopolnjujejo in hkratno tudi vplivajo na vrednosti druga druge. Na tak način lahko upoštevamo njihove vzajemne povezave, ker je npr. lokalno financiranje kulture odvisno tudi celotne ravni javnega financiranja kulture, BDP, stopnje zaposlenosti v kulturi itd., kljub temu, da so slednje spremenljivke prav tako nepopolne oz. imajo manjkajoče vrednosti. Pri vseh spremenljivkah smo kot določilne dejavnike vključevali dejavnike splošnega razvoja (BDP, raven revščine, raven izobraženosti, gostoto poselitve, zaposlitvene spremenljivke, itd.), ker pa je metoda FCS občutljiva na vrstni red spremenljivk, smo pri imputacijah na prvo mesto vedno postavljali kulturne dejavnike (raven zaposlenosti v kulturi, raven izobraževanja v kulturi, število objektov kulturne dediščine, itd.).

2) V drugi fazi smo vse podatke standardizirali z uporabo Statinega ukaza egen std, s čimer so bili vsi podatki merjeni po isti merski lestvici in pripravljeni za uporabo.

3) Nato smo pognali osnovno faktorsko analizo z uporabo vseh 236 spremenljivk in ocenili število faktorjev glede na velikost lastnih vrednosti in scree prikaz, v našem primeru je bilo jasno videti, da število faktorjev ne presega osem, najverjetneje pa zadoščajo štirje glavni faktorji.

4) Z uporabo prirejene bootstrapske rutine, ki sem jo zapisal tukaj, smo najprej ocenili faktorske uteži skupnega modela za osem faktorjev. Rezultati so prikazani v spodnji tabeli, zapisani so samo koeficienti oz. uteži, ki so bile značilne vsaj pri statistični stopnji značilnosti 0.10. Na tej osnovi smo poimenovali faktorje, vidno je bilo tudi, da so smiselno zastopani le trije faktorji. Faktorje, ki predstavljajo glavne dimenzije preučevanega pojava, torej sistemskega stanja na področju kulture smo poimenovali takole – prvi faktor: »splošni poslovni vidiki kulture« (zaposlenost v kulturi, zunanja trgovina s poudarkom za izvozu, kulturne industrije, zasebni izdatki za kulturo; grobi podatki o javnem financiranju kulture); drugi faktor: »participacija v kulturi« (deleži različnih skupin v kulturi in delež kulturniških poklicev v skupni populaciji; participacija in obiskovanje kulture; internetne navade; nekateri zasebni izdatki za kulturo); tretji faktor: »domača in javna vlaganja v kulturo« (BDP na prebivalca; javni izdatki za kulturo na prebivalca; nekateri dejavniki zunanje trgovine, predvsem uvoz kulturnih dobrin; internetne navade, bolj striktno povezane s kulturno vsebino; nekateri zasebni izdatki za kulturo).

5) S ponovno uporabo podobne bootstrapske rutine smo ocenili tudi regresijske koeficiente (scores) za izračun omenjenih faktorjev in jih nato tudi dejansko izračunali. Iz tako izračunanih faktorjev, ki so seveda po definiciji standardizirane normalne spremenljivke, smo izračunali indeks(e) tako, da smo vrednosti, ki se nahaja 3 standardne odklone nad povprečjem (ki je seveda v tem primeru enako nič, torej je ta vrednost enaka 3) pripisali vrednost 100, vrednosti 3 standardne odklone pod povprečjem (oz. -3) pa pripisali vrednost 0. Ostale vrednosti vseh treh indeksov smo razmernostno izračunali na tako zamejeni lestvici. Rezultati izračunanih indeksov so spodaj.

Vrednosti prvega indeksa vsaj v grobem ustrezajo pričakovanjem: daleč najvišji indeks ima Velika Britanija, kar gre lahko na račun njihove jezikovne hegemonije in s tem presežkov v zunanji trgovini s kulturnimi izdelki. Druga na lestvici je Francija, ki je tam tudi zaradi zelo dobre vrednosti zunanje trgovine z umetniškimi izdelki (arts&antiques), kjer sta z Veliko Britanijo daleč spredaj. Prednjačijo še tri države jezikovno dominantnih prostorov: Nemčija, Španija in Italija. Hrvaška s svojim visokim mestom preseneča, morda je to posledica imputiranja, ker so bile pri njej vse vrednosti zunanje trgovine v osnovi manjkajoče. Večino zadnjih mest zasedejo manjše države, med njimi pričakovano najdemo tudi Slovenijo, ki ima tudi po izsledkih domačih študij probleme z menjavo kulturnih dobrin s tujino.

Vrednosti drugega indeksa potrdijo, da je »nordijski kulturni model«, o katerem piše denimo Peter Duelund, tisti, ki najmočneje stavi na participacijo v kulturi. Na prvih mestih po vrednostih tega indeksa se tako nahajajo prav vse skandinavske države ter države baltskega kroga. Na zadnjih mestih so države jugovzhodne ter vzhodne Evrope. Slovenijo najdemo glede tega na repu zgornje polovice lestvice.

Vrednosti tretjega indeksa, da so pričakovano na vrhu države z najvišjim BDP, prednjači Luksemburg, ki tudi sicer daleč prednjači pri ravni javnih izdatkov za kulturo, kar je verjetno tudi posledica njegove majhnosti. Med prvo peterico najdemo še Avstrijo, Irsko, Norveško in Belgijo. Slovenija se sicer po ravni javnih izdatkov uvrsti v zgornji del lestvice, vendar jo nižje uvrščajo vrednosti drugih spremenljivk, predvsem pri uvozu kulturnih dobrin, kjer prav tako nismo dobro uvrščeni.

6) Naslednji metodološki korak, o katerem ne bom posebej poročal tukaj, je predstavljala teoretska potrditev modela oz. t.i. potrjevalna faktorska analiza (z uporabo Cronbahove alfe in testiranja prileganja modelov s pomočjo običajnih statistik, ki se uporabljajo pri analizi modelov strukturnih enačb). Rezultati so potrdili, da je najbolj sprejemljiv model s tremi faktorji, ki so podindeksi za latentno opazovan konstrukt stanja na področju kulture.

7) Zadnji, morda najbolj zanimiv metodološki korak je predstavljala clustering analiza oz. analiza skupinjenja. Napravili smo osnovno analizo po hierarhični metodi z dopolnitvijo nehierarhične metode K-means. Analizo smo napravili po vrednostih treh faktorjev in po uvrstitvah na pripadajočih treh lestvicah. Vrednosti statistik (statistika Calinski-Harabasz in razmerje Duda-Hart) so pokazale na šest grobih skupin držav. Spodnji dendrogram pokaže potek združevanja in skupine držav po hiearhični metodi za vrednosti faktorjev.

Opazne so naslednje skupine držav:
1) Velike zahodne države: Velika Britanija, Francija in Nemčija;
2) Model manjših, participativnih držav: Litva, Latvija, Estonija, Slovenija, Nizozemska, Švica;
3) Nordijski model: Norveška, Islandija, Švedska, Finska in Danska;
4) Manjše, liberalne države: Luksemburg, Avstrija, Irska;
5) Vzhodno-evropski model: Madžarska, Češka, Poljska, Slovaška, Bolgarija, z dodatkom Portugalske;
6) Južno in jugovzhodno evropski model: Makedonija, Turčija, Romunija, Hrvaška, Italija, Španija, Malta, Grčija, Ciper, z dodatkom Belgije.

Uporaba K-means metode je edine spremembe povzročila v premešanju zadnjih dveh skupin, izmed katerih se je oblikovala skupina jugovzhodnih držav: Grčija, Turčija, Romunija in Makedonija. Vse preostale države (Madžarska, Češka, Poljska, Slovaška, Bolgarija, Hrvaška, Portugalska, Italija, Španija, Ciper, Malta in Belgija) so uvrščene skupaj, z izjemo Belgije, ki pa izpade že pri naslednji analizi, bi jih lahko poimenovali države Vzhodne Evrope in Mediterana.

V spodnjem grafu pa je prikazano še skupinjenje po rangih, torej uvrstitvah na lestvicah. Iz njega je prav tako vidnih šest osnovnih skupin držav:
1) Baltsko-srednjeevropski model: Litva, Latvija, Estonija, Slovenija in Madžarska;
2) Mediteransko-jugovzhodno evropski model: Hrvaška, Italija, Turčija, Makedonija, Romunija, Malta in Grčija;
3) Vzhodno-evropski model: Poljska, Češka, Portugalska, Slovaška in Bolgarija;
4) Model majhnih, liberalnih držav: Luksemburg, Ciper in Irska, v nekaterih modeliranjih k temu modelu gravitira tudi Slovenija;
5) Nordijski model: Islandija, Finska, Norveška, Švedska, Danska, z dodatkom Švice;
6) Zahodni model: Nizozemska, Belgija, Velika Britanija, Francija, Španija, Nemčija in Avstrija.

Tako, to je bilo storjenega doslej. Kaj so glavne ugotovitve, kje glavne omejitve analize in kje bo pot nadaljnjega dela?

Vse skupaj bi sam strnil v sledeče štiri točke, glede na glavne ugotovitve:

1) Izmed zbranih spremenljivk na področju stanja kulture, katerih evidenco vodi Eurostat, smo uspeli prepoznati tri glavne dimenzije, ki smo jih poimenovali: a) »splošni poslovni vidiki kulture« (zaposlenost v kulturi; zunanja trgovina s poudarkom za izvozu; kulturne industrije; zasebni izdatki za kulturo; grobi podatki o javnem financiranju kulture); b) »participacija v kulturi« (participacija in obiskovanje kulture; internetne navade; deleži različnih skupin v kulturi in delež kulturniških poklicev v skupni populaciji; nekateri zasebni izdatki za kulturo); c) »domača in javna vlaganja v kulturo« (BDP na prebivalca; javni izdatki za kulturo na prebivalca; uvoz kulturnih dobrin na prebivalca; internetne navade, bolj striktno povezane s kulturno vsebino; nekateri zasebni izdatki za kulturo). Vsaki dimenziji smo izračunali pripadajoči indeks in razložili položaje držav na lestvicah. Tukaj seveda ostaja še nekaj nejasnosti, ki jih bo odpravila nadaljnja analiza pred objavo.

2) Analiza skupinjenja je razbrala šest osnovnih skupin držav:
- Baltsko-srednjeevropski model: Litva, Latvija, Estonija, Slovenija in Madžarska;
- Mediteransko-jugovzhodno evropski model: Hrvaška, Italija, Turčija, Makedonija, Romunija, Malta in Grčija (v nekaterih modeliranjih se kaže obstoj ločenega jugovzhodnega modela s štirimi članicami: Turčijo, Grčijo, Makedonijo in Romunijo);
- Vzhodno-evropski model: Poljska, Češka, Slovaška, Bolgarija, s Portugalsko nekje med tem in predhodnim modelom;
- Model majhnih, liberalneje usmerjenih in kulturi relativno naklonjenih držav: Luksemburg, Ciper in Irska, v nekaterih modeliranjih (ki jih tu nismo prikazali) k temu modelu gravitira tudi Slovenija;
- Nordijski model: Islandija, Finska, Norveška, Švedska, Danska, v nekaterih modeliranjih z dodatkom Švice;
- Zahodni model: Nizozemska, Belgija, Velika Britanija, Francija, Španija, Nemčija in Avstrija.
V grobem pa grafi potrdijo tudi tezo, postavljeno v prispevku Čopič, Inkei, Kangas in Srakar (2013), da lahko evropske države glede na empirične podatke stanja v kulturi ločimo v dve večji skupini: Zahodno-Evropske; in Vzhodno-Evropske in Mediteranske države. Te ugotovitve predstavljajo pomemben korak v empirični analizi kulturne politike in pri analizi in razlikovanju modelov kulturne politike in terjajo nadaljnjo obravnavo in analizo (nekaj je bo dopolnjene pred objavo oz. predstavitvami člankov). Med drugim ponujajo tudi osnovo za izračun »razdalj« med državami glede posameznih elementov stanja v kulturi, kar bi bila dobra tema za enega (ali več) nadaljnjih prispevkov oz. za nadaljnjo smer raziskovanja.

3) Nujni napotek za področje kulturne statistike, ki sledi iz naše analize: v sedanjem času je prisotnega bistveno preveč ukvarjanja z izborom in merjenjem samih indikatorjev, lahko bi celo dejali, da je celotno sedanje področje kulturne statistike usmerjeno zgolj v to tematiko. Naša analiza oz. kar bo iz nje še nastalo, je pokazala, da je v tem trenutku na voljo že dovolj statističnih indikatorjev, da pa v veliki meri primanjkuje resnejših analiz oz. uporab podatkov. Nasvet področju kulturne statistike na ravni EU torej je, da se veliko močneje usmerja v uporabo podatkov, saj bo šele slednje pokazalo, kaj je možno storiti s sedanjimi podatki in nakazalo tudi, kje so resnično nujni koraki pri nadgradnji sedanjega sistema kulturne statistike na ravni EU. Veliko več samega »mesa« torej in veliko manj ukvarjanja zgolj s prenovo okostja, ki ga je sedaj preprosto preveč in postaja bolj samo sebi namen, kar je pokazalo tudi zimsko srečanje avtorjev Kompendija evropskih kulturnih politik in trendov, kjer je skupina za kulturno statistiko ostajala zgolj pri ugotovitvah, da je vsa kulturna statistika zanič, da so podatki manjkajoči in napačni itd. Naša analiza torej jasno pokaže, da mora kulturna statistika nujno preiti k spodbujanju uporabe in (zaradi mene tudi kritične) analize sedanjih podatkov in manj energije usmerjati zgolj v razmišljanja o boljšem ogrodju podatkov.

4) Zadnjič, in morda najpomembneje: metodološka zgradba naše analize je pokazala tudi pot, po kateri je mogoča uporaba visokodimenzionalnih baz podatkov pri izgradnji tovrstnih indeksov na vseh področjih gospodarstva, javnega sektorja in družbe nasploh. Ker se tovrstni problemi lahko hitro pojavijo, kar smo omenjali že v začetku zapisa, ima lahko naša analiza širše aplikacije in s tem resnično precejšnjo uporabnost.

  • Share/Bookmark

28.08.2014

Dinamični izpisi v Stati

Zapisano pod: Ekonometrija, Statistika — andee - 28.08.2014
Tagi: , , ,

Vsi tisti, ki uporabljate statistični paket Stata, verjetno veste, da najdete najnovejše spisane rutine z uporabo ukaza -ssc new-. Na njem trenutno najdete tri nove rutine za pripravo dinamičnih izpisov vašega outputa v Stati: weaver, ketchup in markdoc. Sam sem jih na kratko testiral in zaenkrat predlagam uporabo modula weaver (predlagam pa, da instalirate vse tri in seveda še tiste, na katere se sklicujejo, kot je synlight).

Testni report, ki sem ga napravil, najdete tukaj. Uporabljal sem spodnji kratki nabor ukazov (do rutino), ponovno gre za izpis faktorske analize, ki jo uporabljam pri projektu kulturnopolitičnega indeksa.

use “C:\Users\Andee\Documents\Andrej\Copic\ICCPRIndex\podatkicelavse1c.dta”, clear
// v zgornjo vrstico vpišite pot do vaše podatkovne baze oz. ročno odprite vašo podatkovno bazo preden poženete program
weave using example, replace date contents title(“Stata Weaver Package”) author(“E. F. Haghish”) ///
printer(prince) affiliation(“University of Freiburg”) runhead(“Example 1 report”) //začetni weave ukaz, za več informacij v Stati vpišite -help weaver-
div factor std_enav1 std_enav2 std_enav3 std_enav8 std_enav11 std_enav13 std_dvev2 std_triv1 std_triv2 //
std_triv3 std_triv4 std_triv5 std_triv6 std_triv7 std_stiriv1 std_stiriv3 std_stiriv5 std_stiriv7 std_stiriv9 ///
std_stiriv11 std_petv1 std_petv2 std_sestv2 std_sestv5 std_sestv8 std_sestv11 std_sestv17 std_sedemv3 ///
std_sedemv5 std_sedemv7 std_devetv1 std_devetv4 std_devetv5 std_devetv6 std_devetv7 std_desetv1 ///
std_desetv2 std_desetv3 std_desetv4 std_desetv5 std_desetv6 std_desetv7 std_desetv8 std_desetv9 ///
std_desetv10 std_desetv11 std_desetv12 std_desetv13 std_desetv14 std_desetv15 std_desetv16 ///
std_desetv17 std_desetv18 std_enajstv3 std_enajstv5 std_enajstv7 std_enajstv9 std_enajstv11 ///
std_enajstv13 std_enajstv15 std_enajstv17 std_enajstv19 std_enajstv21 std_enajstv23 std_enajstv25 ///
std_enajstv27 std_enajstv29 std_enajstv31 std_gengovpc std_centgovpc std_locgovpc std_gencultpc ///
std_centcultpc std_loccultpc, pcf blanks(0.35) // izračuni osnovne faktorske analize
div rotate, horst blanks(0.35) // rotacija
div scree //scree graf
div graph export graph.png, replace //izvoz grafa
img graph.png //vstavljanje grafa v izpis
pagebreak //prelom strani
img graph.png, w(600) h(400) center //lepše postavljen/centriran graf
weavend //konec programa, potem samo kliknite izpis html strani in jo preoblikujte v pdf dokument

  • Share/Bookmark

24.08.2014

Javni zavodi na področju kulture v Sloveniji in stroškovna učinkovitost v obdobju 2002-2011

Uvod

Poročam o rezultatih analize tega vikenda na podatkih o financiranju in zaposlenih v javnih zavodih, ki jih financira ministrstvo za kulturo RS na področju kulture v Sloveniji v letih 2002-2011 (za posredovane osnovne podatke se vljudno zahvaljujem osebju Ministrstva za kulturo RS). Opozarjam, da so spodnji rezultati prvi rezultati in se bodo v prihodnjih dneh, preden bodo pripravljeni za objavo, morda še spreminjali.

Javnih zavodov v naši analizi je bilo v letu 2011 69 (v letu 2002 pa smo upoštevali še javni zavod Muzej Ljutomer) in sicer sledeči:

Nacionalni (28) – SNG Drama Ljubljana; SNG Maribor (drama in opera); SNG Nova Gorica (tu smo v nekaterih predhodnih letih upoštevali predhodni naziv PDG Nova Gorica, podobno smo storili pri vseh drugih javnih zavodih s podobnimi spremembami); Center sodobnih plesnih umetnosti (formalno obstajal samo v letih 2011 in 2012); SNG Opera in balet Ljubljana; Slovenska filharmonija; Narodna galerija; Moderna galerija; Zgodovinski arhiv Ljubljana; Pokrajinski arhiv Maribor; Zgodovinski arhiv Celje; Pokrajinski arhiv Nova Gorica; Pokrajinski arhiv Koper; Zgodovinski arhiv Ptuj; Zavod za varstvo kulturne dediščine Slovenije; Narodni muzej; Prirodoslovni muzej Slovenije; Slovenski etnografski muzej; Muzej novejše zgodovine Slovenije; Slovenski gledališki muzej; Tehniški muzej Slovenije; Slovenska kinoteka; Muzej za arhitekturo in oblikovanje; Muzej krščanstva na Slovenskem; NUK; Cankarjev dom; Viba film; Arboretum Volčji potok.

Občinski (41) – Slovensko ljudsko gledališče Celje; Mestno gledališče ljubljansko; Slovensko mladinsko gledališče; Lutkovno gledališče Ljubljana; Lutkovno gledališče Maribor; Pilonova galerija Ajdovščina; Galerija Božidar Jakac Kostanjevica; Mednarodni grafični likovni center Ljubljana; Umetnostna galerija Maribor; Galerija Murska Sobota; Obalne galerije Piran; Koroška galerija likovnih umetnosti Slovenj Gradec; Posavski muzej Brežice; Pokrajinski muzej Celje; Muzej novejše zgodovine Celje; Mestni muzej Idrija; Medobčinski muzej Kamnik; Pokrajinski muzej Kočevje; Pokrajinski muzej Koper; Gorenjski muzej Kranj; Mestni muzej Ljubljana; Muzej narodne osvoboditve Maribor; Pokrajinski muzej Maribor; Belokranjski muzej Metlika; Pomurski muzej Murska Sobota; Goriški muzej Nova Gorica; Dolenjski muzej Novo mesto; Pomorski muzej Piran; Notranjski muzej Postojna; Pokrainski muzej Ptuj-Ormož; Muzeji radovljiške občine; Koroški pokrajinski muzej; Loški muzej Škofja Loka; Zasavski muzej Trbovlje; Muzej Velenje; Tolminski muzej; Gornjesavski muzej Jesenice; Prešernovo gledališče Kranj; Gledališče Koper; Mestno gledališče Ptuj; Anton Podbevšek Teater Novo mesto.

Metoda, ki smo jo uporabili je bila metoda podatkovne ovojnice oz. DEA (angl. Data Envelopment Analysis). V grobem smo torej izračunali stroškovne učinkovitosti (žal zaenkrat še nimam dostopnih dovolj dobrih podatkov o predstavah, obiskovalcih itd. po vseh omenjenih javnih zavodih, da bi lahko izračunal tudi katero drugo obliko učinkovitosti) posebej za vsako leto pri omenjenih javnih zavodih (izračune smo torej naredili ločeno po letih). Stroškovne učinkovitosti so bile zaenkrat izračunane pod predpostavkami stalnih donosov obsega ter usmerjenosti v inpute (da torej poskušamo dani output doseči s čim manjšo porabo inputov; v naslednjih dneh sledi še ločena analiza za model, usmerjen v outpute). Kot vložke v javni zavod smo zaenkrat uporabili skupne javne izdatke (občinska in državna sredstva) za zavod ter število zaposlenih, kot (prihodkovne) rezultate zavoda smo uporabili tri ločene količine: skupne prihodke zavodov; »druge« prihodke iz javnih sredstev, torej od prodanih vstopnic, prodaje publikacij, članarin, gledaliških gostovanj doma in v tujini, abonmajev, prejetih obresti, prejetih dividend, sponzorstev in donacij; ter prihodke, pridobljene na trgu.

Ker je vzorec relativno majhen, smo pri vseh izračunih učinkovitosti uporabili (enostopenjsko, torej vsaj zaenkrat ne po vedno pogosteje uporabljeni metodi Simarja in Wilsona, to bo storjeno v naslednjih dneh; mimogrede, korekcijo izračuna učinkovitosti je nedavno prispeval tudi grški raziskovalec Panagiotis Zervopoulos, verjetno bomo tudi to upoštevali pri izračunih) bootstrapsko korekcijo na osnovi rutine, ki sem jo zapisal zadnjič na primeru izračuna faktorskih uteži.

Potrebno je dodati še eno pomembno metodološko omejitev zaenkratne analize: v izračun smo vključili vse javne zavode v kulturi, ki jih financira MK, kjer za to obstajajo podatki. Ob tem se kažeta dva večja problema: najprej, vsi tisti zavodi s številom zaposlenih enakim nič (npr. Prešernovo gledališče Kranj, Mestno gledališče Ptuj, Gledališče Koper, Anton Podbevšek Teater, v letu 2011 tudi Center sodobnih plesnih umetnosti) imajo seveda odlične rezultate učinkovitosti, saj so zadane »cilje« dosegli z minimalnim vložkom zaposlenih. Ti rezultati so delno spodaj že odpravljeni, verjetno pa bodo terjali še kak metodološki korak. Drug problem je primerjava zavodov med seboj, kljub temu, da delujejo na različnih področjih. Ta problem je prav tako pomemben, saj na eni strani pomeni vključitev zavodov kot so Zavod za varstvo kulturne dediščine, NUK in Arboretum Volčji potok, na drugi strani pa primerjavo arhivov (ki jasno nimajo takšne količine prihodkov iz drugih virov) z gledališči in galerijami. Kljub vsemu pa gre za primerjavo stroškovne učinkovitosti (sposobnosti ustvarjanja prihodkov ob omejenih virih), ki je sorodna vsem vključenim zavodom. V vsakem primeru bodo pred dokončno verzijo omenjeni problemi še korigirani.

Morda še nekaj hitrega o metodi DEA. Gre za neparametrično statistično metodo (ne prepostavlja vnaprej znane statistične porazdelitve podatkov), ki je v zadnjih desetletjih postala zelo priljubljen del analize učinkovitosti javnih institucij. Metoda je zgrajena z vključitvijo dveh tipov spremenljivk: inputov oz. vložkov (v našem primeru javna sredstva in število zaposlenih); ter outputov oz. rezultatov (v našem primeru skupni prihodki in prihodki iz “drugih virov”, slednji so ločeni na tržne prihodke ter prihodke iz vstopnin, članarin, donacij, sponzorstev ipd.). Učinkovitosti so izražene na lestvici od 0 do 1 ali več, kjer 0 pomeni popolno neučinkovitost, 1 popolno učinkovitost, več kot 1 pa presežke v učinkovitosti. Analiza je možna za k inputom usmerjen model (ko zavodi skušajo doseči dane rezultate s čim manjšimi vložki) ali k outputom usmerjen model (ko zavodi skušajo doseči z danimi vložki čim boljši izkoristek). Analiza je postala znana tudi na področju kulturne ekonomike posebej z delom raziskovalcev z univerze v Catanii, še posebej člankom Tiziane Cuccie, Calogera Guccia in Ilde Rizzo iz leta 2013.

Tukaj torej kratko predstavljam tri metodološke izračune:

1) Izračun učinkovitosti po posameznih letih po posameznih javnih zavodih v kulturi (nacionalnih in občinskih, ki jih financira MK)

V spodnji tabeli najdete najprej lestvico desetih najuspešnejših zavodov v letih 2009, 2010 in 2011 in tistih, ki so v celotnem obdobju 2002-2011 imeli najvišje povprečne uvrstitve na lestvici učinkovitosti. Iz rezultatov smo zaradi zgornjih problemov izločili Arboretum Volčji potok (ki je sicer prvi na vseh lestvicah) ter peterico zavodov z ničelnimi zaposlitvami: Prešernovo gledališče Kranj, Mestno gledališče Ptuj, Gledališče Koper, Anton Podbevšek Teater ter Center sodobnih plesnih umetnosti. Vsi navedeni so prav tako sicer pri samem vrhu vseh lestvic.

Iz zgornje tabele je torej vidno, da so najuspešnejši nekateri javni zavodi, ki tudi sicer veliko stavijo na zasebna sredstva in pridobivanje občinstva: Cankarjev dom, Mestni muzej Ljubljana, Mestno gledališče ljubljansko. Zelo uspešen se kaže tudi Zgornjesavski muzej Jesenice, ki z relativno malo zaposlenimi ustvarja kar znatno količino »drugih javnih sredstev« (za opredelitev glej zgoraj). Podobna je tudi zgodba Pokrajinskega muzeja Kočevje, ki ima zelo malo zaposlenih in precej majhen letni proračun, kljub temu pa uspe ustvariti dokaj dober delež sredstev iz »drugih javnih sredstev« in prihodkov na trgu.

V spodnji tabeli pa so »underdogi«, torej najslabše uvrščeni javni zavodi. Pričakovano med njimi izstopajo arhivi (glej zgoraj), vendar pa med njimi najdemo kar nekaj muzejev: Koroški pokrajinski muzej, Zasavski muzej Trbovlje, Posavski muzej Brežice, Pokrajinski muzej Koper in Medobčinski muzej Kamnik. Omenjeni izstopajo bodisi po relativno večjem številu zaposlenih (med 10 in 20) bodisi po relativno majhnemu deležu sredstev iz drugih virov. Jasno pa so tudi vidni problemi javnega zavoda SNG Opera in Balet Ljubljana, ki sicer, zanimivo, ustvari kar dober delež sredstev iz »drugih javnih virov«, vendar ima tudi skorajda 300 zaposlenih in primerjaje z drugimi zavodi zelo velik proračun, ki je v letih 2010 in 2011 že skorajda dosegal 11 milijonov evrov.

V spodnji tabeli pa so za tiste, ki želite malo bolj brskati po tem, tudi vsi rezultati izračuna učinkovitosti.

2) Izračun učinkovitosti celotnega javnega sektorja v kulturi med leti 2002-2011

Seveda me je tudi zanimalo, ali drži teza, da ima slovenski javni sektor v kulturi probleme z učinkovitostjo. V ta namen smo sešteli vse podatke po vseh javnih zavodih v vsakem letu in nato ponovili enak postopek, le da so bile enote DEA analize v tem primeru leta, imeli smo torej 10 enot: leto 2002; 2003; 2004; 2005; 2006; 2007; 2008; 2009; 2010; in 2011. Seveda je bil za konsistentne ocene parametrov v tem primeru bootstrap ne le zaželen, ampak preprosto nujen, izvedli smo ga po enakem postopku kot zgoraj. Ocene so torej kljub majhnemu vzorcu dovolj konsistentne, kar so pokazale vrednosti statistične značilnosti (dobro znane p-vrednosti), ki so bile pri vseh izračunanih učinkovitostih tako rekoč ničelne, torej močno statistično značilne.

Rezultati so spodaj, prikazujemo jih za tri ločene modelske specifikacije: v prvi smo za rezultat vzeli skupne prihodke; v drugi prihodke iz »drugih javnih sredstev«; in pri tretji prihodke iz tržnih virov.

Podatki so tudi tukaj precej jasni. Če je bila skupna stroškovna učinkovitost javnih zavodov v kulturi v letih 2007-2009 še relativno dobra, pa je predvsem v letih 2010 in 2011 močno padla. Omenjeni padec je prisoten tako pri učinkovitosti pridobivanja »drugih javnih sredstev« kot tržnih prihodkov. Tudi skupna učinkovitost pa kaže nazadovanje v teh letih, ki pa je še vedno nad mejo učinkovitosti. Lahko bi torej dejali, da sicer ne moremo trditi, da so javni zavodi v kulturi (stroškovno) neučinkoviti, kot pravijo splošne in pavšalne trditve v javnosti, so pa več kot očitno vedno manj učinkoviti, ko je govora o pridobivanju sredstev iz drugih, »nejavnih« virov (to velja tako za sredstva na trgu kot sponzorstva, donacije in tudi vstopnine, članarine, abonmaje itd.).

Omeniti velja tudi, da so v skupno analizo ponovno všteti vsi zavodi, analizo brez omenjenih »osamelcev« bom ponovil v prihodnjih dneh.

3) Kaj je vplivalo na učinkovitost javnih zavodov v kulturi 2002-2011?

V zaenkrat zadnjem delu analize sem preverjal še kaj je vplivalo na izračunane učinkovitosti. Pri tem zaenkrat nisem imel časa biti kaj posebej metodološko dosleden, upošteval sem sicer izračunane/popravljene učinkovitosti prek enostopenjskega bootstrapa, v analizo pa sem na tej točki vključil le štiri dodatne spremenljivke: linearni časovni trend; ali je javni zavod nacionalni ali lokalni; ali je javni zavod lociran v Ljubljani ali drugje; ter interakcijo obeh zadnjih spremenljivk. Model sem ocenjeval z običajno panelno cenilko naključnih učinkov (seveda imamo opravka z (»nepopolno« oz. unbalanced, ker nekaj opazovanj manjka) panelno bazo podatkov učinkovitosti za omenjenih 70 zavodov v letih 2002-2011) ter s cenilko sistemskih posplošenih momentov, primerno za dinamično analizo. Pri slednji smo na podlagi regresijskih kazalnikov vključili tri odloge. V model smo zaenkrat vključili vse zavode, torej tudi omenjene »osamelce«

Rezultati so v spodnji tabeli, prikazani so najprej za odvisno spremenljivko koeficienta učinkovitosti ločeno za vsako od obeh cenilk ter ločeno z in brez vključitve interakcijske spremenljivke.

Predvsem rezultati dinamičnega modela jasno pokažejo, da je: 1) najprej učinkovitost močno in negativno povezana s časovnim trendom, kar pomeni, da je v času dejansko padala, kar potrdi ugotovittve zgornje metodološke točke 2); 2) da je bila učinkovitost v povprečju manjša pri nacionalnih kot pa pri lokalnih javnih zavodih; 3) da je bila učinkovitost v povprečju manjša pri ljubljanskih kot pri neljubljanskih javnih zavodih; 4) da je k neučinkovitosti dodatno prispevalo to, da je bil nek zavod hkrati ljubljanski in še nacionalen. Pri zadnji točki velja omeniti, da jo nekoliko demantirajo rezultati, ko vključimo za odvisno spremenljivko uvrstitev (rang) na lestvici namesto samega koeficienta učinkovitosti.

Slednje rezultate, ko torej vključimo v model kot odvisno spremenljivko narobe predznačeno uvrstitev na lestvici (tisti višje uvrščeni na dejanski lestvici imajo tudi večjo vrednost nove odvisne spremenljivke), prikazujemo v spodnji tabeli in z izjemo omenjenega drugače predznačenega koeficienta pri interakcijski spremenljivki povsem potrdijo vse ugotovitve predhodnega odstavka.

Sklep

Kaj povedati za sklep? Najprej ponovimo glavne ugotovitve:
1) Po učinkovitosti so bili v letih 2002-2011 najuspešnejši nekateri javni zavodi, ki tudi sicer veliko stavijo na zasebna sredstva in pridobivanje občinstva: Cankarjev dom, Mestni muzej Ljubljana, Mestno gledališče ljubljansko. Zelo uspešen se kaže tudi Zgornjesavski muzej Jesenice, ki z relativno malo zaposlenimi ustvarja kar znatno količino »drugih javnih sredstev« (za opredelitev glej zgoraj). Podobna je tudi zgodba Pokrajinskega muzeja Kočevje, ki ima zelo malo zaposlenih in precej majhen letni proračun, kljub temu pa uspe ustvariti dokaj dober delež sredstev iz »drugih javnih sredstev« in prihodkov na trgu.
2) Pričakovano med najmanj učinkovitimi izstopajo arhivi, ki so po osnovni dejavnosti manj usmerjeni v pridobivanje občinstva in drugih virov kot npr. gledališča ali galerije, vendar pa med najmanj učinkovitimi najdemo kar nekaj muzejev: Koroški pokrajinski muzej, Zasavski muzej Trbovlje, Posavski muzej Brežice, Pokrajinski muzej Koper in Medobčinski muzej Kamnik. Omenjeni izstopajo bodisi po relativno večjem številu zaposlenih (med 10 in 20) bodisi po relativno majhnemu deležu sredstev iz drugih virov. Jasno pa so tudi vidni problemi javnega zavoda SNG Opera in Balet Ljubljana, o katerih je bilo veliko spisanega tudi v medijih.
3) Če je bila skupna stroškovna učinkovitost javnih zavodov v kulturi v letih 2007-2009 še relativno dobra, pa je predvsem v letih 2010 in 2011 močno padla. Omenjeni padec je prisoten tako učinkovitosti pridobivanja »drugih javnih sredstev« kot tržnih prihodkov. Tudi skupna učinkovitost pa kaže nazadovanje v teh letih, ki pa je še vedno nad mejo učinkovitosti.
4) Lahko bi torej dejali, da sicer ne moremo trditi, da so javni zavodi v kulturi (stroškovno) neučinkoviti, kot pravijo splošne in pavšalne trditve v javnosti, so pa več kot očitno (vedno močneje) neučinkoviti, ko je govora o pridobivanju sredstev iz drugih, »nejavnih« virov (to velja tako za sredstva na trgu kot sponzorstva, donacije in tudi vstopnine, članarine, abonmaje itd.).
5) Učinkovitost je močno in negativno povezana s časovnim trendom, kar pomeni, da je v času dejansko padala, kar potrdi prej omenjen ugotovitve;
6) Učinkovitost je bila v povprečju manjša pri nacionalnih kot pa pri lokalnih javnih zavodih;
7) Učinkovitost je bila v povprečju manjša pri ljubljanskih kot pri neljubljanskih javnih zavodih;
8 ) K neučinkovitosti je dodatno prispevalo to, da je bil nek zavod hkrati ljubljanski in še nacionalen, vendar tu rezultati niso več enoznačni in terjajo nadaljnjo razdelavo.

Za sklep samo še tale kratek komentar. Najprej, mislim, da je tale analiza in tisto, kar bo iz nje še nastalo nujno potrebno strokovno dopolnilo bodočim ukrepom na področju reforme javnih zavodov v kulturi. V nadaljevanju, ko »pridem do daha« bom izračunal tudi spremljajoči del vsake DEA analize, namreč kje konkretno so problemi pri vsakem javnem zavodu in koliko prihodkov in zaposlenih bi se lahko odrekli, da bi bili še vedno učinkoviti. Zaradi časovne stiske zaenkrat še nisem pripravil teh izračunov, ki morajo seveda prav tako biti statistično konsistentni in zato izračunani s primerno uporabo simulacijskih metod, omenjenih v prispevku. Prav tako manjka še kar nekaj delov analize, tudi bistveno boljša regresijska analiza z vključitvijo dodatnih spremenljivk (seveda je sedaj v analizi prisoten omitted variable bias).

In drugič: čez štirinajst dni odhajam na konferenco ICCPR v Hildesheim z dvema še veliko močneje statistično in kvantitativno obarvanima prispevkoma. Odzivi, ki sem jih bil na svoje, zelo kvantitativno usmerjeno delo na področju kulturne ekonomike in predvsem ekonometrične analize razmerij v kulturni politiki, deležen doslej, so bili vsaj doslej precej bizarni, tako na slovenski kot evropski oz. svetovni ravni. Večinoma sem imel občutek, da ko je govora o tem, naenkrat ljudje (govorim tako o kulturnih ekonomistih kot »raziskovalcih kulturnih politik«) ne znajo več šteti do pet in se večidel obnašajo, kot bi bil nek izobčenec oz. čudak, ki premetava neke številke in prihaja do nekih nemogočih sklepov, ki so seveda pravovernemu kulturnem raziskovalcu (ki, po teh izkušnjah, bolj ali manj sovraži ali/in ne razume resne statistične analize) enako, kot bi biku pokazal rdečo pelerino. Bom rekel kar iskreno: pričakujem, da se bo tu počasi kaj spremenilo, in da se bo počasi pripetil nekakšen obrat v raziskovanju kulturne politike, obrat torej k resni statistično-ekonometrični analizi, ki bo končno zmožna odgovoriti na mnoga (osnovna) vprašanja, ki so sedaj bolj ali manj »visoka matematika« in predmet zgolj teoretskih razpravljanj: kakšni so učinki kulturno-političnih ukrepov (nasvet: uporaba program evaluation metod in/ali mikrosimulacijskih modelov); kakšna so razmerja med financiranjem in zaposlovanjem v kulturi (ekonometrija časovnih vrst); kakšno je razmerje med lokalnim in državnim financiranjem v kulturi (kar bova verjetno dokončno zakoličila s kolegom Tóthom v enim naslednjih objav); ali imajo kulturni dogodki ekonomske učinke in kaj na njih vpliva (metoda ex-post ekonometrične verifikacije); kako načrtovati statusne in davčne spremembe v vseh sektorjih v kulturi (modeli makroekonomske fiskalne analize, predvsem glede davkov); kako načrtovati ukrepe pri spodbujanju umetniških trgov (metode analize povpraševanja po vzoru modelov Berry, Levinsohn & Pakes) – vse to in še mnoge teme so, ki ostajajo odprte in skorajda povsem neobravnavane in neodgovorjene na področju kulturne politike. Zato obrat, ki ga predlagam, ni zgolj neka moja osnovna kaprica pač pa nujno potreben korak, v kolikor želi raziskovanje kulturne politike resnično postati »evidence-based«, kar se je vpilo v preteklih letih; še bolj kot to pa: postati resnično zanimivo, odprto in dinamično področje, ki ne bo zgolj jetnik nekaterih teoretskih paradigm in samozadostnega diskurza. Čas pa bo seveda pokazal, v katero smer bo razvoj šel, sam pa na srečo vedno bolj zagotovo vem, kje bo moje mesto in smer pri tem. Uživajte.

  • Share/Bookmark

22.08.2014

Stata rutina – bootstrapiranje elementov faktorske analize

Ena prvih resnejših lastnih Stata rutin, s katero dobite bootstrapirane parametre (uteži) in statistike (delež pojasnjene variance) faktorske analize (osnova za programček je bila tale spletna stran, kjer pa program ne dela).

Ker, kolikor vem, Stata ne dovoljuje bootstrapiranja vektorjev in matrik, vam spodnja rutina pride prav tudi kadarkoli potrebujete bootstrapirati posamezne koeficiente v matrikah ali vektorjih pri katerikoli statistični ali ekonometrični analizi. Ker še nisem prav hud ekspert za programiranje v Stati, so še mnogi elementi “very lame”, gre za faktorsko analizo 73 spremenljivk po metodi principal components factors, iz katerih izločimo tri osnovne faktorje in delež pojasnjene variance (slednjega Stata ne shranjuje direktno, zato je posebej izračunan kot povprečje komunalitet). Faktorji so bili rotirani po metodi varimax s Kaiserjevo normalizacijo.

Ker je šlo v osnovi za visokodimenzionalno podatkovno bazo, smo rezultate faktorske analize morali bootstrapirati, da smo dobili konsistentne ocene parametrov v analizi (glej npr. Song & Hart 2010).

// main program begins ——————————————-
// first, get the observed point estimates:
factor std_enav1 std_enav2 std_enav3 std_enav8 std_enav11 std_enav13 std_dvev2 std_triv1 std_triv2 ///
std_triv3 std_triv4 std_triv5 std_triv6 std_triv7 std_stiriv1 std_stiriv3 std_stiriv5 ///
std_stiriv7 std_stiriv9 std_stiriv11 std_petv2 std_sestv2 std_sestv5 std_sestv8 std_sestv11 ///
std_sestv17 std_sedemv3 std_sedemv5 std_sedemv7 std_devetv1 std_devetv4 std_devetv5 ///
std_devetv6 std_devetv7 std_desetv1 std_desetv2 std_desetv3 std_desetv4 std_desetv5 ///
std_desetv6 std_desetv7 std_desetv8 std_desetv9 std_desetv10 std_desetv11 std_desetv12 ///
std_desetv13 std_desetv14 std_desetv15 std_desetv16 std_desetv17 std_desetv18 std_enajstv3 ///
std_enajstv5 std_enajstv7 std_enajstv9 std_enajstv11 std_enajstv13 std_enajstv15 ///
std_enajstv17 std_enajstv19 std_enajstv21 std_enajstv23 std_enajstv25 std_enajstv27 ///
std_enajstv29 std_enajstv31 std_gengovpc std_centgovpc std_locgovpc std_gencultpc ///
std_centcultpc std_loccultpc, pcf factors(3) // here there are 3 factors and 73 variables
rotate, horst varimax
matrix obsload=e(r_L)
matrix obspsi=e(Psi)
forvalues i=1/3 {
matrix obsload`i’=obsload[1..73,`i'] // break the loadings matrix up
}
scalar obsexp=(obspsi[1,1]+obspsi[1,2]+obspsi[1,3]+obspsi[1,4]+obspsi[1,5]+obspsi[1,6]+obspsi[1,7] ///
+obspsi[1,8]+obspsi[1,9]+obspsi[1,10]+obspsi[1,11]+obspsi[1,12]+obspsi[1,13]+obspsi[1,14] ///
+obspsi[1,15]+obspsi[1,16]+obspsi[1,17]+obspsi[1,18]+obspsi[1,19]+obspsi[1,20]+obspsi[1,21] ///
+obspsi[1,22]+obspsi[1,23]+obspsi[1,24]+obspsi[1,25]+obspsi[1,26]+obspsi[1,27]+obspsi[1,28] ///
+obspsi[1,29]+obspsi[1,30]+obspsi[1,31]+obspsi[1,32]+obspsi[1,33]+obspsi[1,34]+obspsi[1,35] ///
+obspsi[1,36]+obspsi[1,37]+obspsi[1,38]+obspsi[1,39]+obspsi[1,40]+obspsi[1,41]+obspsi[1,42] ///
+obspsi[1,43]+obspsi[1,44]+obspsi[1,45]+obspsi[1,46]+obspsi[1,47]+obspsi[1,48]+obspsi[1,49] ///
+obspsi[1,50]+obspsi[1,51]+obspsi[1,52]+obspsi[1,53]+obspsi[1,54]+obspsi[1,55]+obspsi[1,56] ///
+obspsi[1,57]+obspsi[1,58]+obspsi[1,59]+obspsi[1,60]+obspsi[1,61]+obspsi[1,62]+obspsi[1,63] ///
+obspsi[1,64]+obspsi[1,65]+obspsi[1,66]+obspsi[1,67]+obspsi[1,68]+obspsi[1,69]+obspsi[1,70] ///
+obspsi[1,71]+obspsi[1,72]+obspsi[1,73])/73 // calculating the observed explained variance statistic
matrix obs=(obsload1 \ obsload2 \ obsload3 \ obsexp) // put it back together
matrix obst=obs’
// then carry on with the program…
// first part ends ——————————————–

// and here comes the program…
capture: program drop myboot
program define myboot, rclass
preserve
bsample
factor std_enav1 std_enav2 std_enav3 std_enav8 std_enav11 std_enav13 std_dvev2 std_triv1 std_triv2 ///
std_triv3 std_triv4 std_triv5 std_triv6 std_triv7 std_stiriv1 std_stiriv3 std_stiriv5 ///
std_stiriv7 std_stiriv9 std_stiriv11 std_petv2 std_sestv2 std_sestv5 std_sestv8 std_sestv11 ///
std_sestv17 std_sedemv3 std_sedemv5 std_sedemv7 std_devetv1 std_devetv4 std_devetv5 ///
std_devetv6 std_devetv7 std_desetv1 std_desetv2 std_desetv3 std_desetv4 std_desetv5 ///
std_desetv6 std_desetv7 std_desetv8 std_desetv9 std_desetv10 std_desetv11 std_desetv12 ///
std_desetv13 std_desetv14 std_desetv15 std_desetv16 std_desetv17 std_desetv18 std_enajstv3 ///
std_enajstv5 std_enajstv7 std_enajstv9 std_enajstv11 std_enajstv13 std_enajstv15 ///
std_enajstv17 std_enajstv19 std_enajstv21 std_enajstv23 std_enajstv25 std_enajstv27 ///
std_enajstv29 std_enajstv31 std_gengovpc std_centgovpc std_locgovpc std_gencultpc ///
std_centcultpc std_loccultpc, pcf factors(3)
rotate, horst varimax
matrix bootload=e(r_L)
matrix psi=e(Psi)
forvalues i=1/73 {
scalar bootloada`i’=bootload[`i',1]
scalar bootloadb`i’=bootload[`i',2]
scalar bootloadc`i’=bootload[`i',3]
}
scalar bootexp=(psi[1,1]+psi[1,2]+psi[1,3]+psi[1,4]+psi[1,5]+psi[1,6]+psi[1,7]+psi[1,8]+psi[1,9] ///
+psi[1,10]+psi[1,11]+psi[1,12]+psi[1,13]+psi[1,14]+psi[1,15]+psi[1,16]+psi[1,17] ///
+psi[1,18]+psi[1,19]+psi[1,20]+psi[1,21]+psi[1,22]+psi[1,23]+psi[1,24]+psi[1,25] ///
+psi[1,26]+psi[1,27]+psi[1,28]+psi[1,29]+psi[1,30]+psi[1,31]+psi[1,32]+psi[1,33] ///
+psi[1,34]+psi[1,35]+psi[1,36]+psi[1,37]+psi[1,38]+psi[1,39]+psi[1,40]+psi[1,41] ///
+psi[1,42]+psi[1,43]+psi[1,44]+psi[1,45]+psi[1,46]+psi[1,47]+psi[1,48]+psi[1,49] ///
+psi[1,50]+psi[1,51]+psi[1,52]+psi[1,53]+psi[1,54]+psi[1,55]+psi[1,56]+psi[1,57] ///
+psi[1,58]+psi[1,59]+psi[1,60]+psi[1,61]+psi[1,62]+psi[1,63]+psi[1,64]+psi[1,65] ///
+psi[1,66]+psi[1,67]+psi[1,68]+psi[1,69]+psi[1,70]+psi[1,71]+psi[1,72]+psi[1,73])/73
restore
end

// now you use -simulate- to run the -myboot- program, creating one resample each time.
simulate load1a=bootloada1 load2a=bootloada2 load3a=bootloada3 load4a=bootloada4 load5a=bootloada5 ///
load6a=bootloada6 load7a=bootloada7 load8a=bootloada8 load9a=bootloada9 load10a=bootloada10 ///
load11a=bootloada11 load12a=bootloada12 load13a=bootloada13 load14a=bootloada14 ///
load15a=bootloada15 load16a=bootloada16 load17a=bootloada17 load18a=bootloada18 ///
load19a=bootloada19 load20a=bootloada20 load21a=bootloada21 load22a=bootloada22 ///
load23a=bootloada23 load24a=bootloada24 load25a=bootloada25 load26a=bootloada26 ///
load27a=bootloada27 load28a=bootloada28 load29a=bootloada29 load30a=bootloada30 ///
load31a=bootloada31 load32a=bootloada32 load33a=bootloada33 load34a=bootloada34 ///
load35a=bootloada35 load36a=bootloada36 load37a=bootloada37 load38a=bootloada38 ///
load39a=bootloada39 load40a=bootloada40 load41a=bootloada41 load42a=bootloada42 ///
load43a=bootloada43 load44a=bootloada44 load45a=bootloada45 load46a=bootloada46 ///
load47a=bootloada47 load48a=bootloada48 load49a=bootloada49 load50a=bootloada50 ///
load51a=bootloada51 load52a=bootloada52 load53a=bootloada53 load54a=bootloada54 ///
load55a=bootloada55 load56a=bootloada56 load57a=bootloada57 load58a=bootloada58 ///
load59a=bootloada59 load60a=bootloada60 load61a=bootloada61 load62a=bootloada62 ///
load63a=bootloada63 load64a=bootloada64 load65a=bootloada65 load66a=bootloada66 ///
load67a=bootloada67 load68a=bootloada68 load69a=bootloada69 load70a=bootloada70 ///
load71a=bootloada71 load72a=bootloada72 load73a=bootloada73 ///
load1b=bootloadb1 load2b=bootloadb2 load3b=bootloadb3 load4b=bootloadb4 load5b=bootloadb5 ///
load6b=bootloadb6 load7b=bootloadb7 load8b=bootloadb8 load9b=bootloadb9 load10b=bootloadb10 ///
load11b=bootloadb11 load12b=bootloadb12 load13b=bootloadb13 load14b=bootloadb14 ///
load15b=bootloadb15 load16b=bootloadb16 load17b=bootloadb17 load18b=bootloadb18 ///
load19b=bootloadb19 load20b=bootloadb20 load21b=bootloadb21 load22b=bootloadb22 ///
load23b=bootloadb23 load24b=bootloadb24 load25b=bootloadb25 load26b=bootloadb26 ///
load27b=bootloadb27 load28b=bootloadb28 load29b=bootloadb29 load30b=bootloadb30 ///
load31b=bootloadb31 load32b=bootloadb32 load33b=bootloadb33 load34b=bootloadb34 ///
load35b=bootloadb35 load36b=bootloadb36 load37b=bootloadb37 load38b=bootloadb38 ///
load39b=bootloadb39 load40b=bootloadb40 load41b=bootloadb41 load42b=bootloadb42 ///
load43b=bootloadb43 load44b=bootloadb44 load45b=bootloadb45 load46b=bootloadb46 ///
load47b=bootloadb47 load48b=bootloadb48 load49b=bootloadb49 load50b=bootloadb50 ///
load51b=bootloadb51 load52b=bootloadb52 load53b=bootloadb53 load54b=bootloadb54 ///
load55b=bootloadb55 load56b=bootloadb56 load57b=bootloadb57 load58b=bootloadb58 ///
load59b=bootloadb59 load60b=bootloadb60 load61b=bootloadb61 load62b=bootloadb62 ///
load63b=bootloadb63 load64b=bootloadb64 load65b=bootloadb65 load66b=bootloadb66 ///
load67b=bootloadb67 load68b=bootloadb68 load69b=bootloadb69 load70b=bootloadb70 ///
load71b=bootloadb71 load72b=bootloadb72 load73b=bootloadb73 ///
load1c=bootloadc1 load2c=bootloadc2 load3c=bootloadc3 load4c=bootloadc4 load5c=bootloadc5 ///
load6c=bootloadc6 load7c=bootloadc7 load8c=bootloadc8 load9c=bootloadc9 load10c=bootloadc10 ///
load11c=bootloadc11 load12c=bootloadc12 load13c=bootloadc13 load14c=bootloadc14 ///
load15c=bootloadc15 load16c=bootloadc16 load17c=bootloadc17 load18c=bootloadc18 ///
load19c=bootloadc19 load20c=bootloadc20 load21c=bootloadc21 load22c=bootloadc22 ///
load23c=bootloadc23 load24c=bootloadc24 load25c=bootloadc25 load26c=bootloadc26 ///
load27c=bootloadc27 load28c=bootloadc28 load29c=bootloadc29 load30c=bootloadc30 ///
load31c=bootloadc31 load32c=bootloadc32 load33c=bootloadc33 load34c=bootloadc34 ///
load35c=bootloadc35 load36c=bootloadc36 load37c=bootloadc37 load38c=bootloadc38 ///
load39c=bootloadc39 load40c=bootloadc40 load41c=bootloadc41 load42c=bootloadc42 ///
load43c=bootloadc43 load44c=bootloadc44 load45c=bootloadc45 load46c=bootloadc46 ///
load47c=bootloadc47 load48c=bootloadc48 load49c=bootloadc49 load50c=bootloadc50 ///
load51c=bootloadc51 load52c=bootloadc52 load53c=bootloadc53 load54c=bootloadc54 ///
load55c=bootloadc55 load56c=bootloadc56 load57c=bootloadc57 load58c=bootloadc58 ///
load59c=bootloadc59 load60c=bootloadc60 load61c=bootloadc61 load62c=bootloadc62 ///
load63c=bootloadc63 load64c=bootloadc64 load65c=bootloadc65 load66c=bootloadc66 ///
load67c=bootloadc67 load68c=bootloadc68 load69c=bootloadc69 load70c=bootloadc70 ///
load71c=bootloadc71 load72c=bootloadc72 load73c=bootloadc73 ///
explained=bootexp, reps(1000) seed(1234) saving(myboot_loadings.dta, replace): myboot
bstat, stat(obst) n(33) // put the original number of observations into n()
estat bootstrap, all
// main program ends

  • Share/Bookmark

21.08.2014

“The first economist” in “the first socialist”

Zapisano pod: Politične 'analize', miks — andee - 21.08.2014
Tagi: ,

Združena levica je na svojem Twitter profilu objavila sledeč stripek:
.

Zelo se bojim, da ta stripek dobro opiše tudi ZL samo. Ne le, da kolikor vem nima prav nobenih dejstev/podatkov za podkrepitev svojih predlogov, še do nedavnega je kolikor vem velikokrat kar v samem matematičnem in kvantitativnem razmišljanju videla “neoliberalnega sovraga”. Brez zamere, niste torej ravno pravi za takšne komentarje… V stripku torej samo zamenjajte besedo “the first economist” z “the first socialist”, žal sta kar obe resnični…

Sam bom rekel pa samo eno stvar: bojim se, da nas v kratkem čaka grenko soočenje, kako smo se ponovno pustili nategniti na volitvah. Ne le ob ZL, tudi ob poslancih SMC, DeSUS, SD in drugih ne morem drugega, kot reči: “o moj bog…”.

In da, volil sem, in volil sem SMC. Tudi zame torej velja, da sem se najverjetneje nategnil.

  • Share/Bookmark

17.08.2014

Še nekaj kratkih

Na hitro:

1) Obsežnejši zapiski princetonskih predavanj o visokodimenzionalni statistiki prof. Ramona van Handela so dostopni tukaj.

2) Mnogi ste se že srečali s programiranjem v prosto dostopnem statističnem paketu R, ki je verjetno ena boljših stvari, ki se je statistikom in ekonometrikom zgodila v zadnjem desetletju in pol. Ker je paket precej svojsko napisan, prav pride vedeti, kako in s katerimi ukazi lahko v njem navigiramo. Več o tem najdete v temle prispevku.

3) Primer uporabe multivariatne analize (metode glavnih komponent in skupinjenja) v R na primeru letalstva pa najdete tukaj.

  • Share/Bookmark

O rudarjenju podatkov

Še ena na temo statistike v visokodimenzionalnih okoljih, dober članek na Vox.Eu Jennifer L. Castle in ekonometrične legende Davida F. Hendryja.

Kratek izsek:
“While ‘fool’s gold’ (iron pyrites) can be found by mining, most mining is a productive activity. Similarly, when properly conducted, so-called ‘data mining’ is no exception –despite many claims to the contrary. Early criticisms, such as the review of Tinbergen (1940) by Friedman (1940) for selecting his equations “because they yield high coefficients of correlation”, and by Lovell (1983) and Denton (1985) of data mining based on choosing ‘best fitting’ regressions, were clearly correct. It is also possible to undertake what Gilbert (1986) called ‘strong data mining’, whereby an investigator tries hundreds of empirical estimations, and reports the one she or he ‘prefers’ – even when such results are contradicted by others that were found. As Leamer (1983) expressed the matter: “The econometric art as it is practiced at the computer terminal involves fitting many, perhaps thousands, of statistical models. One or several that the researcher finds pleasing are selected for reporting purposes”. That an activity can be done badly does not entail that all approaches are bad, as stressed by Hoover and Perez (1999), Campos and Ericsson (1999), and Spanos (2000) – driving with your eyes closed is a bad idea, but most car journeys are safe.”

  • Share/Bookmark

16.08.2014

Petkova noč: John Scofield

Pred leti sem tukajle objavljal tudi nekakšne glasbene “potpurije” v spomin na mojo mladostniško jazzovsko glasbeno pot. Naj bo torej tale počitniški večer namenjen eni legend, ki smo jih v mojih jazzovskih letih kitaristi največ preigravali (mislim pa, da je tako še danes): Johnu Scofieldu.

(Vir: http://differentmusic.net/john-scofield-trio-someone-watch/)

Legendarni kitarist je verjetno prvič prišel v ospredje javnosti kot eden tistih, katerih imena je v svojih poznih letih s povabili na svoje plošče v ospredje javnosti spravljal Miles Davis. Med kitaristi sta bila takšna zagotovo še John McLaughlin in Mike Stern.

John je kasneje in kmalu naredil samostojno kariero s prek 40 izdanimi lastnimi ploščami in neštetimi “koprodukcijami”. V letu 1998 je prejel tudi nagrado Milesa Davisa z enega osrednjih jazzovskih festivalov v švicarskem Montreuxu. Njegovo ime je postalo tako rekoč sinonim za kitarski jazz-fusion z rockovskimi, bluesovskimi in funkovskimi elementi. Nič čudnega, če so mnogi v devedesetih letih ugotavljali, da tako rekoč vsak jazzovski kitarist tega obdobja tako ali drugače “zveni kot Sco”.

Še majhna osebna anekdota. Ko sem se v devetdesetih v avstrijskem Viktringu udeležil delavnice jazz kitare pri avstrijskem magu Wolfgangu Muthspielu, je skoraj vsak, ki je res dobro odigral svoj kitarski del dobil pohvalo: “you sound almost like Sco”. Poleg Scofielda in še nekaterih je ravno Muthspiel zagotovo eno od kitarskih imen, ki jih sam najbolj cenim in je imel na moj takratni glasbeni razvoj in kasnejši okus in razmišljanje v glasbi zagotovo največji vpliv.

Naj več govori glasba. Najprej dve skladbi iz Scofieldovega zgodnjega obdobja, ki sta bili tudi na rednem repertoarju jazz skupine, ki sem jo takrat vodil. Obe skladbi sta s Scofieldove plošče Still Warm, ki sem jo takrat (poleg plošč Pata Methenyja, Mikea Sterna, Billa Frisella, Ralpha Townerja in zasedbe Oregon, Egberta Gismontija in drugih) vrtel na walkmanu ali radiu dobesedno cel dan, vsak dan.

YouTube slika preogleda

John Scofield: Techno (album: Still Warm, 1985)

YouTube slika preogleda

John Scofield: Rule of Thumb (album: Still Warm, 1985)

Sledi skladba iz sodelovanja z Miles Davisom, izbral sem verjetno najbolj znano, priredbo Time After Time:

YouTube slika preogleda

Miles Davis: Time After Time (album: You’re Under Arrest, 1985)

Sledi odlična, nekoliko ostrejša naslovna skladba albuma Blue Matter:

YouTube slika preogleda

John Scofield: Blue Matter (album: Blue Matter, 1986)

Scofield je v času mojega glasbenega dela ogromno ustvarjal v svojem kvartetu z Joejem Lovanom na saksofonu, pokojnim Dennisom Irwinom na basu in Billom Stewartom na bobnih. Plod tega je bila vrsta plošč in predvsem nepozabnih živih nastopov. Ko sem jih sam poslušal v Istanbulu v času udeležbe na matematični olimpijadi 1993 sem si posebej zapomnil majhen, malce nenavaden dogodek, ko se je Scofieldu strgala struna med solom na koncertu, na kar je čisto mirno dokončal solo kar brez nje in jo potem v manj kot pol minute (med skladbo) po hitrem postopku “v živo” zamenjal in uglasil, kar je seveda poželo glasne ovacije publike.

Iz tega njegovega, morda najboljšega obdobja, torej skladba Meant to Be:

YouTube slika preogleda

John Scofield Quartet: Meant to Be (album: Meant to Be, 1991)

John je bil znan po številnih sodelovanjih, zelo znani sta bili predvsem s kolegoma/rivaloma Patom Methenyjem in Billom Frisellom. Morda najlepša plošča je nastala v sodelovanju s slednjim, Grace Under Pressure. Z nje je tudi prelepa balada Pat Me, ki jo sicer že vrsto let iščem v video obliki na internetu, pa je ne najdem. Zato naj bo dovolj tale priredba bolgarskega kitarista Plamena Petrova. Dodati velja še, da “kontraskladbo” tej skladbi, odlično bluesovsko Bill Me z istega albuma, najdete tukaj, v Grooveshark verziji.

YouTube slika preogleda

Plamen Petrov: Pat Me (priredba skladbe z albuma John Scofield: Grace Under Pressure, 1992)

Seveda pa glede sodelovanj ne gre tudi mimo legendarne reggaejevske The Red One z Patom Methenyjem:

YouTube slika preogleda

Pat Metheny & John Scofield: The Red One (album: I Can See Your House From Here, 1994)

Iz kasnejših Scojevih let pa še tri skladbe. Sco je zelo veliko sodeloval z jazzovskim triom Medeski, Martin & Wood, znan je predvsem album A Go Go (skladbo Hottentot sem že linkal nekaj tednov nazaj), ki mu nekateri pravijo tudi biblija jazz-funka, z naslednjo naslovno skladbo:

YouTube slika preogleda

John Scofield & MMW: A Go Go (album: A Go Go, 1998)

V zadnjih letih Sco veliko eksperimentira tudi z drugimi urbanimi ritmi, primer tega je album Überjam, katerega naslovna skladba je spodaj.

YouTube slika preogleda

John Scofield: Überjam (album: Überjam, 2002)

Zaključil pa bom z njegovo solo izvedbo standarda My Ideal, za miren preostanek petkove noči in sobotnega jutra. Uživajte.

YouTube slika preogleda

John Scofield: My Ideal

P.S.: Še majhen sobotni dostavek. Tako na Scoja kot na Pata Methenyja je močno vplival tudi legendarni newyorški basist Steve Swallow. In počitniški zapis ne bi bil popoln brez skladbe, ki je bila plod zelo zgodnjega sodelovanja Johna in Stevea in ki smo jo prav tako preigravali na špilih in vajah v devetdesetih: Holidays. Seveda pa smo v tem kratkem zapisu zagotovo izpustili še mnoge druge skladbe, ki bi se komu zdele celo pomembnejše za Scojevo glasbeno “zapuščino”.

YouTube slika preogleda

John Scofield Trio: Holidays (album: Out Like a Light, 1981)

  • Share/Bookmark

15.08.2014

“Revija za empirično prerokovanje” in Slovenija

Tole stališče je nedavno soglasno sprejelo uredništvo revije Journal of Evidence-Based Haruspicy (poslovenjeno nekako Revija za na-podatkih-temelječe prerokovanje):

“We wish to endorse, in its entirety and without reservation, the recent essay “On the Emptiness of Failed Replications” by Jason Mitchell. In Prof. Mitchell’s field, scientists attempt to detect subtle patterns of association between faint environmental cues and measured behaviors, or to relate remote proxies for neural activity to differences in stimuli or psychological constructs. We are entirely persuaded by his arguments that the experimental procedures needed in these fields are so delicate and so tacit that failures to replicate published findings must indicate incompetence on the part of the replicators, rather than the original report being due to improper experimental technique or statistical fluctuations. While the specific obstacles to transmitting experimental procedures for social priming or functional magnetic resonance imaging are not the same as those for reading the future from the conformation and coloration of the liver of a sacrificed sheep, goat, or other bovid, we see no reason why Prof. Mitchell’s arguments are not at least as applicable to the latter as to the former. Instructions to referees for JEBH will accordingly be modified to enjoin them to treat reports of failures to replicate published findings as “without scientific value”, starting immediately. We hope by these means to ensure that the field of haruspicy, and perhaps even all of the mantic sciences, is spared the painful and unprofitable controversies over replication which have so distracted our colleagues in psychology.”

Verjetno nič posebnega, če ne bi tako spominjalo na stališča bom rekel kar precejšnjega dela slovenskega družboslovja, ko je govora o preverjanju njihovih umotvorov na konkretnih podatkih in predvsem z bolj oprijemljivo in metodološko težjo statistično analizo. Vsaka podobnost v imenovanjih torej žal ni zgolj naključna…

S temle verjetno zaključujem današnjo hiperaktivnost na tem blogu. O zgornjem stališču piše tudi Cosma Shalizi.

  • Share/Bookmark

O sreči in znanju v pokru

Zapisano pod: Statistika — andee - 15.08.2014
Tagi: ,

Verjetno zanimiv blogerski zapis Andrewa Gelmana za vse spletne in reallife pokeraše: http://andrewgelman.com/2014/08/14/luck-vs-skill-poker/#more-23431.

Kratek izsek iz besedila:
“For a couple years in grad school a group of us had a regular Thursday-night poker game, nickel-dime-quarter with a maximum bet of $2, I believe it was. I did ok, it wasn’t hard to be a steady winner by just laying low most of the time and raising when I had a good hand. Since then I’ve played only very rarely (one time was a memorable experience with some journalists and a foul-mouthed old-school politico—I got out of that one a couple hundred dollars up but with no real desire to return), but I did have a friend who was really good. I played a couple of times with him and some others, and it was like the kind of thing you hear about: he seemed to be able to tell what cards I was holding. Don’t get me wrong here, I’m not saying that he was cheating or that it was uncanny or anything, and it’s not like he was taking my money every hand. As always in a limit game, the outcomes had a lot of randomness. But from time to time, it big hands, it really did seem like he was figuring me out. I didn’t think to ask him how he was doing it but I was impressed.

Upon recent reflection, though (many years later), it seems to me that I was slightly missing the point. The key is that my friend didn’t need to “read” me or know what I had; all he needed to do was make the right bets (or, to be more precise, make betting decisions that would perform well on average). He could well have made some educated guesses about my holdings based on my betting patterns (or even my “tells”) and used that updated probability distribution to make more effective betting decisions. The point is that, in many many settings, he doesn’t need to guess my cards; he just needs a reasonable probability distribution (which might be implicit). For example, in some particular situation in a particular hand, perhaps it would be wise for him to fold if he the probability is more than 30% that a particular hole card of mine is an ace. With no information, he’d assess this event as having an (approximate) 2% probability. So do I have that ace? He just needs to judge whether the probability is greater or less than 30%, an assessment that he can do using lots of information available to him. But once he makes that call, if he does it right (as he will, often enough; that’s part of what it means to be a good poker player), it’ll seem to me like he was reading my hand.”

Tisti, ki vas zadeva zanima v bolj poglobljenih statistično-znanstvenih podrobnostih, pa najdete kar nekaj gradiva tukaj.

  • Share/Bookmark
Starejši zapisi »

Blog V krizi smisla tiči misel | Zagotavlja SiOL | O Sistemu |