Statistical toolkit
Hipotézis és erő, intervallum és bootstrap, legkisebb négyzetek és maximum likelihood, Markov-lánc, sorbanállás és Monte Carlo — mind a négy hét közös eszközei, futtatható méréssel.
Statistical toolkit
Hipotézis és erő, intervallum és bootstrap, legkisebb négyzetek és maximum likelihood, Markov-lánc, sorbanállás és Monte Carlo — mind a négy hét közös eszközei, futtatható méréssel.
The semester
Amit a kísérlet előtt kell eldönteni
A p a nullhipotézis MELLETT számolt valószínűség. Nem a hipotézis valószínűsége, és nem a hatás nagysága.
Kezdjük azzal, amit a legtöbbször félreértenek. A próba nem azt bizonyítja, amiben hiszünk: egy ELLENKEZŐ állítást próbál cáfolni. Ez a nullhipotézis, jellemzően az, hogy nincs különbség. A p-érték pedig annak a valószínűsége, hogy HA a nullhipotézis igaz, legalább ekkora eltérést kapnánk. Olvasd el még egyszer a feltételt: a p a nullhipotézis mellett számolt valószínűség, nem a nullhipotézis valószínűsége. A kettő felcserélése a statisztika leggyakoribb hibája.
| a valóságban NINCS hatás | a valóságban VAN hatás | |
|---|---|---|
| a próba riaszt | elsőfajú hiba — valószínűsége α, ezt mi választjuk (szokásosan 0,05) | helyes döntés — valószínűsége 1 − β, ez a statisztikai ERŐ |
| a próba nem riaszt | helyes döntés — valószínűsége 1 − α | másodfajú hiba — valószínűsége β, ezt a mintaméret dönti el |
Négy eset van, és kettő közülük hiba. Ha nincs hatás, de riasztunk: elsőfajú hiba, a valószínűsége alfa — ezt mi választjuk meg, jellemzően öt százalékra. Ha van hatás, de nem vesszük észre: másodfajú hiba, a valószínűsége béta. Ezt NEM választjuk meg: ez a mintaméretből és a hatás nagyságából jön ki. És itt a lényeg: a kettő egymás rovására megy. Ha szigorítod az alfát, a béta nő — hacsak nem növeled a mintát.
Mértékegység nélküli hatásméret, és belőle egyetlen osztással a mintaméret.
A mintaméret képlete egyetlen számból jön: a hatásméretből. Ez a keresett különbség, elosztva a szórással — vagyis mértékegység nélküli. A mi példánkban három tized tonna hektáronként a keresett különbség, a parcellák szórása fél tonna: a hatásméret nulla egész hat. Az ökölszabály tizenhat per d négyzet, ez negyvennégy parcellát ad kezelésenként. A demó szimulációval negyvenhatot mér. A két szám közti különbség nem hiba: az ökölszabály közelítés, és ezt a dián is ki kell mondani.
A `stat-power` demó beállítása: 0,30 t/ha keresett különbség, 0,50 t/ha szórás.
n=16 * 0,5^2 / 0,3^2=44,44parcella / kezelés
Húzd a csúszkát, és nézd, mi mozdul.
Az ábra betöltése…
Itt a teljes görbe. A vízszintes tengelyen a kezelésenkénti parcellaszám, a függőlegesen az esély, hogy a valódi különbséget meglátjuk. Nézd meg az alakját: lassan indul, aztán meredeken emelkedik, aztán ellaposodik. A nyolcvan százalékos vonal negyvenhat parcellánál metszi. És vedd észre a görbe jobb végét: száz parcella fölött már alig nyerünk — ott a pénzt nem több parcellára, hanem pontosabb mérésre érdemes költeni, mert az a szórást csökkenti, és a szórás a hatásméret nevezőjében van.
Egy kísérlet nem talált szignifikáns különbséget két kezelés között. Nyolc parcella volt kezelésenként. Mit írsz a jelentésbe?
Egy kísérlet nem talált szignifikáns különbséget két kezelés között. Nyolc parcella volt kezelésenként. Mit írsz a jelentésbe?
A cella betöltése…
A cella itt fut, a böngészőben. Az érdekes csavar a keresett hatás: állítsd nulla egész tizenötre, és nézd meg, hányszorosára nő a szükséges parcellaszám. A képlet négyszereződést mond; a szimuláció ezt vagy megerősíti, vagy nem — és ha nem, azt is meg kell tudni magyarázni.
Az első blokk fogalmai. Ezek közül a statisztikai erő az, amelyik a gyakorlatban a legtöbbször hiányzik egy jelentésből.
Amit a névleges szint ígér, és amit betart
A végpontok a véletlenek, nem a μ. Az ígéret ezért az eljárásra szól, nem erre az egy intervallumra.
A képlet ismerős: az átlag plusz-mínusz egy kvantilis a standard hibán. A kvantilis nem a normálisból jön, hanem a t-eloszlásból, mert a szórást is a mintából becsüljük — kis mintán ez érdemben szélesebb intervallumot ad. De a fontosabb rész a második sor: mi az ÍGÉRET. Az ígéret az ELJÁRÁSRA vonatkozik, nem erre az egy intervallumra. Ha sokszor megismételnénk a mintavételt, az így kapott intervallumok kilencvenöt százaléka fedné a valódi értéket. Erről az egyről nem mond semmit.
Ugyanaz az eljárás, ugyanaz a névleges 95 % — ferde adaton 82,7 %-ot fed le.
A képlet mögött ott áll egy feltevés: hogy a mintaátlag eloszlása normális. A központi határeloszlás-tétel szerint ez nagy mintán igaz — de az agrárgazdasági mennyiségek erősen ferdék, és kis mintán a közelítés még nem áll. A demó ezt meg is méri. Normális adaton a lefedés pontosan a névleges szint: ez a mérés önellenőrzése. Ferde adaton, nyolcas mintán viszont nyolcvankettő egész hét százalék — tizenkét ponttal kevesebb. És ami még rosszabb: a kimaradás szinte teljesen az EGYIK oldalra esik.
Az ábra betöltése…
A teljes mérés. A vízszintes tengelyen a mintaméret, a függőlegesen a valódi lefedés, és a szaggatott vonal a megígért kilencvenöt százalék. A normális adat görbéje végig a vonalon ül — ez mondja meg, hogy a mérés jó. A ferde adaté alulról közelít, és nyolcvanas mintánál is csak kilencvenegy százalékon áll. A tanulság nem az, hogy a konfidenciaintervallum rossz. Az, hogy a névleges szint feltevés — és a feltevés ellenőrizhető.
A cella betöltése…
A cella itt fut. A csavar a sokaság ferdesége: állítsd nulla egész négyre, ami már majdnem szimmetrikus, és nézd meg, mennyivel közelebb kerül a lefedés a névleges kilencvenöt százalékhoz. Ebből megtudod azt, amit egy táblázatból nem lehet: hogy MEKKORA ferdeségtől kezd számítani a dolog.
Újramintavétel a saját mintából. A becslés eloszlásából közvetlenül olvassuk ki a végpontokat.
És mit csinálsz, ha nincs képlet? A medián standard hibájára nincs kényelmes zárt alak. A bootstrap válasza ravaszul egyszerű: ha a minta jól képviseli a sokaságot, akkor a MINTÁBÓL való újramintavétel jól képviseli az újramintavételt a sokaságból. Visszatevéssel veszünk sok új mintát, mindegyiken kiszámoljuk a becslést, és a kapott eloszlás két és fél, illetve kilencvenhét és fél százalékos pontja adja az intervallumot. Se képlet, se eloszlásfeltevés.
A cella betöltése…
Itt a cella. Érdemes végignézni a kódon, mert a bootstrap egész gondolata öt sor: sorsolj indexeket visszatevéssel, számold ki a becslést, ismételd meg kétezerszer, vedd a százalékos pontokat. Nincs benne eloszlásfeltevés, nincs benne képlet — és pontosan ezért használható ott, ahol egyik sincs.
Valódi hatás nélkül is: a futások 48,2 %-ában akad „szignifikáns” eredmény.
És most a harmadik dolog, ami a gyakorlatban a legtöbb kárt okozza. Futtass húsz próbát olyan adaton, ahol EGYETLEN valódi hatás sincs. A demó ezt teszi: húsz kezelés, tizenkét ismétlés, és a generátorban nulla különbség. Az eredmény: a futások negyvennyolc egész két százalékában lesz legalább egy szignifikáns találat. Futásonként átlagosan egy egész huszonkilenc darab. Holm-korrekcióval ez nyolc egész két százalékra esik — ott már a névleges öt százalék közelében vagyunk.
Az ábra betöltése…
A teljes kép. Látszik rajta, hogy a korrekció nem varázslat: a Holm-eljárás egyszerűen szigorúbb küszöböt ad a legkisebb p-értéknek, és lépcsősen enyhít a többinél. Ennek ára van, és ezt ki kell mondani: a korrekció csökkenti az ERŐT. Ha tényleg van hatás, a korrigált próba nehezebben veszi észre. Ezért nem az a jó válasz, hogy mindig korrigálunk, hanem az, hogy előre eldöntjük, hány próbát futtatunk, és melyik kérdés az elsődleges.
A cella betöltése…
Itt a cella. A csavar a próbák száma: állítsd ötvenre, és nézd meg, hova megy a téves riasztás esélye. A képlet egy mínusz nulla egész kilencvenöt az ötvenediken, ami kilencvenkét százalék — a mérés ennél kevesebbet fog adni, és tudod is, miért: a próbák nem függetlenek.
Egy kísérletben tizenkét mutatót mértél, és egy lett szignifikáns, p = 0,03-mal. Mit írsz a jelentésbe?
Egy kísérletben tizenkét mutatót mértél, és egy lett szignifikáns, p = 0,03-mal. Mit írsz a jelentésbe?
A második blokk fogalmai. Ezek közül a konfidenciaintervallum az, amelyiknek a jelentését a leggyakrabban mondják rosszul — beleértve a tankönyveket is.
Két becslési elv, és egy csapda, ami mindkettőt megtréfálja
Kvadratikus veszteség, tehát zárt alak. Nem iteráció — egyetlen egyenletrendszer.
A lineáris regresszió nem iteratív eljárás: zárt alakja van. Keressük azt az együttható-vektort, amely mellett a maradékok négyzetösszege a legkisebb — és mivel ez egy kvadratikus függvény, a derivált nullhelye egyetlen lineáris egyenletrendszert ad. Ez a normálegyenlet. Figyeld meg, hogy ez ugyanaz a gondolat, mint az átlagnál: az átlag is a négyzetes eltérés minimumhelye. A lineáris regresszió a FELTÉTELES átlag ugyanezen elv szerint.
Normális hiba mellett a maximum likelihood ÉS a legkisebb négyzetek ugyanaz az eljárás.
A legkisebb négyzetek jól működik, de honnan tudjuk, hogy éppen a NÉGYZETES hibát kell minimalizálni? A válasz a maximum likelihood elvből jön. Azt a paramétert választjuk, amely mellett a MEGFIGYELT adat a legvalószínűbb. A gyakorlatban nem a szorzatot maximalizáljuk, hanem a logaritmusát, mert a szorzatból összeg lesz — ugyanaz a trükk, mint a multiplikatív idősorfelbontásnál. És most nézd meg a harmadik sort: ha a hibát normálisnak tételezzük fel, a log-likelihood maximalizálása PONTOSAN a négyzetösszeg minimalizálása. A legkisebb négyzetek tehát nem külön módszer, hanem egy speciális eset.
Az ábra betöltése…
És itt a csapda, képben. Kilenc tábla, mindegyik más színnel. Nézd meg először a színes felhőket külön-külön: mindegyikben FELFELÉ megy a kapcsolat — több nitrogén, nagyobb hozam, és ez mind a kilencben így van. Most nézd az egészet együtt: a szürke vonal LEFELÉ megy. Az ok egyszerű, és nem statisztikai: a jobb táblák eleve kevesebb nitrogént kapnak, mert nincs rá szükségük. Az összevonás ezt a TÁBLAKÖZI különbséget méri, nem a nitrogén hatását.
Az összevont meredekség súlyozott keverék. Ha a táblaközi szórás nagy, az viszi a döntést.
A paradoxon nem rejtély: felírható. Az összevont meredekség a TÁBLÁN BELÜLI és a TÁBLÁK KÖZÖTTI eltérésekből együtt számol, és a kettő súlyozott keveréke. Ha a táblák között ellentétes irányú a kapcsolat — mert a jó táblák kevesebb nitrogént kapnak —, és a táblaközi szórás nagyobb a táblán belülinél, akkor a keverék előjele a táblaköziét veszi fel. Ebből következik a gyógymód is: a csoportot bele kell venni a modellbe, akár rögzített, akár véletlen hatásként.
A cella betöltése…
A cella itt fut. Érdemes átírni a generátorban a táblaközi különbség nagyságát: ha a táblák közel egyforma szinten állnak, a paradoxon eltűnik, és az összevont becslés is jó lesz. Ebből megtudod azt, amit a képlet mond: nem az összevonás a hiba, hanem az, hogy a csoportok szintje együtt mozog a magyarázó változóval.
Két üzemegység adatát összevonva azt kapod, hogy a több öntözés kisebb hozammal jár. Mit teszel elsőként?
Két üzemegység adatát összevonva azt kapod, hogy a több öntözés kisebb hozammal jár. Mit teszel elsőként?
A harmadik blokk fogalmai. A Simpson-paradoxon az, amelyik agráradaton a leggyakrabban jön elő — és a legkönnyebben észrevehető, ha az ember egyszer megnézi csoportonként.
Amikor nem a mintából következtetünk, hanem modellt építünk
A holnap csak a mától függ. Ebből egyetlen sajátvektor megadja a hosszú távú arányokat.
A tábla járhatósága három állapot: száraz, nedves, ázott. A Markov-feltevés az, hogy a holnapi állapot CSAK a maitól függ, a korábbi úttól nem. Ez erős feltevés, cserébe egyetlen mátrix leírja az egészet. A második képlet a lényeg: van egy olyan eloszlás, amit az átmenet már nem változtat meg. Ez a stacionárius eloszlás, és ez a mátrix egyik sajátvektora. Belőle közvetlenül kijön, hogy az idény hány százalékában járható a tábla — szimuláció nélkül.
A cella betöltése…
A cella itt fut. A csavar a napok száma: állítsd kétezerre a kétszázezer helyett, és nézd meg, mennyire tér el a szimulált arány a sajátvektorból számolt stacionárius eloszlástól. Ebből a saját szemeddel látod, hogy a hosszú táv nem metafora, hanem mennyiség — és hogy körülbelül hány nap kell hozzá.
Az (1 − ρ) a nevezőben van. Ezért robban a várakozás a telítettség közelében.
Egy szárítóberendezés, véletlen érkezéssel és véletlen kiszolgálási idővel. A kihasználtság a beérkezés és a kiszolgálás aránya. Nézd meg, hol áll a kihasználtság a képletben: a NEVEZŐBEN, egy mínusz rhóként. Vagyis ahogy a kihasználtság az egyhez közelít, a várakozás nem arányosan nő, hanem elszáll. Nyolcvan százalékról kilencvenre lépni nem tizenkét százalékos romlás: a sorhossz három egész négyről nyolc egész négyre megy.
A `stoch-queue` demó elméleti görbéje: M/M/1, egyetlen kiszolgáló.
Lq=0,5^2 / (1 - 0,5)=0,5várakozó
Húzd a csúszkát, és nézd, mi mozdul.
Az ábra betöltése…
Itt a teljes kép. Ötven százalékról kilencvenre a terhelés egy egész nyolcszorosára nő — a várakozás tizenhat egész egyszeresére. Ez az arány a legfontosabb szám ezen a dián. Ha egy üzemben azt halljuk, hogy „a gépek nyolcvan százalékon mennek, tegyünk rá még tíz százalék munkát”, akkor ez a görbe az, amit oda kell tenni a döntés mellé.
A cella betöltése…
A cella itt fut. A csavar az eseményszám: állítsd ötezerre, és nézd meg, mennyire csúszik el a szimuláció az elméleti értéktől — különösen a magas kihasználtságnál. Ebből a saját szemeddel látod azt, amit az előző blokkban a standard hibáról tanultunk: a becslés bizonytalansága nem egyenletes, hanem ott a legnagyobb, ahol a rendszer a legérzékenyebb.
Nemlineáris képletbe nem az átlagot helyettesítjük. A bemenetet sorsoljuk, és a kimenetet nézzük meg.
És a legutolsó eszköz, ami egyben a leggyakrabban elkövetett hiba javítása. Egy fedezeti számításban a hozam, az ár és a költség is bizonytalan. A szokásos eljárás az, hogy mindegyiknek vesszük az ÁTLAGÁT, és behelyettesítjük a képletbe. Ez akkor lenne helyes, ha a képlet lineáris volna. De nem az — és nemlineáris f esetén az átlag képe nem egyenlő a kép átlagával. Ez a Jensen-egyenlőtlenség. A Monte Carlo ezt kerüli meg: nem az átlagot helyettesíti be, hanem sokszor kisorsolja a bemeneteket, és a KIMENET eloszlását nézi.
Az ábra betöltése…
Itt a kimenet teljes eloszlása. Ez az, amit egy behelyettesítéses számítás egyetlen számra présel össze. Nézd meg a bal farkat: az ötödik százalékos pont mínusz kilencvenötezer forint hektáronként. Ez az a szám, ami egy hitelkérelemben vagy egy biztosítási döntésben számít — és a négy egész tizenkettes átlagból nem lehet kiolvasni. A Monte Carlo nem pontosabb átlagot ad. MÁST ad: eloszlást, ahol eddig egy szám volt.
A cella betöltése…
Az utolsó cella. A csavar az ár bizonytalansága: duplázd meg, és nézd meg, mi történik. Két dolgot figyelj. Az egyik: a behelyettesítéses szám NEM változik, mert az csak az átlagot használja. A másik: a veszteséges évek aránya nő. Ez a kettő együtt mutatja meg, mit hallgat el a behelyettesítés.
Egy beruházási számításban minden bemenet átlagát behelyettesítetted, és pozitív fedezet jött ki. Mit NEM tudsz ebből?
Egy beruházási számításban minden bemenet átlagát behelyettesítetted, és pozitív fedezet jött ki. Mit NEM tudsz ebből?
| eszköz | melyik kérdésre válaszol | mire támaszkodik |
|---|---|---|
| hipotézisvizsgálat | akkora-e az eltérés, amekkora véletlenül ritkán jönne ki | a nullhipotézis melletti eloszlás ismeretére |
| erőszámítás | hány megfigyelés kell, hogy egy létező hatást meglássunk | a hatásméret előzetes becslésére |
| konfidenciaintervallum | milyen tágan ismerjük a becsült értéket | a mintaátlag közelítő normalitására |
| bootstrap | ugyanez, ha nincs kényelmes képlet | arra, hogy a minta jól képviseli a sokaságot |
| legkisebb négyzetek | mekkora a hatás, ha a kapcsolat lineáris | normális hibára — különben más veszteség kell |
| maximum likelihood | mekkora a paraméter tetszőleges eloszlásnál | a HELYES eloszláscsalád megválasztására |
| Markov-lánc | hosszú távon az idő hány százaléka melyik állapot | arra, hogy a jövő csak a jelentől függ |
| sorbanállási modell | mennyit kell várni adott kihasználtság mellett | az érkezés és a kiszolgálás eloszlására |
| Monte Carlo | milyen a KIMENET eloszlása, nem csak az átlaga | a bemenetek eloszlásának ismeretére |
Az egész lecke egy táblázatban, és a harmadik oszlop itt is a fontos. Minden eszköznek van egy feltevése, és az eszköz pontosan addig érvényes, ameddig a feltevés áll. Ha ezt a táblázatot a saját feladatodra ki tudod tölteni, akkor tudod, melyik eszközt mikor NEM szabad elővenni.
Ennyi az eszköztár. Ezek a fogalmak a négy hét mindegyikében előkerülnek — a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik futtatható mérés.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| M/M/1, M/M | Markov-érkezés, Markov-kiszolgálás, 1 kiszolgáló | a sorbanállási modellek Kendall-jelölése: mindkét idő exponenciális, és egy erőforrás van |
| FDR | False Discovery Rate — hamis találati arány | a TALÁLATOK között a tévesek várható aránya; más kérdés, mint hogy legyen-e egyáltalán téves riasztás |
| CHT | központi határeloszlás-tétel | a mintaátlag eloszlása ferde sokaságból is a normálishoz tart, és a ferdesége 1/√n szerint tűnik el |
| SE | Standard Error — standard hiba | a BECSLÉS szórása, σ/√n; nem azonos az adat szórásával |
| OLS | Ordinary Least Squares — legkisebb négyzetek | a négyzetes maradékot minimalizáló illesztés, zárt alakkal |
| MLE | Maximum Likelihood Estimation | azt a paramétert választjuk, amely mellett a megfigyelt adat a legvalószínűbb |
Minden diasor végén áll egy ilyen tábla. Nem formaság: egy feloldatlan rövidítés a hallgatót kizárja a mondatból, és a következő húsz percben már nem tud visszakapcsolódni. Ez a lecke ebből keveset használ, de ami van, az sűrű.
Az ábra betöltése…
Ahogy minden diasor végén: itt vannak a használt típusok egymás mellett, ugyanazon az öt értéken. Ebben a leckében három szerepel. Az oszlop a beállítások összevetésére — mintaméret, eljárás, állapot. A vonal ott, ahol egy folytonos paraméter mentén nézünk végig valamit: a kihasználtság vagy a mintaméret. A harmadik panel a demóábra: az eloszlások és a szimulációs görbék olyan rajzot kívánnak, amit a dia saját rajzolója nem tud.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | folytonos paraméter menti alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| demóábra | amit a keretrendszer rajza nem tud: eloszlás, log tengely, hőtérkép | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
És a táblázat. Ebben a leckében szándékosan kevés típus van, és ennek oka van: az eszköztár állításai majdnem mind összevetések — ez az eljárás kontra az az eljárás, ez a mintaméret kontra az a mintaméret. Oda az oszlop való. A vonal ott jelenik meg, ahol a köztes értékekről is állítunk valamit: a sorhossz görbéjén. A középső oszlop itt is a fontos — és a jobb oldali még inkább.