Lecture 0
Statistical toolkit
Hipotézis és erő, intervallum és bootstrap, legkisebb négyzetek és maximum likelihood, Markov-lánc, sorbanállás és Monte Carlo — mind a négy hét közös eszközei, futtatható méréssel.
Start with AikoDeck45 slides · 90 min
01
Hipotézis, hiba, erő
Amit a kísérlet előtt kell eldönteni
Ez a lecke eszköztár, nem hét. Azokat az eljárásokat gyűjti össze, amelyeket a négy hét mindegyike használ, és amelyekre külön-külön sosem jut idő. Az első blokk a legfontosabbal kezd: mekkora kísérlet kell ahhoz, hogy egyáltalán észrevegyünk valamit. Ez a kérdés a kísérlet ELŐTT dől el, és aki utólag teszi fel, az általában már elköltötte a pénzt.
02
A nullhipotézis és a p-érték
A p a nullhipotézis MELLETT számolt valószínűség. Nem a hipotézis valószínűsége, és nem a hatás nagysága.
Kezdjük azzal, amit a legtöbbször félreértenek. A próba nem azt bizonyítja, amiben hiszünk: egy ELLENKEZŐ állítást próbál cáfolni. Ez a nullhipotézis, jellemzően az, hogy nincs különbség. A p-érték pedig annak a valószínűsége, hogy HA a nullhipotézis igaz, legalább ekkora eltérést kapnánk. Olvasd el még egyszer a feltételt: a p a nullhipotézis mellett számolt valószínűség, nem a nullhipotézis valószínűsége. A kettő felcserélése a statisztika leggyakoribb hibája.
03
A kétféle hiba
| a valóságban NINCS hatás | a valóságban VAN hatás · a próba riaszt | elsőfajú hiba — valószínűsége α, ezt mi választjuk (szokásosan 0,05) | helyes döntés — valószínűsége 1 − β, ez a statisztikai ERŐ · a próba nem riaszt | helyes döntés — valószínűsége 1 − α | másodfajú hiba — valószínűsége β, ezt a mintaméret dönti el
Négy eset van, és kettő közülük hiba. Ha nincs hatás, de riasztunk: elsőfajú hiba, a valószínűsége alfa — ezt mi választjuk meg, jellemzően öt százalékra. Ha van hatás, de nem vesszük észre: másodfajú hiba, a valószínűsége béta. Ezt NEM választjuk meg: ez a mintaméretből és a hatás nagyságából jön ki. És itt a lényeg: a kettő egymás rovására megy. Ha szigorítod az alfát, a béta nő — hacsak nem növeled a mintát.
04
A hatásméret és a szükséges mintaméret
Mértékegység nélküli hatásméret, és belőle egyetlen osztással a mintaméret.
A mintaméret képlete egyetlen számból jön: a hatásméretből. Ez a keresett különbség, elosztva a szórással — vagyis mértékegység nélküli. A mi példánkban három tized tonna hektáronként a keresett különbség, a parcellák szórása fél tonna: a hatásméret nulla egész hat. Az ökölszabály tizenhat per d négyzet, ez negyvennégy parcellát ad kezelésenként. A demó szimulációval negyvenhatot mér. A két szám közti különbség nem hiba: az ökölszabály közelítés, és ezt a dián is ki kell mondani.
05
Számold ki: mekkora kísérlet kell
A `stat-power` demó beállítása: 0,30 t/ha keresett különbség, 0,50 t/ha szórás.
Húzd a csúszkákat. Két szám kell: mekkora különbséget akarsz észrevenni, és mekkora a parcellák szórása. A kettő hányadosa a hatásméret, és abból jön a mintaszám. Az alapbeállítás a demónké: három tized tonna különbség, fél tonna szórás — negyvennégy parcella kezelésenként. Most told a keresett különbséget a felére. Nem duplázódik a szükséges parcellaszám, hanem NÉGYSZEREZŐDIK, mert a d a nevezőben négyzeten áll. Ez az a dia, amit érdemes a kísérlettervezés előtt elővenni.
06
Az erőgörbe, megmérve
A `stat-power` demó ábrája: az erő a kezelésenkénti parcellaszám függvényében.
Itt a teljes görbe. A vízszintes tengelyen a kezelésenkénti parcellaszám, a függőlegesen az esély, hogy a valódi különbséget meglátjuk. Nézd meg az alakját: lassan indul, aztán meredeken emelkedik, aztán ellaposodik. A nyolcvan százalékos vonal negyvenhat parcellánál metszi. És vedd észre a görbe jobb végét: száz parcella fölött már alig nyerünk — ott a pénzt nem több parcellára, hanem pontosabb mérésre érdemes költeni, mert az a szórást csökkenti, és a szórás a hatásméret nevezőjében van.
07
Kérdés
Nyolc parcella, nem szignifikáns eredmény. Mi a helyes megfogalmazás?
Egy kísérlet nem talált szignifikáns különbséget két kezelés között. Nyolc parcella volt kezelésenként. Mit írsz a jelentésbe?
Question
- 1. A két kezelés között nincs különbség.
- 2. Ez a kísérlet nem volt alkalmas a 0,3 t/ha-s különbség kimutatására: az ereje kb. 20 %.
- 3. A különbség kisebb, mint 0,3 t/ha.
Az első a másodfajú hibát hallgatja el: a „nincs különbség” állításhoz erő kell, és nyolc parcellánál az erő húsz százalék körül van. A harmadik pedig olyat állít, amit a próba nem mért meg — a nem szignifikáns eredmény nem ad felső korlátot a hatásra. A helyes jelentés kimondja az erőt, és ezzel a kérdést nyitva hagyja.
08
Futtasd le magad
A `stat-power` cellája: erőgörbe, szükséges mintaméret, és az ökölszabály ellenőrzése.
A cella itt fut, a böngészőben. Az érdekes csavar a keresett hatás: állítsd nulla egész tizenötre, és nézd meg, hányszorosára nő a szükséges parcellaszám. A képlet négyszereződést mond; a szimuláció ezt vagy megerősíti, vagy nem — és ha nem, azt is meg kell tudni magyarázni.
09
A rész fogalmai
Nullhipotézis · p-érték · Szignifikanciaszint · Elsőfajú és másodfajú hiba · Statisztikai erő · Hatásméret
Az első blokk fogalmai. Ezek közül a statisztikai erő az, amelyik a gyakorlatban a legtöbbször hiányzik egy jelentésből.
10
Intervallum, bootstrap, sok próba
Amit a névleges szint ígér, és amit betart
A második blokk arról szól, mit ígér egy intervallum, és mennyit tart be belőle. A rövid válasz az, hogy kevesebbet, mint hinnénk — és hogy ez megmérhető. A blokk végén pedig arról lesz szó, mi történik, ha nem egy próbát futtatunk, hanem húszat.
11
A konfidenciaintervallum — és mit ígér pontosan
A végpontok a véletlenek, nem a μ. Az ígéret ezért az eljárásra szól, nem erre az egy intervallumra.
A képlet ismerős: az átlag plusz-mínusz egy kvantilis a standard hibán. A kvantilis nem a normálisból jön, hanem a t-eloszlásból, mert a szórást is a mintából becsüljük — kis mintán ez érdemben szélesebb intervallumot ad. De a fontosabb rész a második sor: mi az ÍGÉRET. Az ígéret az ELJÁRÁSRA vonatkozik, nem erre az egy intervallumra. Ha sokszor megismételnénk a mintavételt, az így kapott intervallumok kilencvenöt százaléka fedné a valódi értéket. Erről az egyről nem mond semmit.
12
A névleges szint feltevés, nem garancia
Ugyanaz az eljárás, ugyanaz a névleges 95 % — ferde adaton 82,7 %-ot fed le.
A képlet mögött ott áll egy feltevés: hogy a mintaátlag eloszlása normális. A központi határeloszlás-tétel szerint ez nagy mintán igaz — de az agrárgazdasági mennyiségek erősen ferdék, és kis mintán a közelítés még nem áll. A demó ezt meg is méri. Normális adaton a lefedés pontosan a névleges szint: ez a mérés önellenőrzése. Ferde adaton, nyolcas mintán viszont nyolcvankettő egész hét százalék — tizenkét ponttal kevesebb. És ami még rosszabb: a kimaradás szinte teljesen az EGYIK oldalra esik.
13
A lefedés, hat mintaméreten
A `stat-coverage` demó ábrája: normális és erősen ferde sokaság, hat mintaméreten.
A teljes mérés. A vízszintes tengelyen a mintaméret, a függőlegesen a valódi lefedés, és a szaggatott vonal a megígért kilencvenöt százalék. A normális adat görbéje végig a vonalon ül — ez mondja meg, hogy a mérés jó. A ferde adaté alulról közelít, és nyolcvanas mintánál is csak kilencvenegy százalékon áll. A tanulság nem az, hogy a konfidenciaintervallum rossz. Az, hogy a névleges szint feltevés — és a feltevés ellenőrizhető.
14
A lefedés futtatva
A `stat-coverage` cellája: normális és ferde sokaság, hat mintaméreten, húszezer ismétléssel.
A cella itt fut. A csavar a sokaság ferdesége: állítsd nulla egész négyre, ami már majdnem szimmetrikus, és nézd meg, mennyivel közelebb kerül a lefedés a névleges kilencvenöt százalékhoz. Ebből megtudod azt, amit egy táblázatból nem lehet: hogy MEKKORA ferdeségtől kezd számítani a dolog.
15
Bootstrap: intervallum képlet nélkül
Újramintavétel a saját mintából. A becslés eloszlásából közvetlenül olvassuk ki a végpontokat.
És mit csinálsz, ha nincs képlet? A medián standard hibájára nincs kényelmes zárt alak. A bootstrap válasza ravaszul egyszerű: ha a minta jól képviseli a sokaságot, akkor a MINTÁBÓL való újramintavétel jól képviseli az újramintavételt a sokaságból. Visszatevéssel veszünk sok új mintát, mindegyiken kiszámoljuk a becslést, és a kapott eloszlás két és fél, illetve kilencvenhét és fél százalékos pontja adja az intervallumot. Se képlet, se eloszlásfeltevés.
16
A bootstrap futtatva
A `stat-bootstrap` cellája: képlet szerinti és bootstrap intervallum, átlagra és mediánra.
Itt a cella. Érdemes végignézni a kódon, mert a bootstrap egész gondolata öt sor: sorsolj indexeket visszatevéssel, számold ki a becslést, ismételd meg kétezerszer, vedd a százalékos pontokat. Nincs benne eloszlásfeltevés, nincs benne képlet — és pontosan ezért használható ott, ahol egyik sincs.
17
Húsz próba, nulla hatás
Valódi hatás nélkül is: a futások 48,2 %-ában akad „szignifikáns” eredmény.
És most a harmadik dolog, ami a gyakorlatban a legtöbb kárt okozza. Futtass húsz próbát olyan adaton, ahol EGYETLEN valódi hatás sincs. A demó ezt teszi: húsz kezelés, tizenkét ismétlés, és a generátorban nulla különbség. Az eredmény: a futások negyvennyolc egész két százalékában lesz legalább egy szignifikáns találat. Futásonként átlagosan egy egész huszonkilenc darab. Holm-korrekcióval ez nyolc egész két százalékra esik — ott már a névleges öt százalék közelében vagyunk.
18
Mit csinál a korrekció
A `stat-multiple` demó ábrája: a téves riasztás gyakorisága korrekcióval és anélkül.
A teljes kép. Látszik rajta, hogy a korrekció nem varázslat: a Holm-eljárás egyszerűen szigorúbb küszöböt ad a legkisebb p-értéknek, és lépcsősen enyhít a többinél. Ennek ára van, és ezt ki kell mondani: a korrekció csökkenti az ERŐT. Ha tényleg van hatás, a korrigált próba nehezebben veszi észre. Ezért nem az a jó válasz, hogy mindig korrigálunk, hanem az, hogy előre eldöntjük, hány próbát futtatunk, és melyik kérdés az elsődleges.
19
A sok próba futtatva
A `stat-multiple` cellája: húsz hatástalan kezelés, négyezer futás, korrekcióval és anélkül.
Itt a cella. A csavar a próbák száma: állítsd ötvenre, és nézd meg, hova megy a téves riasztás esélye. A képlet egy mínusz nulla egész kilencvenöt az ötvenediken, ami kilencvenkét százalék — a mérés ennél kevesebbet fog adni, és tudod is, miért: a próbák nem függetlenek.
20
Kérdés
Tizenkét mutató, egy szignifikáns, p = 0,03. Mit jelentesz?
Egy kísérletben tizenkét mutatót mértél, és egy lett szignifikáns, p = 0,03-mal. Mit írsz a jelentésbe?
Question
- 1. Ez a mutató szignifikánsan különbözik.
- 2. Tizenkét próbából egy szignifikáns p = 0,03-mal; korrekció nélkül ez a véletlentől is elvárható. Külön kísérletben megerősítendő.
- 3. A többi tizenegy mutatónál nincs hatás.
Tizenkét független próbánál 1 − 0,95¹² = 46 % az esélye legalább egy téves riasztásnak, tehát egy darab p = 0,03 önmagában nem hír. A harmadik válasz ugyanazt a hibát követi el, mint az előző blokk kérdésénél: erő nélkül a „nincs hatás” nem állítás. A helyes jelentés kimondja, hány próba futott, és hogy a találat megerősítésre vár.
21
A rész fogalmai
Konfidenciaintervallum · Bootstrap · Többszörös tesztelés · Hamis találati arány
A második blokk fogalmai. Ezek közül a konfidenciaintervallum az, amelyiknek a jelentését a leggyakrabban mondják rosszul — beleértve a tankönyveket is.
22
Összefüggés és modell
Két becslési elv, és egy csapda, ami mindkettőt megtréfálja
A harmadik blokk arról szól, hogyan illesztünk modellt, és mikor hazudik az illesztés. Két eszközt nézünk meg — a legkisebb négyzeteket és a maximum likelihoodot —, aztán egy csapdát, amelyik mindkettőt átveri, és amelyik agráradaton majdnem mindig ott van.
23
A legkisebb négyzetek normálegyenlete
Kvadratikus veszteség, tehát zárt alak. Nem iteráció — egyetlen egyenletrendszer.
A lineáris regresszió nem iteratív eljárás: zárt alakja van. Keressük azt az együttható-vektort, amely mellett a maradékok négyzetösszege a legkisebb — és mivel ez egy kvadratikus függvény, a derivált nullhelye egyetlen lineáris egyenletrendszert ad. Ez a normálegyenlet. Figyeld meg, hogy ez ugyanaz a gondolat, mint az átlagnál: az átlag is a négyzetes eltérés minimumhelye. A lineáris regresszió a FELTÉTELES átlag ugyanezen elv szerint.
24
Maximum likelihood — az általánosabb elv
Normális hiba mellett a maximum likelihood ÉS a legkisebb négyzetek ugyanaz az eljárás.
A legkisebb négyzetek jól működik, de honnan tudjuk, hogy éppen a NÉGYZETES hibát kell minimalizálni? A válasz a maximum likelihood elvből jön. Azt a paramétert választjuk, amely mellett a MEGFIGYELT adat a legvalószínűbb. A gyakorlatban nem a szorzatot maximalizáljuk, hanem a logaritmusát, mert a szorzatból összeg lesz — ugyanaz a trükk, mint a multiplikatív idősorfelbontásnál. És most nézd meg a harmadik sort: ha a hibát normálisnak tételezzük fel, a log-likelihood maximalizálása PONTOSAN a négyzetösszeg minimalizálása. A legkisebb négyzetek tehát nem külön módszer, hanem egy speciális eset.
25
A Simpson-paradoxon, megmérve
A `stat-simpson` demó ábrája: kilenc tábla külön, és ugyanaz összevonva.
És itt a csapda, képben. Kilenc tábla, mindegyik más színnel. Nézd meg először a színes felhőket külön-külön: mindegyikben FELFELÉ megy a kapcsolat — több nitrogén, nagyobb hozam, és ez mind a kilencben így van. Most nézd az egészet együtt: a szürke vonal LEFELÉ megy. Az ok egyszerű, és nem statisztikai: a jobb táblák eleve kevesebb nitrogént kapnak, mert nincs rá szükségük. Az összevonás ezt a TÁBLAKÖZI különbséget méri, nem a nitrogén hatását.
26
Miért fordul meg az előjel
Az összevont meredekség súlyozott keverék. Ha a táblaközi szórás nagy, az viszi a döntést.
A paradoxon nem rejtély: felírható. Az összevont meredekség a TÁBLÁN BELÜLI és a TÁBLÁK KÖZÖTTI eltérésekből együtt számol, és a kettő súlyozott keveréke. Ha a táblák között ellentétes irányú a kapcsolat — mert a jó táblák kevesebb nitrogént kapnak —, és a táblaközi szórás nagyobb a táblán belülinél, akkor a keverék előjele a táblaköziét veszi fel. Ebből következik a gyógymód is: a csoportot bele kell venni a modellbe, akár rögzített, akár véletlen hatásként.
27
Futtasd le magad
A `stat-simpson` cellája: összevont és táblán belüli meredekség, kilenc táblán.
A cella itt fut. Érdemes átírni a generátorban a táblaközi különbség nagyságát: ha a táblák közel egyforma szinten állnak, a paradoxon eltűnik, és az összevont becslés is jó lesz. Ebből megtudod azt, amit a képlet mond: nem az összevonás a hiba, hanem az, hogy a csoportok szintje együtt mozog a magyarázó változóval.
28
Kérdés
Összevont adaton az öntözés NEGATÍV hatásúnak látszik. Mi az első lépés?
Két üzemegység adatát összevonva azt kapod, hogy a több öntözés kisebb hozammal jár. Mit teszel elsőként?
Question
- 1. Megnézed ugyanezt üzemegységenként külön, mert a csoportok szintje eltérhet.
- 2. Elveted az öntözést, mert az adat ezt mondja.
- 3. Több adatot gyűjtesz, mert a minta kicsi lehet.
A csoportokon belüli vizsgálat egyetlen ábra, és azonnal eldönti, Simpson-helyzetről van-e szó. A harmadik válasz a leginkább félrevezető: több adat NEM javítja meg az előjelet, mert a hiba nem a mintanagyságból jön, hanem abból, hogy a modell kihagyta a csoportot — a nagyobb minta ugyanazt a rossz előjelet fogja szűkebb intervallummal megerősíteni.
29
A rész fogalmai
Legkisebb négyzetek módszere · Maximum likelihood becslés · Simpson-paradoxon · Lineáris regresszió
A harmadik blokk fogalmai. A Simpson-paradoxon az, amelyik agráradaton a leggyakrabban jön elő — és a legkönnyebben észrevehető, ha az ember egyszer megnézi csoportonként.
30
Véletlen folyamatok és szimuláció
Amikor nem a mintából következtetünk, hanem modellt építünk
Az utolsó blokk. Eddig mintából következtettünk a sokaságra. Most fordítva megyünk: modellt építünk a véletlenre, és a modellből számolunk. Három eszköz, három agrár feladat — és mindhárom ugyanazt a tanulságot adja: ahol a válasz nemlineáris, ott az átlagból nem lehet kiolvasni a viselkedést.
31
Markov-lánc és a stacionárius eloszlás
A holnap csak a mától függ. Ebből egyetlen sajátvektor megadja a hosszú távú arányokat.
A tábla járhatósága három állapot: száraz, nedves, ázott. A Markov-feltevés az, hogy a holnapi állapot CSAK a maitól függ, a korábbi úttól nem. Ez erős feltevés, cserébe egyetlen mátrix leírja az egészet. A második képlet a lényeg: van egy olyan eloszlás, amit az átmenet már nem változtat meg. Ez a stacionárius eloszlás, és ez a mátrix egyik sajátvektora. Belőle közvetlenül kijön, hogy az idény hány százalékában járható a tábla — szimuláció nélkül.
32
A Markov-lánc futtatva
A `stoch-markov` cellája: három állapot, átmenetmátrix, szimulált és stacionárius arányok.
A cella itt fut. A csavar a napok száma: állítsd kétezerre a kétszázezer helyett, és nézd meg, mennyire tér el a szimulált arány a sajátvektorból számolt stacionárius eloszlástól. Ebből a saját szemeddel látod, hogy a hosszú táv nem metafora, hanem mennyiség — és hogy körülbelül hány nap kell hozzá.
33
A sorbanállás: miért nem lineáris
Az (1 − ρ) a nevezőben van. Ezért robban a várakozás a telítettség közelében.
Egy szárítóberendezés, véletlen érkezéssel és véletlen kiszolgálási idővel. A kihasználtság a beérkezés és a kiszolgálás aránya. Nézd meg, hol áll a kihasználtság a képletben: a NEVEZŐBEN, egy mínusz rhóként. Vagyis ahogy a kihasználtság az egyhez közelít, a várakozás nem arányosan nő, hanem elszáll. Nyolcvan százalékról kilencvenre lépni nem tizenkét százalékos romlás: a sorhossz három egész négyről nyolc egész négyre megy.
34
Számold ki: meddig bírja a szárító
A `stoch-queue` demó elméleti görbéje: M/M/1, egyetlen kiszolgáló.
Egy csúszka, és ez a dia legfontosabb tulajdonsága. Told a kihasználtságot ötven százalékról lassan fölfelé, és figyeld a számot. Nyolcvanig még kezelhető. Kilencvennél nyolc a sorban állók száma. Kilencvenötnél tizennyolc. Az utolsó néhány százalék viszi az egészet — mert az egy mínusz rhó a NEVEZŐBEN van. Ezért nem szabad egy erőforrást száz százalékra tervezni: a tartalék nem pazarlás, hanem az ára annak, hogy a várakozás véges maradjon.
35
A sorhossz teljes görbéje
A `stoch-queue` demó ábrája: szimulált és elméleti sorhossz hat kihasználtságon.
Itt a teljes kép. Ötven százalékról kilencvenre a terhelés egy egész nyolcszorosára nő — a várakozás tizenhat egész egyszeresére. Ez az arány a legfontosabb szám ezen a dián. Ha egy üzemben azt halljuk, hogy „a gépek nyolcvan százalékon mennek, tegyünk rá még tíz százalék munkát”, akkor ez a görbe az, amit oda kell tenni a döntés mellé.
36
Futtasd le magad
A `stoch-queue` cellája: kihasználtság, sorhossz, és az elméleti értékkel való összevetés.
A cella itt fut. A csavar az eseményszám: állítsd ötezerre, és nézd meg, mennyire csúszik el a szimuláció az elméleti értéktől — különösen a magas kihasználtságnál. Ebből a saját szemeddel látod azt, amit az előző blokkban a standard hibáról tanultunk: a becslés bizonytalansága nem egyenletes, hanem ott a legnagyobb, ahol a rendszer a legérzékenyebb.
37
Monte Carlo és a behelyettesítés csapdája
Nemlineáris képletbe nem az átlagot helyettesítjük. A bemenetet sorsoljuk, és a kimenetet nézzük meg.
És a legutolsó eszköz, ami egyben a leggyakrabban elkövetett hiba javítása. Egy fedezeti számításban a hozam, az ár és a költség is bizonytalan. A szokásos eljárás az, hogy mindegyiknek vesszük az ÁTLAGÁT, és behelyettesítjük a képletbe. Ez akkor lenne helyes, ha a képlet lineáris volna. De nem az — és nemlineáris f esetén az átlag képe nem egyenlő a kép átlagával. Ez a Jensen-egyenlőtlenség. A Monte Carlo ezt kerüli meg: nem az átlagot helyettesíti be, hanem sokszor kisorsolja a bemeneteket, és a KIMENET eloszlását nézi.
38
A kimenet eloszlása
A `stoch-mc` demó ábrája: a fedezet eloszlása, a behelyettesített értékkel együtt.
Itt a kimenet teljes eloszlása. Ez az, amit egy behelyettesítéses számítás egyetlen számra présel össze. Nézd meg a bal farkat: az ötödik százalékos pont mínusz kilencvenötezer forint hektáronként. Ez az a szám, ami egy hitelkérelemben vagy egy biztosítási döntésben számít — és a négy egész tizenkettes átlagból nem lehet kiolvasni. A Monte Carlo nem pontosabb átlagot ad. MÁST ad: eloszlást, ahol eddig egy szám volt.
39
A Monte Carlo futtatva
A `stoch-mc` cellája: kétszázezer sorsolás, és a fedezet teljes eloszlása.
Az utolsó cella. A csavar az ár bizonytalansága: duplázd meg, és nézd meg, mi történik. Két dolgot figyelj. Az egyik: a behelyettesítéses szám NEM változik, mert az csak az átlagot használja. A másik: a veszteséges évek aránya nő. Ez a kettő együtt mutatja meg, mit hallgat el a behelyettesítés.
40
Kérdés
Behelyettesített átlagokból pozitív fedezet. Mit nem tudsz?
Egy beruházási számításban minden bemenet átlagát behelyettesítetted, és pozitív fedezet jött ki. Mit NEM tudsz ebből?
Question
- 1. Semmit — ha a bemenetek átlaga helyes, a kimenet is az.
- 2. Azt, hogy az évek hány százaléka veszteséges, és mekkora a rossz évek vesztesége.
- 3. Azt, hogy mekkora a bemenetek szórása.
A harmadik válasz félrevezető: a bemenetek szórását ismerjük, hiszen abból sorsolnánk — az hiányzik, hogy mi lesz belőle a KIMENETEN. A `stoch-mc` mérésében a behelyettesítés 41 200 Ft/ha-t ad, a szimuláció 30 624-et, és a veszteséges évek aránya 37,1 % — ez a három szám együtt más döntést indokol, mint az első egymaga.
41
Melyik eszköz melyik kérdésre
eszköz | melyik kérdésre válaszol | mire támaszkodik · hipotézisvizsgálat | akkora-e az eltérés, amekkora véletlenül ritkán jönne ki | a nullhipotézis melletti eloszlás ismeretére · erőszámítás | hány megfigyelés kell, hogy egy létező hatást meglássunk | a hatásméret előzetes becslésére · konfidenciaintervallum | milyen tágan ismerjük a becsült értéket | a mintaátlag közelítő normalitására · bootstrap | ugyanez, ha nincs kényelmes képlet | arra, hogy a minta jól képviseli a sokaságot · legkisebb négyzetek | mekkora a hatás, ha a kapcsolat lineáris | normális hibára — különben más veszteség kell · maximum likelihood | mekkora a paraméter tetszőleges eloszlásnál | a HELYES eloszláscsalád megválasztására · Markov-lánc | hosszú távon az idő hány százaléka melyik állapot | arra, hogy a jövő csak a jelentől függ · sorbanállási modell | mennyit kell várni adott kihasználtság mellett | az érkezés és a kiszolgálás eloszlására · Monte Carlo | milyen a KIMENET eloszlása, nem csak az átlaga | a bemenetek eloszlásának ismeretére
Az egész lecke egy táblázatban, és a harmadik oszlop itt is a fontos. Minden eszköznek van egy feltevése, és az eszköz pontosan addig érvényes, ameddig a feltevés áll. Ha ezt a táblázatot a saját feladatodra ki tudod tölteni, akkor tudod, melyik eszközt mikor NEM szabad elővenni.
42
A lecke fogalmai
Nullhipotézis · p-érték · Szignifikanciaszint · Elsőfajú és másodfajú hiba · Statisztikai erő · Hatásméret · Konfidenciaintervallum · Bootstrap · Többszörös tesztelés · Hamis találati arány · Legkisebb négyzetek módszere · Maximum likelihood becslés · Simpson-paradoxon · Markov-lánc · Stacionárius eloszlás · Sorbanállási modell · Monte Carlo-szimuláció · Jensen-egyenlőtlenség
Ennyi az eszköztár. Ezek a fogalmak a négy hét mindegyikében előkerülnek — a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik futtatható mérés.
43
A lecke rövidítései
Rövidítés | Feloldás | Mit jelent · M/M/1, M/M | Markov-érkezés, Markov-kiszolgálás, 1 kiszolgáló | a sorbanállási modellek Kendall-jelölése: mindkét idő exponenciális, és egy erőforrás van · FDR | False Discovery Rate — hamis találati arány | a TALÁLATOK között a tévesek várható aránya; más kérdés, mint hogy legyen-e egyáltalán téves riasztás · CHT | központi határeloszlás-tétel | a mintaátlag eloszlása ferde sokaságból is a normálishoz tart, és a ferdesége 1/√n szerint tűnik el · SE | Standard Error — standard hiba | a BECSLÉS szórása, σ/√n; nem azonos az adat szórásával · OLS | Ordinary Least Squares — legkisebb négyzetek | a négyzetes maradékot minimalizáló illesztés, zárt alakkal · MLE | Maximum Likelihood Estimation | azt a paramétert választjuk, amely mellett a megfigyelt adat a legvalószínűbb
Minden diasor végén áll egy ilyen tábla. Nem formaság: egy feloldatlan rövidítés a hallgatót kizárja a mondatból, és a következő húsz percben már nem tud visszakapcsolódni. Ez a lecke ebből keveset használ, de ami van, az sűrű.
44
Az eszköztár három diagramtípusa, ugyanazon az adaton
Az eszköztár három diagramtípusa, ugyanazon az öt értéken.
Ahogy minden diasor végén: itt vannak a használt típusok egymás mellett, ugyanazon az öt értéken. Ebben a leckében három szerepel. Az oszlop a beállítások összevetésére — mintaméret, eljárás, állapot. A vonal ott, ahol egy folytonos paraméter mentén nézünk végig valamit: a kihasználtság vagy a mintaméret. A harmadik panel a demóábra: az eloszlások és a szimulációs görbék olyan rajzot kívánnak, amit a dia saját rajzolója nem tud.
45
Az eszköztár diagramtípusai
diagramtípus | mit olvasol le róla | mire NEM jó · oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta · vonal | folytonos paraméter menti alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs · demóábra | amit a keretrendszer rajza nem tud: eloszlás, log tengely, hőtérkép | saját adatod: ez a demó kimenete, nem szerkeszthető a dián
És a táblázat. Ebben a leckében szándékosan kevés típus van, és ennek oka van: az eszköztár állításai majdnem mind összevetések — ez az eljárás kontra az az eljárás, ez a mintaméret kontra az a mintaméret. Oda az oszlop való. A vonal ott jelenik meg, ahol a köztes értékekről is állítunk valamit: a sorhossz görbéjén. A középső oszlop itt is a fontos — és a jobb oldali még inkább.