Lecture 5
Data visualisation and decision support
Miből következik a diagramválasztás, mi torzít, és mikor lesz egy műszerfalból döntés.
Start with AikoDeck129 slides · 90 min
01
Indulás: a futtatható anyag
Tíz perc, és a saját gépeden ugyanazok a számok
Mielőtt bármibe belekezdenénk, egy dolgot rendezzünk el. Ennek a kurzusnak minden állítása mögött futtatható kód van — a diákon szereplő számokat nem elhinni kell, hanem újra előállítani. Ehhez tíz perc telepítés kell, és utána a saját gépeden pontosan ugyanazok a számok jönnek ki, mint itt.
02
Miért nem elég elhinni
Aki lefuttatja, az azt is megtudja, mikor nem igaz az állítás.
Az adatelemzésben a legveszélyesebb mondat az, hogy „a szakirodalom szerint”. Nem azért, mert a szakirodalom téved, hanem mert aki csak idézi, az nem tudja, mikor nem érvényes. Ha viszont lefuttatod, és átírsz egy paramétert, akkor megtudod, hol borul fel az állítás. Ezért van minden diához tartozó szám mögött egy szkript, amit el tudsz indítani.
03
Ugyanaz a mérés, öt véletlenmaggal
A `w05-overplot` demó „elfedve” száma, öt véletlenmagon futtatva.
Mielőtt bármit elhiszel tőlem, itt van, mit jelent az, hogy „futtasd le magad”. Ez a `w05-overplot` demó kulcsszáma öt különböző véletlenmaggal: nyolcvankilenc egész egy és nyolcvankilenc egész kilenc között szóródik. Ebből két dolog következik. Az egyik: a mérés megismételhető, tehát lehet rá építeni. A másik, kellemetlenebb: a „nyolcvankilenc egész hat százalék” egy tizedesre nem reprodukálható szám. Kilencven százalék körül — ennyit szabad állítani.
04
Négy lépés, egy parancs
Python — a nyelv maga, rögzített változatban, hogy mindenkinél ugyanaz fusson · Külön környezet — a kurzus csomagjai elkülönítve; a gépeden lévő többi projekt nem sérül · Csomagok — numpy, matplotlib és a kurzus demócsomagja, verzióval rögzítve · Jupyter-kernel — a jegyzetfüzet ezen a Pythonon fut; a regisztrálás köti össze a kettőt
A telepítő négy dolgot csinál, de neked egy parancsot kell kiadnod. Először gondoskodik a Pythonról — ha nincs a gépeden, letölti. Aztán készít egy külön környezetet, hogy a kurzus csomagjai ne keveredjenek másik projektedével. Telepíti a csomagokat. Végül bejegyez egy Jupyter-kernelt, hogy a jegyzetfüzet megtalálja a saját környezetét.
05
A parancsok
Windows: powershell -c ″irm https://astral.sh/uv/install.ps1 | iex″ — aztán ÚJ ablak, majd cd scripts és .\setup.ps1 | Linux vagy WSL: curl -LsSf https://astral.sh/uv/install.sh | sh — aztán új héj, majd cd scripts és ./setup.sh | Ellenőrzés: python check_env.py — kilépési kód 0, ha minden megvan
Egy előfeltétel van: az uv. Ez nem csak gyorsabb a hagyományos telepítőnél, hanem a Pythont is telepíti — és Windowson pont ez a különbség a működő és a nem működő telepítés között, mert ott a python parancs alapból egy áruházi parancsikon, nem értelmező. Telepítés után nyiss új ablakot, különben a rendszer még nem tud az uv-ról.
06
Ha ezt látod, kész vagy
A `stat-power` demó kimenete — az első futtatás a w00_modszertan.ipynb jegyzetfüzetből.
Ez az első mérés, amit lefuttatsz. Nem a vizualizációról szól, hanem arról, hány mintaelem kell ahhoz, hogy egy adott különbséget egyáltalán észrevegyünk. A cellát a jegyzetfüzetben megtalálod; ha ugyanezek a számok jönnek ki nálad, akkor a környezet rendben van, és mehetünk tovább.
07
Hat jegyzetfüzet, hetenként egy
w00: módszertani alapok — bármelyik héthez · w05: kódolás, tengely, színskála, fedés · w06: felbontás, autokorreláció, előrejelzés · w07: tárolás és lekérdezésterv · w08: szivárgás és döntési küszöb · cv: kalibrálás és tartományeltolódás
A jegyzetfüzetek nem tartalmaznak mérési kódot. A demócsomagot hívják, és a te dolgod a paraméterek átírása — ez a feladat, nem a kód újragépelése. Minden demóhoz három cella tartozik: a futtatás, egy söprés öt véletlenmagon, és ahol van értelmes csavar, egy paraméter-feladat.
08
Ha elakadsz: az első hibaüzenet
A hibaüzenetek láncban jönnek. Az első az ok, a többi a következménye.
Egy szokást kérek, és ez nem csak a telepítésre igaz. A hibaüzenetek láncban jönnek: az első az ok, a többi a következménye. Ha a telepítő félúton elszáll, és utána azt írja, hogy nincs virtuális környezet, akkor nem két hibád van, hanem egy. Görgess vissza az elsőig.
09
Innen indulunk
uv — csomag- és környezetkezelő; egyetlen paranccsal felállítja a Pythont, a környezetet és a csomagokat · Virtuális környezet — a kurzus csomagjai elkülönítve a gép többi Python-projektjétől; így nem írnak felül semmit · Jupyter-kernel — az a Python, amit a jegyzetfüzet ténylegesen futtat; a regisztrálás köti össze a kettőt · Demócsomag — a kurzus mérései telepíthető csomagként; ugyanaz fut a dián, a jegyzetfüzetben és a böngészőben · Véletlenmag — a sorsolás kiindulópontja; ugyanaz a mag ugyanazokat a számokat adja, ezért reprodukálható a mérés · Reprodukálhatóság — a diákon szereplő szám a te gépeden is előáll, és ha átírsz egy paramétert, látod, mi változik
Ha a check_env végigfutott, mindened megvan. A következő órán az első kérdés az lesz, hogy mitől lesz egy ábrából érv.
10
Statisztikai alapok — ismétlés
Átlag, momentumok, szórás, nagy számok törvénye — képlettel és méréssel
Mielőtt bármit rajzolnánk, tisztázzuk a közös nyelvet. Ez a blokk nem új anyag: átlag, szórás, momentumok, nagy számok törvénye. Két okból van mégis itt. Egy: ezek nélkül a bizonytalansági sávról nem lehet beszélni, márpedig a hét második felében végig arról lesz szó. Kettő: ezeknek a fogalmaknak PONTOS képletük van, és a képletből következnek olyan dolgok, amiket a szemlélet nem ad ki — például hogy négyszer annyi mérés csak feleakkora hibát ad. Tizenöt perc, és utána mindenki ugyanazt érti szórás alatt.
11
Várható érték és mintaátlag — nem ugyanaz
A várható érték a sokaságé, és rögzített. A mintaátlag a mintáé, és véletlen.
Kezdjük a legtöbbször összekevert párral. A várható érték a SOKASÁGÉ: az a szám, ami akkor jönne ki, ha az összes lehetséges megfigyelést a valószínűségével súlyozva átlagolnánk. Nem tudjuk kiszámolni, mert a sokaság nincs a kezünkben. A mintaátlag az, amit ki tudunk számolni — és ez a várható érték egy BECSLÉSE. Futásonként más jön ki belőle; hogy mennyivel más, az a blokk vége felé jön elő, és ott már számolni is fogunk vele.
12
Miért éppen az átlag — és mikor a medián
Két középérték, két veszteségfüggvény. A négyzet bünteti a nagy eltérést, tehát az átlag odahúz.
Az átlagot nem megegyezésből használjuk. Van rá tétel: az átlag az az EGYETLEN szám, amelytől vett négyzetes eltérés összege a legkisebb. Ha ugyanezt abszolút eltéréssel kérdezed, nem az átlag jön ki, hanem a medián. Vagyis a két középérték nem két ízlés, hanem két KÉRDÉS válasza — és a kérdés a veszteségfüggvényben van elrejtve. Ebből mindjárt következik az is, melyik mikor rossz.
13
A két veszteség, megmérve
A `stat-alapok` demó ábrája: a két veszteségfüggvény és a minimumhelyük.
Itt a két görbe. Fölül a négyzetes eltérés összege, alul az abszolút — mindkettő ugyanarra a tizenöt tábla hozamára, és a vízszintes tengelyen az a c, amivel a mintát helyettesítenénk. A szürke pontok maguk a megfigyelések. Nézd meg a két minimumhelyet: nem esnek egybe. A felső parabola alja az átlag, az alsó törtvonalé a medián. És vedd észre az alakjukat is: a négyzetes görbe messze meredekebben nő, ahogy a széle felé megyünk — ez az, amit „bünteti a nagy eltérést” alatt értünk.
14
Egy kiugró érték ára
Az átlag elmozdulása arányos Δ-val, a mediáné korlátos — akkor is, ha Δ végtelen.
Ebből következik a gyakorlati különbség. Ha EGYETLEN megfigyelést deltával odébb teszel, az átlag delta per n-nel mozdul el — akármekkora is a delta. A medián viszont legföljebb a szomszédos rendezett értékig megy, és ott megáll, akkor is, ha a kiugró érték a végtelenbe tart. Ez a robusztusság, és nem elvont: egy elgépelt tizedesvessző az átlagot elviszi, a mediánt nem.
15
Ahogy egyetlen érték elsétál
A `stat-alapok` demó ábrája: az átlag egyenese és a medián lépcsője.
A mérés ugyanez, képben. A vízszintes tengelyen az áll, mennyivel tolunk el egyetlen megfigyelést; a két görbe az átlag és a medián. Az átlag egyenes, és a meredeksége pontosan egy per tizenöt, nulla egész nulla hatvanhét. A medián lép egyet, amikor a kiugró érték átlépi a középső elemet — és onnantól vízszintes. Ez a kép a robusztusság meghatározása: nem az, hogy „nem érzékeny”, hanem hogy KORLÁTOS a hatás.
16
Momentumok — az eloszlás alakjának mérőszámai
Egy képlet, négy mérőszám. A k határozza meg, mit mér: helyzetet, terjedelmet vagy alakot.
Most jön az a fogalom, ami a többit egy rendszerbe köti: a momentum. A k-adik centrális momentum az átlagtól vett eltérés k-adik hatványának az átlaga. Nézd meg, mi jön ki az első négyből. Az első definíció szerint nulla. A második a variancia. A harmadikból lesz a ferdeség, a negyedikből a csúcsosság. Tehát nem négy különálló képletet kell megjegyezni, hanem egyet, és hozzá azt, hogy a k mit csinál.
17
Variancia és szórás — és miért n−1 a nevező
Az n-nel osztó becslés (n−1)/n arányban becsül alá. Öt elemű mintán ez 20 százalék.
A második momentum a variancia, és itt van a kurzus egyik legtöbbet félreértett részlete: a nevező. Ha a VALÓDI átlagtól mérnénk az eltéréseket, n-nel osztanánk. De nem attól mérünk, hanem a mintaátlagtól — és a mintaátlag pont oda esik, ahol az eltérések összege a legkisebb. Vagyis rendszeresen alulmérünk. Az n mínusz egy ezt javítja ki, és nem közelítőleg: várható értékben pontosan.
18
A nevező ára, megmérve
A `stat-nagyszamok` demó ábrája: a két nevező várható értéke, hat elemszámon.
Itt a mérés: negyvenezer ismételt minta, hat elemszámon, és minden oszlop azt mutatja, hogy a becslés a valódi variancia hányadrészét adja vissza. A szaggatott vonal az egy — ott lenne a helyes érték. A terrakotta oszlopok az n-nel osztó becslés: kettes mintán a valódi variancia felét adják. A szürke pont rajtuk a KÉPLET szerinti érték, n mínusz egy per n — és rajta ülnek. A sötétkék oszlopok az n mínusz eggyel osztó becslésé, és mind az egyen állnak.
19
Ferdeség és csúcsosság
A ferdeség irányt mond, a csúcsosság a farkak súlyát. Mindkettő mértékegység nélküli.
A harmadik és a negyedik momentum. A ferdeség előjele megmondja, melyik oldalra nyúlik a hosszú farok: pozitív, ha jobbra. Az agrárgazdasági mennyiségek többsége ilyen — a kártétel, az állásidő, a javítási költség nem lehet negatív, fölfelé viszont nincs határa. A csúcsosság azt mondja meg, mennyi tömeg ül a farkakban a normálishoz képest. Ez a kettő az, amit az átlag és a szórás NEM mond meg.
20
Azonos átlag, azonos szórás — három alak
A `stat-alapok` demó ábrája: három minta, azonos első két momentummal.
És itt a következmény, ami miatt az egész momentumos rész a diasorban van. Három minta. Mindháromnak az átlaga nulla, a szórása egy — nem körülbelül, hanem tizenhat tizedesjegy pontossággal, mert a konstrukció így állította be. A ferdeségük és a csúcsosságuk viszont más, és a hisztogramjuk ránézésre semmiben nem hasonlít. Aki tehát átlagot és szórást közöl, ezt a hármat nem különbözteti meg. Ez a legjobb érv amellett, hogy eloszlást mindig RAJZOLNI kell, nem összefoglalni.
21
Az átlag és a momentumok futtatva
A `stat-alapok` cellája: a két veszteségfüggvény, a kiugró érték ára, és a három azonos átlagú minta.
Itt a másik demó cellája. A csavar a kiugró érték nagysága: told negyvenre, és nézd meg, hogy az átlag elmozdulása pontosan követi-e a delta per n képletet, a medián pedig megáll-e a korlátnál. A harmadik ábrán pedig azt figyeld, mi történik a három hisztogrammal — az átlaguk és a szórásuk a konstrukció miatt akkor is azonos marad.
22
Standard hiba — a BECSLÉS szórása
A szórás az adaté és nem csökken a mintával. A standard hiba a becslésé, és 1/√n szerint csökken.
Most jön az a képlet, amit a kurzus a legtöbbször használ, és egyben a leggyakrabban félreértett. A szórás az ADAT szóródása: hogy a táblák hozama mennyire szór egymás körül. A standard hiba a BECSLÉS szóródása: hogy ha újra mintát vennénk, mennyire lenne máshol az átlagunk. A kettő nem ugyanaz, és a különbségük az a gyök n a nevezőben. Ha ezt összekevered, a sávod vagy gyökn-szer túl széles, vagy gyökn-szer túl szűk lesz.
23
Számold ki: a standard hiba
A `stat-nagyszamok` demó sokasága: exponenciális, σ = 6,00 t/ha.
Ez az a képlet, amit a kurzus a legtöbbször használ, tehát érdemes a kezeddel is végigvinni. A felső csúszka az ADAT szórása, az alsó a minta elemszáma. Nézd meg, mi történik, ha az elemszámot megnégyszerezed: a standard hiba a FELÉRE esik, nem a negyedére. Aztán próbáld a másik irányt: told a szórást a duplájára. Ott viszont pontosan duplázódik — az adat szórása egyenesen, az elemszám gyökösen hat. Ez a két különböző viselkedés a képlet egész mondanivalója.
24
A nagy számok törvénye, log-log tengelyen
A `stat-nagyszamok` demó ábrája: a mintaátlag szórása az elemszám függvényében.
A mérés: minden elemszámhoz negyvenezer mintát veszünk, kiszámoljuk a mintaátlagokat, és megnézzük, mennyire szórnak. Logaritmikus tengelyen a hatványfüggvény egyenes lesz, a meredeksége pedig maga a kitevő. A mért kitevő mínusz nulla egész ötezer-négy — az elméleti mínusz fél. A szaggatott piros vonal a szigma per gyök n képlet, és a mért pontok rajta ülnek. Ez az a fajta dia, amit érdemes átírni és újrafuttatni: állítsd át az ismétlésszámot ezerre, és nézd meg, mikor kezd el táncolni a kitevő.
25
Kérdés
SE = 0,4 t/ha száz parcellából. Hány parcella kell a feleakkora standard hibához?
Egy kísérletben száz parcellából mérsz átlagot, és a standard hiba 0,4 t/ha. A vezetőd azt kéri, hogy feleannyi legyen. Hány parcella kell hozzá?
Question
- 1. Kétszáz — kétszer annyi mérés, feleakkora hiba.
- 2. Négyszáz — a hiba 1/√n szerint csökken.
- 3. Ezer — a kerek szám a biztos.
SE = σ/√n, tehát a felezéshez a gyök n-et kell megduplázni, vagyis n-et megnégyszerezni: 400 parcella. A kétszáz csak √2 ≈ 1,41-szeres javulást ad, 0,4-ről 0,28-ra. Ez a képlet az, ami a mérési tervet költségkérdéssé teszi — és amiért egy „mérjünk kicsit többet” kérés ritkán elég.
26
Központi határeloszlás-tétel
A mintaátlag normálishoz tart, és a ferdesége 1/√n szerint tűnik el.
És a blokk utolsó tétele, ami miatt az egész normális közelítés egyáltalán működik. A tétel azt mondja: akármilyen az eredeti eloszlás — lehet erősen ferde, lehet diszkrét —, a mintaátlag eloszlása a normálishoz tart, ahogy n nő. És a közeledés sebessége is ismert: a ferdeség gyök n szerint tűnik el. Ebből két dolog következik. Az egyik, hogy nagy mintán szabad normálist feltételezni. A másik, ami fontosabb: KIS mintán erős ferdeségen NEM szabad.
27
A tétel munka közben
A `stat-nagyszamok` demó ábrája: az exponenciális sokaság átlaga négy elemszámon, standardizálva.
Négy kép, egy erősen ferde exponenciális sokaságból. Balra a kettes minta átlaga: még látszik rajta a farok, a ferdeség egy egész negyvenhárom. Ahogy jobbra megyünk, a hisztogram ráül a piros normális görbére, és a ferdeség fogy: nulla egész nyolcvankilenc, nulla egész harmincnyolc, nulla egész huszonkettő. Minden panel alatt ott áll a kettő per gyök n képlet szerinti érték is — és egyezik. Ez tehát nem szemlélet: a közeledés sebessége kiszámolható.
28
Korreláció — és amit nem mond meg
A kovariancia a két szórással leosztva. Mértékegység nélküli, tehát összehasonlítható — de csak a lineáris részt méri.
Egy utolsó mérőszám, mert a következő hetekben végig használjuk. A korrelációs együttható a LINEÁRIS együttmozgás mérőszáma, mínusz egy és egy között. Három dolgot NEM mond meg, és mind a három drágán kijön. Nem mond meg okságot. Nem mond meg nemlineáris kapcsolatot — egy tökéletes parabolára nulla is lehet. És nem mond meg semmit az adat alakjáról: ugyanahhoz az r-hez merőben eltérő pontfelhők tartozhatnak.
29
Melyik mérőszám mit mond meg — és mit nem
mérőszám | mit mond meg | mit NEM mond meg · átlag x̄ | a minta súlypontja, a négyzetes eltérés minimumhelye | robusztusság: egyetlen kiugró érték Δ/n-nel elviszi · medián | a középső érték, az abszolút eltérés minimumhelye | a farok: a szélső értékek nagysága nem látszik rajta · szórás s | az adat szóródása a saját mértékegységében | az alak: azonos szóráshoz merőben eltérő eloszlás tartozhat · ferdeség γ₁ | melyik oldalra nyúlik a hosszú farok | mekkora: az irányt mondja, nem a szélsőérték nagyságát · csúcsosság γ₂ | mennyi tömeg ül a farkakban a normálishoz mérve | kis mintán semmit: maga is erősen ingadozik · standard hiba σ/√n | a BECSLÉS bizonytalansága, 1/√n szerint csökkenve | független megfigyelést feltételez: idősoron alulbecsül · korreláció r | a lineáris együttmozgás iránya és erőssége | okságot, nemlineáris kapcsolatot és az adat alakját
Összefoglalás egy táblázatban, és a harmadik oszlop a fontos. Minden mérőszám egy KIVONAT: az adatból kevesebb. A kérdés soha nem az, hogy jó-e a mérőszám, hanem az, hogy amit elhagy, az számít-e a mostani kérdéshez. Ha ezt a táblázatot a saját adatodra ki tudod tölteni, akkor tudod, mit veszítesz, amikor összefoglalsz.
30
Futtasd le magad
A `stat-nagyszamok` cellája: a nevező, a σ/√n csökkenés és a ferdeség eltűnése egy futásban.
A blokk két demója itt fut, a böngészőben. Az érdekes csavar az ismétlésszám: állítsd négyezerre, és nézd meg, hogy az illesztett kitevő mennyire távolodik el a mínusz féltől. Ebből megtudod azt is, amit egy képletből nem lehet: hogy MEKKORA mintán mérhető egy ilyen kitevő megbízhatóan. A másik demónál a kiugró érték nagysága a csavar — told negyvenre, és nézd meg, mennyit mozdul az átlag, és mennyit a medián.
31
A blokk fogalmai
Minta · Várható érték · Számtani átlag · Medián · Momentum · Variancia · Szórás · Ferdeség · Csúcsosság · Robusztusság · Torzítatlan becslés · Standard hiba · Nagy számok törvénye · Központi határeloszlás-tétel · Korrelációs együttható
Ennyi az ismétlés. Ezek a fogalmak innentől adottnak számítanak — ha valamelyik bizonytalan, a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik egy futtatható mérés.
32
Adatvizualizáció és döntéstámogatás
05. hét · Az ábra nem illusztráció, hanem érv
Üdvözöllek az ötödik héten. Ma az ábrákról lesz szó — de nem arról, hogy melyik a szép. Arról, hogy melyik igaz, és melyik az, amelyik igaz adatból hamis benyomást kelt. Ez a kettő nem ugyanaz, és a különbség mérhető.
33
A hét tétele
Az ábra érv. Ha nem tartozik hozzá döntés, dísz.
Kezdjük a legfontosabbal. Egy ábra állít valamit. Ha nem tudod megmondani, milyen döntés változik meg tőle, akkor nem érv, hanem dísz. És ha a döntés attól változik meg, hogyan skáláztad a tengelyt, akkor nem érv, hanem manipuláció — akkor is, ha nem szántad annak.
34
Egy ábra, amiből döntés lett
A `stat-power` demó ábrája: mekkora kísérlet veszi észre a 0,30 t/ha különbséget.
Hogy a tétel ne maradjon jelszó, itt egy ábra, amiből egyenesen következik egy döntés. A kérdés: hány parcella kell ahhoz, hogy egy harminc kilós hozamkülönbséget négyszer öt esetből meglássunk. A görbe megmondja. Négy parcellával tizenegy százalék az esély — vagyis a kísérlet kilencszer tízből elmulasztja a meglévő különbséget. Hattal tizenhat. Hússzal negyvenhat. A nyolcvan százalékhoz negyvenhat parcella kell kezelésenként. Ebből az ábrából tehát nem „érdekesség” lesz, hanem vetésterv. Ha egy ábrához nem tartozik ilyen mondat, akkor dísz.
35
Ugyanaz a különbség, öt kódolásban
A `w05-encoding` demó ábrája: egyetlen 7,4 %-os különbség, öt vizuális kódolásban.
Mielőtt bármit mondanánk arról, hogy az ábra érv, nézzük meg, mennyire nem mindegy, mivel kódolunk. Ez a demó két tábla hozamát veszi — négy egész kilencvenegy és négy egész ötvenhét, hét egész négy százalék a különbség —, és megmutatja, mekkorának LÁTSZIK ez a különbség ötféle kódolásban. Pozícióként húsz képpont, szögként négy egész három fok, sugárarányként három egész hét százalék. Ugyanaz az adat, és a szem öt különböző dolgot lát.
36
Hol áll az ábra a láncban
mérés → adat → ábra → értelmezés → döntés → beavatkozás ↺
Az adat nem tudás. A mérés adatot ad, az adatból ábra lesz, az ábrából értelmezés, abból döntés, a döntésből beavatkozás — és a beavatkozás hatása megint mérhető. Az ábra ennek a láncnak a közepén áll, azon a ponton, ahol az ember belép a hurokba. Ezért érdemes vele kezdeni a félévet: az ábra kényszerít rá, hogy kimondd, mit akarsz tudni.
37
Feltáró adatelemzés (EDA)
Feltáró adatelemzés (EDA): az a szakasz, amelyben még a KÉRDÉST keressük — az eloszlásokat, a hiányzó értékeket, a szélsőértékeket, a páronkénti összefüggéseket és a csoportokat nézzük át —, mielőtt bármit modelleznénk. · Nem előkészület a „valódi” elemzéshez — ez dönti el, melyik elemzésnek van egyáltalán értelme · Eszköze a felfedező ábra és az összegző táblázat — gyors, csúnya, sok van belőle · A végeredménye nem ábra — a kimondott kérdés és a hozzá illő módszer
Egy szakasz, aminek a neve sokszor elsikkad: a feltáró adatelemzés. Angolul exploratory data analysis, rövidítve E-D-A. A meghatározás a dián áll, és a benne lévő szó a fontos: kérdés. Ebben a szakaszban még nem a választ keresed, hanem azt, hogy mi a jó kérdés — és hogy az adat egyáltalán alkalmas-e a megválaszolására. Sokan előkészületnek tekintik a „valódi” elemzéshez; pedig ez dönti el, hogy melyik elemzésnek van értelme. Az oldalsó rajz egy mért példa arra, mit visz el, aki kihagyja: ugyanaz a kilenc tábla, összevonva és táblán belül, ellentétes előjelű meredekséggel.
38
A feltárás öt átnézése, ebben a sorrendben
Eloszlás oszloponként → Hiányzó érték: hol és miért → Mértékegység és kulcs → Páronkénti összefüggés → Csoportonként ugyanaz-e
A sorrend nem önkényes: minden lépés azt tisztítja meg, amire a következő épül. Először egyenként nézed az oszlopokat — milyen az eloszlásuk, van-e ferdeség, hol vannak a szélsőértékek. Aztán a hiányt: hol nincs érték, és mit jelent a hiánya. Aztán a mértékegységet és a kulcsot: egyféle egység van-e az oszlopban, egyedi-e a sor. Csak ezután jönnek a páronkénti összefüggések, mert egy rossz egységű oszloppal korrelálni értelmetlen. És legvégül a csoportok: ugyanaz az összefüggés igaz-e minden táblán, minden évben, minden fajtán. Ha ezt a lépést kihagyod, Simpson-paradoxont viszel tovább.
39
Melyik lépés mit fog meg — mérve
a feltárás lépése | mit fog meg | mérve, és melyik demóban · Eloszlás oszloponként | ferdeség, szélsőérték | a 95 %-os intervallum valójában 82,7 %-ot fed — `stat-coverage` · Hiányzó érték | jelölt hiány, hibás nulla | a −999 az átlagot −314 %-kal viszi el — `w07-quality` · Mértékegység és kulcs | kevert egység, duplikátum | a t/hold 2,2 %-ot mozdít, csendben — `w07-quality` · Páronkénti összefüggés | elfedés, látszatösszefüggés | 40 000 pontból 89,6 % takarásban — `w05-overplot` · Csoportonként ugyanaz-e | Simpson-paradoxon | az előjel megfordul: −0,0439 kontra 0,0114 — `stat-simpson`
És hogy ez ne jámbor jótanács maradjon: minden lépéshez tartozik a kurzuson egy demó, amelyik megmutatja, mit fog meg, és mekkorát. Az eloszlásnál a ferdeség: a kilencvenöt százalékosnak hirdetett intervallum nyolcvankettő egész hetet fed le, ha az adat ferde és a minta kicsi. A hiányzó értéknél a mínusz kilencszázkilencvenkilences jelölt hiány: háromszáztizennégy százalékos eltérés az átlagban. A mértékegységnél a tonna per hold: mindössze két egész két százalék, és éppen ezért veszélyes, mert semmi nem szól érte. A szélsőértéknél az elfedés: negyvenezer pontból a kilencven százaléka takarásban. A csoportoknál pedig az előjelváltás. Öt lépés, öt mért szám.
40
Kétféle ábra, kétféle mérce
Felfedező ábra: gyors — csúnya lehet · sok van belőle — húsz ábra egy délután · a kérdést keresed — nem a választ mutatod | Közlő ábra: egyetlen állítás — mindent ez szolgál · a nézőnek szól — nem neked · minden elemét indokolni kell — a rács is döntés
Két ábrafajta van, és más a mércéjük. A felfedező ábrát magadnak rajzolod: gyors, csúnya, és sok van belőle. A célja az, hogy megtaláld a kérdést. A közlő ábrát másnak rajzolod: egyetlen állítást visz, és minden eleme azt szolgálja. A leggyakoribb hiba az, hogy a felfedező ábra kerül be a vezetői anyagba — és ott már nem segít, hanem elrejt.
41
Mibe kerül a felfedező ábra becsületessége
A `w05-overplot` demó mérése: 5 képpontos jelölő, csomós adat.
Egy mért példa arra, miért nem azonos a két ábrafajta mércéje. Negyvenezer megfigyelést raktunk egy pontfelhőre. Ebből négyezer-száznegyvenkettő látszik külön pontként — a többi takarásban van. A felfedező ábránál ez elfogadható: te tudod, mi van mögötte, és tovább kattintasz. Közlő ábrán viszont ugyanez azt jelenti, hogy a néződ a pontok kilenc százalékát látja, és arról hoz döntést.
42
Hány pont látszik — a képlet
A `w05-overplot` demó ellenőrzése: mért 14 843, a képlet szerint 14 877 — 0,23 % eltérés.
Az elfedésre van zárt alak, és érdemes megnézni, mert megmondja, mikor nincs értelme pontfelhőt rajzolni. Ha a rajzterületen M jelölőnyi rácshely van, és N pontot szórunk rájuk egyenletesen, akkor egy adott rácshely akkor marad üres, ha mind az N pont elkerüli — ennek az esélye egy mínusz egy per M, az N-edik hatványon. A látható helyek várható száma ebből jön. A demó ezt meg is méri: a mért és a képlet szerinti érték huszonhárom század százalékon belül egyezik.
43
A négy kérdés futtatva
A `w05-question` cellája: rangsor, összetétel, időbeli alakulás és összefüggés — négy kérdés, ugyanazon az adaton.
Itt a cella. A csavar a kategóriaszám: állítsd háromra és negyvenre. Három szeletnél a torta még teljesen rendben van; negyvennél a párok döntő többsége eldönthetetlen. A kettő között van egy tartomány, ahol a válasz attól függ, mit kérdezel — és pontosan ez a demó mondanivalója.
44
Kérdés
Hova való egy tizenkét görbés, jelmagyarázat nélküli ábra?
Kaptál egy ábrát, amin tizenkét görbe fut egymáson, mindegyik más színnel, jelmagyarázat nélkül. Hova való?
Question
- 1. A vezetői összefoglalóba, mert sok információt sűrít.
- 2. A saját jegyzetfüzetedbe: felfedező ábra, a kérdés keresésére.
- 3. Sehova: az ilyen ábra mindig hibás.
Felfedező ábraként teljesen rendben van — pontosan arra való, hogy meglásd, melyik két görbe érdekes. Közlő ábraként használhatatlan. A harmadik válasz azért rossz, mert az ábrát a helye minősíti, nem önmagában.
45
Vizuális kódolás
Vizuális kódolás: az adat és a grafikus tulajdonság megfeleltetése.
Amikor ábrát rajzolsz, egy döntést hozol: melyik adatot melyik grafikus tulajdonság hordozza. Az érték lehet pozíció, hossz, szög, terület, szín vagy alak. Ezt hívjuk vizuális kódolásnak, és ez a diagramtípus előtti döntés — a diagramtípus már csak következmény.
46
Az észlelés rangsora
Közös tengelyen mért pozíció — a legpontosabb: a szem két pont helyét hasonlítja össze ugyanazon a vonalzón · Hossz — majdnem ilyen jó, ha közös alapról indul; ezért kell az oszlopnak nulláról kezdődnie · Szög és meredekség — észrevehetően pontatlanabb; a tortadiagram ezen bukik el · Terület — a szem alábecsüli a nagy foltokat; és ha az érték a sugárra kerül, a különbség négyzetre emelkedik · Színárnyalat és telítettség — a leggyengébb: sorrendet nem hordoz, és színtévesztéssel összeomlik
És most jön az, amitől ez nem ízlés kérdése. Megmérték, melyik kódolást olvassuk pontosabban. A sorrend: közös tengelyen mért pozíció a legpontosabb, utána a hossz, aztán a szög, a terület, végül a színárnyalat. A rangsor tetején tíz százalék alatti leolvasási hiba van, az alján többszörös tévedés. Ebből következik a diagramválasztás — nem fordítva.
47
A tortadiagram szöget kódol
A szög a rangsor közepe. A pozíció a teteje.
Innen már következik. A tortadiagram szöggel kódol, a szög a rangsor közepén áll. Ha két szelet közel egyforma, nem tudod megmondani, melyik a nagyobb — hiába van ott a szám. Ugyanaz az adat pontdiagramon, közös tengelyen, azonnal olvasható. A tortadiagram nem tilos; csak akkor jó, ha egyetlen dolgot kérdezel tőle: ez körülbelül fele az egésznek, vagy sem.
48
Öt tábla hozama tortadiagramon
Tanpélda: öt tábla hozama, tonna hektáronként. Ugyanaz az adat, mint a következő dián.
Itt van ugyanaz az öt érték tortadiagramon. Mielőtt továbblépnénk, próbáld meg: rangsorold a szeleteket. Melyik a második legnagyobb? És mennyivel nagyobb az ötödiknél? A számok oda vannak írva, tehát megoldható — csak nem az ábráról olvasod le, hanem a feliratokról. Ha a felirat nélkül nem megy, akkor az ábra nem dolgozik, csak díszít.
49
Ugyanaz az öt érték, közös tengelyen
Tanpélda: öt tábla hozama, tonna hektáronként.
Itt öt tábla hozama áll egymás mellett, közös tengelyen. Nézd meg, milyen könnyű rangsorolni őket, és milyen könnyű megmondani, hogy a második nagyjából másfélszerese az ötödiknek. Ez a pozíció- és hosszkódolás ereje. Tortadiagramon ugyanez a két kérdés megválaszolhatatlan lenne.
50
Mit kérdezel az ábrától
Rangsor: pontdiagram — közös tengely, pozíció | Összetétel: egymásra rakott sáv — a torta csak durva arányra | Időbeli alakulás: vonal — a pozíció és a meredekség együtt | Összefüggés: pontfelhő — két tengely, egy pont egy megfigyelés
A választás nem a diagramtípussal kezdődik, hanem a kérdéssel. Ha rangsorolni akarsz, pozíció kell. Ha összetételt mutatsz, és elég a nagyságrend, mehet a torta. Ha időbeli alakulást, vonal. Ha összefüggést két mennyiség között, pontfelhő. Írd le a kérdést egy mondatban, és a kódolás magától adódik.
51
Ugyanaz a négy kérdés, diagrammal
A `w05-question` demó ábrája: négy kérdés, felül az illő diagram, alul a szokásos alternatíva.
Nézzük meg mind a négyet egyszerre, és közben egy fontos különbséget. Felül az, amit a kérdés kíván, alul a szokásos alternatíva. Az első oszlopnál a torta a rangsorhoz drága: öt táblánál a tíz párból egy nem dönthető el a szögből, húsz táblánál viszont a százkilencven párból százhuszonnyolc — kétharmaduk. Közös tengelyen nulla, illetve hat. A második oszlopban UGYANAZ a torta van, ugyanazzal a leolvasási árral — csak most nem rangsorolni kell, hanem az egészhez viszonyítani, és ahhoz a nagyságrend elég. Nem a diagram lett jobb: a kérdés lett más. A harmadik és a negyedik oszlop viszont másfajta hiba, és ezt kérem, jegyezd meg.
52
Kétféle hiba, és csak az egyik javítható
A `w05-question` demó söprése: a párok hány százaléka nem dönthető el, kategóriaszám szerint.
Az előző ábra lényegét egyetlen görbe mondja el. A vízszintes tengelyen a kategóriák száma, a függőlegesen az, hogy a párok hány százaléka nem dönthető el szemre. A tortán öt kategóriánál tíz százalék, nyolcnál harminckilenc, tizenkettőnél hetven, húsznál hatvanhét. Közös tengelyen végig nulla és három között marad. Ez leolvashatósági hiba: az adat ott van, csak nehezen becsülhető, és nagyobb ábrával, feliratozással enyhíthető. A másik két hiba — a rendezett oszlop és a két külön oszlopdiagram — nem ilyen. Ott az adat nincs a rajzon. Az elsőt szebb rajzzal javítod, a másodikat semmivel.
53
Összefüggés: két tengely, egy pont egy megfigyelés
Tanpélda: tizennégy tábla nitrogénkijuttatása és hozama ugyanabban a szezonban.
Itt tizennégy tábla áll: a vízszintes tengelyen a kijuttatott nitrogén, a függőlegesen a hozam. Egy pont egy tábla. Nem vonal köti össze őket, mert nincs sorrendjük — nem idősor, hanem összefüggés. És látszik a lényeg: eleinte a több nitrogén több hozamot ad, a felső harmadban viszont ellaposodik, a végén már fogy. Ezt egyetlen átlagszám sem mutatná meg.
54
És ha nem tizennégy pont van, hanem negyvenezer
A `w05-overplot` demó kimenete. Ugyanez a cella a w05_vizualizacio.ipynb jegyzetfüzetben.
Ez a dia nem az én ábrám, hanem a tiéd: ezt a cellát a saját gépeden ugyanígy le tudod futtatni, és ugyanezeket a számokat kapod. Negyvenezer megfigyelésből négyezer-száznegyvenkettő látszik külön. A többi kilencven százalék egy korábbi pont korongja alá kerül, a legsűrűbb helyen százötvenhat megfigyelés van egyetlen jelölő alatt. A pontfelhő tehát nagy N-nél nem ábrázolja az adatot, hanem eltakarja.
55
Most te következel
Írd át az `N` értékét, és futtasd újra. Hol borul át a pontfelhő?
Az előző dián a mérés kimenete állt. Ez ugyanaz a mérés, de nálad fut, a böngésződben — telepítés nélkül. Nyomd meg a gombot, várd meg a futtatókörnyezetet, és utána írd át az N-t tízezerre. Nézd meg, hol borul át: hány megfigyelésnél kezd a pontfelhő többet elrejteni, mint amennyit megmutat. Ez a kérdés az egész héten visszatér, és nem tudom megválaszolni helyetted.
56
Ugyanaz az öt érték, rossz kérdésre
Tanpélda: ugyanaz az öt tábla, mint a rangsoros ábrán — most vonallal összekötve.
És egy ellenpélda, hogy a kódolás választása élesebb legyen. Ez ugyanaz az öt tábla, ugyanazokkal a hozamokkal, mint a rangsoros ábrán — csak vonallal összekötve. A vonal két dolgot állít, amit te nem akartál mondani. Az egyik: hogy a tábláknak sorrendjük van. A másik: hogy kettő között van köztes állapot. Nézd meg a Dűlő és a Patak menti közötti szakaszt. Mi van ott? Semmi. Nincs olyan, hogy két és fél tábla.
57
Kérdés
Nyolc tábla rangsora — melyik kódolás?
Egy jelentésben azt kell megmutatnod, hogy nyolc tábla közül melyiken termett a legtöbb, és mennyivel. Melyik kódolás a helyes?
Question
- 1. Tortadiagram, mert a nyolc tábla együtt adja a teljes területet.
- 2. Vízszintes pontdiagram közös tengelyen, hozam szerint rendezve.
- 3. Nyolc különböző színű kör, a méret arányos a hozammal.
Rangsor és különbség: pozíció kell hozzá. A rendezés ingyen van, és sokat ad. A harmadik válasz kétszeresen rossz: a terület a rangsor alja, ráadásul a kör sugarát szokás skálázni a terület helyett, és akkor a különbség négyzetesen torzul.
58
Az idő vízszintesen
Tanpélda: nyolc szezon hozama ugyanazon a táblán.
Az idősornál a vonaldiagram nem konvenció, hanem a helyes kódolás: a pozíció viszi az értéket, a meredekség pedig magát a változást — azt, ami a döntés szempontjából a leggyakrabban érdekel. Itt nyolc szezon hozama látszik. A szemed a meredekséget olvassa, és pontosan ezt kell.
59
Az adat–tinta arány, óvatosan
Kevesebb festék, ugyanaz az állítás — de a felidézhetőség is szempont.
Van egy szabály, amit gyakran idéznek: az ábra festékének minél nagyobb része hordozzon adatot. Jó iránymutatás. De nem dogma: mérések szerint a visszaemlékezésben a díszítés néha segít. A különbség az, hogy a díszítés sosem változtathatja meg, mit olvasol le. Ha megváltoztatja, akkor nem díszítés, hanem torzítás.
60
Amikor a festék nagy része nem hordoz információt
A `w05-overplot` demó ábrája: ugyanaz a negyvenezer megfigyelés pontfelhőn és sűrűségábrán.
Az adat–tinta arány elvont szabálynak hangzik, ezért itt van mérve. Negyvenezer megfigyelés egyetlen pontfelhőn. A rajzon rengeteg festék van — és ebből négyezer-száznegyvenkettő pont az, amelyik külön látszik. A többi, nyolcvankilenc egész hat százalék, egy korábbi korong alá került. A legsűrűbb helyen százötvenhat megfigyelés ül egyetlen jelölő alatt. Vagyis a festék kilencven százaléka nem hordoz információt: ott van, de nem mond semmit. Ez az az eset, amikor a kevesebb tinta valóban több állítás — a jobb oldali sűrűségábra ugyanennyi adatból a csomó nagyságát is megmutatja.
61
A döntéstámogatás hármasa
mutató ↦ mi a szám · viszonyítási alap ↦ mihez képest · cselekvési küszöb ↦ mikor kell lépni
Most lépjünk a műszerfalra. A műszerfal nem ábrák gyűjteménye, hanem kérdéssor. Minden eleméhez három dolog tartozik: a mutató, a viszonyítási alap, és a cselekvési küszöb. Ha a mutató nincs mihez mérve, akkor a szám nem hír. Ha nincs küszöb, akkor nincs döntés. És ha a küszöböt utólag mondod ki, az már nem döntési szabály, hanem magyarázkodás.
62
Kérdés
„Átlagos talajnedvesség: 23%” — mi hiányzik?
Egy üzemi műszerfalon ez áll: „Átlagos talajnedvesség: 23 százalék.” Mi hiányzik?
Question
- 1. Semmi: a szám és a mértékegység megvan.
- 2. A viszonyítási alap és a cselekvési küszöb — így nem tudod, jó-e és kell-e lépni.
- 3. A mérés pontossága, minden más rendben van.
A pontosság is hiányzik, de a döntéshez az kell, hogy mihez képest huszonhárom, és hány százaléknál kell öntözni. A harmadik válasz azért csábító, mert igaz — csak nem az a legfontosabb hiány.
63
A rész fogalmai
Feltáró adatelemzés · Felfedező ábra · Közlő ábra · Vizuális kódolás · Az észlelés rangsora · Adat–tinta arány · Műszerfal · Cselekvésre váltható mutató · Viszonyítási alap · Cselekvési küszöb
Ennyi az első rész. Ezeket a fogalmakat használtuk — a fogalomtárban mindegyik mellett ott a meghatározás.
64
Amitől az igaz adat hamisat mond
Négy torzítás, számmal mérve
A következő blokkban egyetlen hazugság sem lesz. Minden szám igaz, minden ábra pontos — és mégis mást fognak állítani, mint ami az adatban van. Ez a rész arról szól, hogyan.
65
A csonkolt tengely
Nem nulláról induló tengely: a különbség felnagyítva.
Az első a legismertebb. Ha a tengely nem nulláról indul, a különbségek felnagyítódnak. Oszlopdiagramon ez hiba, mert ott a hossz maga az érték: aki fél oszlopot lát, az fele akkora értéket olvas. Vonaldiagramon viszont gyakran indokolt — ott a meredekség az üzenet, nem a magasság.
66
Ez a hat egész nullától indul
Tanpélda: két szezon átlaghozama, a tengely 6,0-tól indul.
Két szezon átlaghozama, oszlopdiagramon, és a tengely alja hat egész. Nézd meg, mekkora a különbség. Az idei oszlop nagyjából két és félszer akkora, mint a tavalyi. Most olvasd le a számokat: hat egész tizenöt és hat egész ötvenkettő. A valódi eltérés hat százalék. Semmit nem hamisítottam — a tengely alját írtam át, és a többit a szemed csinálta.
67
Mennyivel nagyít — a képlet
A `w05-axis` demó ezt a hányadost számolja ki; a 41,0-es szám innen jön.
A nagyítás nem érzés, hanem hányados, és két sorban felírható. A számláló az, amit a szemed lát: a két oszlop magasságának aránya a csonkolt tengelyen, mínusz egy. A nevező az, ami az adatban van: a két érték aránya, mínusz egy. A mínusz egy azért kell, mert nem az arányokat hasonlítjuk össze, hanem a KÜLÖNBSÉGEKET — egy egészhez képest. A mi számainkkal ez negyvenegyszeres. És a képletből az is látszik, miért robban: ahogy a tengely alja a kisebbik értékhez közelít, a nevező marad, a számláló viszont minden határon túl nő.
68
Számold ki: mennyivel nagyít a csonkolás
A `w05-axis` demó esete: a tengely 6,0-tól indul, a kisebbik érték 6,15 — a levágott hányad 0,9756.
Egyetlen csúszka, és ez a dia egyik legszebb eredménye. A kérdés az volt, mennyivel nagyít a csonkolt tengely. A válasz az, hogy a nagyítás CSAK attól függ, a tengely aljával a tartomány hányadát vágtuk le — a konkrét értékektől egyáltalán nem. Told a csúszkát nulla egész kilencvenhét-öt-hatra: ez a demó esete, hat egész nulla osztva hat egész tizenöttel, és a nagyítás negyvenegyszeres. Most told nulla egész ötre: kétszeres. Kilencre: tízszeres. És figyeld meg, mi történik a jobb szélen — a szám nem tart semmihez, hanem elszáll.
69
Mekkora a nagyítás
6,0 % | A valódi változás | 6,15-ről 6,52 t/ha-ra · 3,5× | A látott magasságarány | a tengely 6,0-tól indul · 41× | A nagyítási tényező | ennyiszeresére nő a benyomás
Nézzük számmal. Két szezon átlaghozama: hat egész tizenöt és hat egész ötvenkettő. A valódi változás hat százalék. Ha a tengelyt hat egésznél vágjuk el, a két oszlop magasságának aránya három és fél lesz. A benyomás tehát negyvenegyszeresére nő ahhoz képest, amekkora a tényleges változás — és az ábra közben végig igazat mond.
70
A csonkolás mértéke, megmérve
A `w05-axis` demó ábrája: ugyanaz a két érték, kétféle tengelyaljjal.
A demó saját ábrája, mert a két rajz egymás mellett többet mond, mint a szám. Balra a nullától induló tengely: a két oszlop majdnem egyforma, ahogy a hat egész tizenöt és a hat egész ötvenkettő valóban majdnem egyforma. Jobbra ugyanaz hat egésztől indítva. A látott magasságok aránya három egész negyvenhét, a valódi változás hat százalék — negyvenegyszeres nagyítás.
71
A csonkolás futtatva
A `w05-axis` cellája: ugyanaz a két érték, kétféle tengelyaljjal, és a nagyítási tényező.
A cella itt fut. A csavar a tengely alja: told feljebb hat egész háromra, és nézd meg, hogyan nő a nagyítási tényező. Nincs olyan határ, ami fölött megállna — és éppen ez a lényeg. A csonkolás mértéke nem ízlés kérdése, hanem szám, amit ki lehet írni.
72
Mikor szabad elvágni
Nullától induljon: oszlop — a hossz maga az érték · halmozott sáv — az összeg is jelentés · terület — a kitöltés arányos | Indokolt lehet elvágni: vonal — a meredekség az üzenet · pontfelhő — a tartomány szűk · idősor szűk sávban — a változás kicsi, de valódi
A döntés a kódoláson múlik. Ha a hossz viszi az értéket, a tengelynek nulláról kell indulnia. Ha a pozíció és a meredekség viszi, a nulla gyakran csak üres helyet foglal — egy hőmérsékleti soron a nulla fok nem viszonyítási pont.
73
Példa: amikor a nulla elrejti a döntést
Tanpélda: talajnedvesség tömegszázalékban, nullától induló tengellyel. A beavatkozási küszöb 28 %.
És most az ellenpélda, mert az előbbi szabályt könnyű túltolni. Ez talajnedvesség, tizennégy mérés, és a tengely nulláról indul — ahogy az oszlopdiagramnál megköveteltük. Nézd meg, mit látsz. Egy majdnem vízszintes vonalat. Pedig a huszonhat egész nyolcas mélypont az öntözési küszöb alatt van, a harminchárom egész négyes csúcs pedig jóval fölötte. A nullától induló tengely itt nem becsületesebb, hanem használhatatlan: a döntéshez szükséges különbséget nyomta a vonalvastagságba.
74
Kérdés
Napi talajnedvesség, 22 és 28 % között — elvágható a tengely?
Egy jelentésben a talajnedvesség napi alakulását mutatod, huszonkettő és huszonnyolc százalék között. Elvághatod a tengelyt?
Question
- 1. Nem, tengelyt sosem vágunk el.
- 2. Vonaldiagramon igen, mert a meredekség az üzenet — de ki kell írni, hogy hol indul.
- 3. Igen, és nem is kell jelezni, mert a tengelyen ott vannak a számok.
A harmadik válasz a leggyakoribb gyakorlat, és éppen ezért veszélyes: a tengelyfeliratot az olvasók fele nem nézi meg. A jelzés nem a tengelyen van, hanem a mondatban, ami az ábrához tartozik.
75
A kettős tengely
Két skála, két önkényes döntés — és egy látszólagos összefüggés.
A második torzítás alattomosabb. Két különböző mértékegységet teszünk egy ábrára, két skálával. A két görbe metszéspontjai és az együttmozgás látszata teljes egészében attól függ, hogyan skáláztuk a két tengelyt — és ezt szabadon választottuk. Ugyanaz a két adatsor tetszőleges mértékben mutatható együttmozgónak.
76
Példa: amit a kettős tengely mutat
Tanpélda: nyolc év hozama és vegetációs csapadéka, mindkettő a saját tartományára feszítve — ez a kettős tengely.
Nézzük meg, hogyan néz ki ez a gyakorlatban. Nyolc év hozama és csapadéka, kettős tengelyen — vagyis mindkét sorozat a saját szélső értékei közé feszítve. Ezt látod: két görbe, amely hol együtt jár, hol keresztezi egymást, és a szem azonnal összefüggést olvas ki belőle. A négy metszéspont különösen meggyőző. Csakhogy egyik sem jelent semmit: ha az egyik skálát tíz százalékkal arrébb tolom, mind a négy elmozdul. Egy metszéspont, amely a skála beállításától függ, nem adat.
77
Ugyanaz a nyolc év, három jobb tengellyel
A `w05-dualaxis` demó ábrája: három jobb tengely, ugyanaz az adat, és az indexált változat.
Három kettős tengelyes ábra, ugyanabból a nyolc évből, és egyetlen szám sem változott köztük — csak a jobb oldali tengely alja és teteje. A bal oldalin a csapadék szinte vízszintesnek látszik: mintha alig ingadozna. A középsőn már együtt hullámzik a hozammal. A jobb oldalin vadul kileng, és hétszer metszi a hozamgörbét. Mindhárom becsületes abban az értelemben, hogy minden pont a helyén van, és mindhárom mást állít. A negyedik panel az indexált változat: egy tengely, egy döntés — és azt az egy döntést ki lehet mondani.
78
A kettős tengely futtatva
A `w05-dualaxis` cellája: ezerhatszáz jobb tengely, és az, amelyik a legtöbbet torzít.
Itt a cella. A csavar a söprés finomsága: durvítsd tízre a negyven helyett, és nézd meg, hogy ugyanazt a szélső esetet találja-e meg. Ha igen, a tanulság nem a söprés részletességén múlik. Ha nem, akkor tudod, hogy a demó a rács felbontásától függ — és ez is mérési eredmény.
79
Mit tegyünk helyette
Két ábra egymás alatt: közös időtengely — a szem összeveti · mindkettő a saját skáláján — nincs hamis metszés | Indexált közös skála: mindkettő a bázisidőszakhoz — százalékban · egy tengely elég — az arányok összevethetők | Pontfelhő: az egyik a másik ellen — ha az összefüggés a kérdés · a pont egy időszak — a metszés eltűnik
Három jó megoldás van a kettős tengely helyett, és mindhárom olvashatóbb nála.
80
Példa: ugyanaz közös alapra indexelve
Ugyanaz a két sorozat, mindkettő az első évhez mérve (1. év = 100 %).
És ugyanaz a két sorozat becsületesen. Mindkettőt az első évhez viszonyítjuk, százalékban — ez egyetlen, kimondott átalakítás, és mindkettőre ugyanaz. Most nézd meg, mi maradt az összefüggésből. A hozam egyenletesen nő, harmincegy százalékkal nyolc év alatt. A csapadék ingadozik, trend nélkül. A két görbe metszései eltűntek, és ami látszik, az az igazi történet: a hozam nő valamitől, ami nem a csapadék.
81
A terület és a sugár
Ha az érték a sugárra kerül, a látott különbség a négyzete.
A harmadik torzítás egy fél sor kód. A buborékdiagramnál az értéket a terület hordozza — de a rajzoló könyvtárak a sugarat várják. Aki az értéket a sugárra teszi, az a különbséget négyzetre emeli.
82
Példa: ugyanaz a 7,4 %, három kódolásban
A `w05-encoding` demó mért számai: két tábla, 4,91 és 4,57 t/ha.
És itt a szám, ami ezt élessé teszi. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét — hét egész négy százalék a különbség. Ha az értéket a TERÜLETRE teszed, a nagyobbik korong területe pontosan hét egész négy százalékkal nagyobb: helyes. Ha viszont a SUGÁRRA teszed, akkor a sugár lesz hét egész négy százalékkal nagyobb — a szem viszont a területet olvassa, és az a négyzettel nő, tehát tizenöt egész négy százalékot lát. A különbség megduplázódik, miközben te egyetlen számot sem hamisítottál. A mérést a demó végezte, nem én becsültem.
83
A terület és a sugár — a képlet
A szem a területet olvassa. Ha az érték a sugáron van, a látott különbség a valódi NÉGYZETE.
Itt a csapda képletben, és így egy pillanat alatt látszik. A korong területe a sugár NÉGYZETÉVEL arányos. Ha tehát az értéket a sugárra teszed, a szem — ami a területet olvassa — a valódi arány NÉGYZETÉT látja. A helyes kódolás fordítva megy: a sugarat a gyökből számolod, és akkor a látott terület aránya pont annyi, amennyi az érték aránya. A mi hét egész négy százalékos különbségünknél ez azt jelenti, hogy a helytelen kódolás tizenöt egész négy százalékos különbséget MUTAT.
84
A kódolások futtatva
A `w05-encoding` cellája: ugyanaz a 7,4 %-os különbség pozícióként, hosszként, szögként, területként és színként.
A cella itt fut. A csavar a torta sugara: duplázd meg, és nézd meg, mi történik a szögben mért különbséggel. A várakozás az, hogy semmi — a szög nem függ a sugártól. A pozícióban és a hosszban mért képpontszám viszont igen. Ebből látszik, miért nem lehet „nagyobb ábrával” megoldani a tortadiagram problémáját.
85
Mennyit látsz belőle
1,074 | A helyes területarány | az érték a területen · 1,154 | Amit a sugárra tett érték mutat | a szem a területet olvassa · 20 képpont | Ugyanez pozícióként | közös tengelyen, nincs mit félreolvasni
És itt jön a másik baj, ami a korongokkal van. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét, a különbség hét egész négy százalék. Ha helyesen kódolsz, vagyis az érték a TERÜLETEN van, akkor a korongok területaránya egy egész nullhetvennégy — pontosan annyi, amennyi a valódi különbség. Csakhogy az átmérőjük aránya ekkor már csak egy egész nullharminchét: három és fél százalék, amit szabad szemmel senki nem lát meg. Ha pedig az értéket a SUGÁRRA teszed, a szem akkor is a területet olvassa, és az a négyzettel nő: a látott arány egy egész tizenöt lesz. Ugyanaz a hét egész négy százalék egyszer eltűnik, másszor megduplázódik. Közös tengelyen mindkettő húsz képpont, és ott nincs mit félreolvasni.
86
A szivárványskála
A szivárványskála határvonalat rajzol oda, ahol az adatban nincs.
A negyedik a leglátványosabb. A szivárványskála sorrendi adatot ábrázol, de nem egyenletesen: a cián és a sárga környékén ugrik, másutt beáll. Ettől az ábra határvonalat rajzol oda, ahol az adatban nincs — és elrejt olyan különbséget, ami van.
87
A két skála, ahogy a szem látja
A `w05-colour` demó ábrája: mindkét skála normál látással és zöldtévesztéssel.
Eddig számokban beszéltünk a színskálákról. Itt van maga a kép. Felül a szivárványskála, alatta ugyanaz zöldtévesztéssel; alul az egyenletes, szintén kétszer. Nézd meg a szivárványon a cián és a sárga környékét: ott a szem határvonalat lát, pedig az adatban nincs semmi. Aztán nézd meg a jobb oldali oszlopot — a szivárvány színtévesztéssel nagyrészt összeomlik, az egyenletes viszont végig olvasható marad, mert a világossága folyamatosan nő.
88
Miben mérhető ez
0,39 | A szivárványskála egyenetlensége | a lépések relatív szórása · 0,19 | Az egyenletes skáláé | fele akkora ingadozás · 5 kontra 0 | Világosság-fordulat | ahányszor a skála sötétedni kezd
Két számmal mérhető. Az első: a színváltozás sebességének ingadozása a skála mentén — a szivárványnál kétszer akkora, mint az egyenletes skálánál. A második, és ez a perdöntő: hányszor fordul meg a skála világossága. A szivárványnál ötször, az egyenletesnél egyszer sem. Ezért olvashatatlan a szivárványskála fekete-fehérben, és ezért esik szét színtévesztő látással.
89
A világosság, lépésről lépésre
A CIELAB világosság a skála mentén. Tanpélda: tizenhárom egyenletes minta mindkét skálából.
Ez a két görbe a két színskála világossága, tizenhárom lépcsőn. A viridisé végig nő: minden nagyobb érték világosabb, tehát a skála fekete-fehérben is olvasható, és a szem sorrendet lát. A jeté felmegy, megáll, majd visszaesik — a kilencvenhármas csúcs után a huszonötig. Ez azt jelenti, hogy két nagyon különböző hozamérték azonos világosságú lehet. A hamis határvonal nem a színből jön, hanem ebből a fordulatból.
90
A skálák egyenletessége, megmérve
A `w05-colour` demó kimenete. Ugyanez a cella a w05_vizualizacio.ipynb jegyzetfüzetben.
Az előző dia a világosságot mutatta. Ez a cella a teljes mérést: a lépésenkénti színkülönbség szórása, a világosság irányváltásainak száma, és ugyanez színtévesztő látással is. Futtasd le magadnak — a jetről nem véleményem van, hanem mérésem.
91
Melyik skála mihez
Kategorikus: fajta, kezelés, tábla — nincs sorrend · elkülönülő árnyalatok — legfeljebb hét-nyolc | Sorrendi: hozam, nedvesség, index — van sorrend · egyenletes világosságmenet — sötéttől világosig | Divergáló: eltérés az átlagtól — van kitüntetett közép · két irány, semleges közép — a nulla legyen a közepe
A választás az adat fajtájától függ, nem az ízléstől. Kategorikus adatnál elkülönülő árnyalatok kellenek, sorrendinél egyenletes világosságmenet, divergálónál pedig egy kitüntetett középérték két irányban.
92
Mennyire egyenletes a skála — mérve
A `w05-colour` demó mérése: a leggyorsabb szakasz a medián színváltozási sebességhez képest. 1,0 a tökéletes.
Ez nem ízlés kérdése, hanem mérhető. A szám azt mondja meg, hogy a skála leggyorsabb szakasza hányszorosa a középértéknek: ha egy, akkor a skála végig ugyanolyan sebességgel változik, és minden egyforma adatkülönbség egyforma színkülönbségnek látszik. A szivárványskálán ez két egész négyszeres — vagyis a skála egyes helyein az adatban nem létező határvonal rajzolódik ki. Az egyenletes skálán egy egész három.
93
Ez hozzáférhetőség, nem ízlés
Ha a világosság is viszi a különbséget, az ábra színtévesztéssel és fekete-fehérben is olvasható.
Egy dolgot érdemes külön kimondani. A férfiak nagyjából nyolc százaléka színtévesztő. Ha az ábrád a piros és a zöld megkülönböztetésére épül, akkor minden tizenkettedik olvasód számára információt veszít — nem szépséget. A megoldás egyszerű: a világosság vigye a fő különbséget, a szín csak erősítse.
94
Az egyetlen szám, ami mindenkinél számít
A `w05-colour` demó mérése: ahányszor a skála világossága irányt vált.
És itt az a mérőszám, amelyik a színtévesztést és a fekete-fehér nyomtatást is túléli. Azt számolja meg, hányszor fordul irányt a skála világossága: hányszor kezd sötétedni, miután világosodott. A szivárványskálán ötször. Ez azt jelenti, hogy szürkeárnyalatosan öt helyen ugyanaz a szürke két különböző adatértéket jelöl — és ez nem javítható színválasztással, mert nem a színről szól. Az egyenletes skálán nulla.
95
Kérdés
Hozameltérés az üzemi átlagtól — melyik színskála?
Egy táblatérképen a hozam eltérését ábrázolod az üzemi átlagtól. Melyik színskála való hozzá?
Question
- 1. Szivárványskála, mert sok árnyalatot ad.
- 2. Divergáló skála, semleges középpel a nullánál.
- 3. Egyenletes sorrendi skála sötéttől világosig.
Az eltérésnek van kitüntetett középértéke: a nulla. Divergáló skála kell, hogy a pozitív és a negatív eltérés két irányba váljon el. A harmadik válasz sorrendi adatra volna jó — a nyers hozamra igen, az eltérésre nem.
96
A rész fogalmai
Csonkolt tengely · Kettős tengely · Perceptuális egyenletesség · Színskála · Színtévesztés · Ábraszemét
Ez a négy torzítás. Mind a négy ugyanúgy működik: az adat igaz marad, csak a leolvasás romlik el.
97
Amit az átlag elhallgat
Szórás, szélsőérték, és a tábla rossz sarka
Eddig arról volt szó, mitől romlik el egy ábra. Most arról lesz, mi marad ki a hibátlan ábrából is. A középérték a legkényelmesebb szám, és a legkevesebbet mondja arról, hogy mit kell csinálni.
98
A pontbecslés hiányos állítás
6,2 t/ha önmagában nem elég. A kérdés az, mekkora tartományban.
Ha egy jelentésben az áll, hogy a várható hozam 6,2 tonna hektáronként, az nem állítás, hanem félállítás. Hiányzik belőle, hogy mennyire biztos. A 6,2 plusz-mínusz 0,2 és a 6,2 plusz-mínusz 1,8 két különböző világ: az elsőben lehet szerződni, a másodikban tartalékot kell képezni. Ugyanaz a szám, ellentétes döntés.
99
Ugyanaz az idősor, egy sávval
Tanpélda: NDVI-medián és a tizedes kvantilisek egy üzem tábláin, tizenkét hétre.
Itt egy vegetációs időszak NDVI-görbéje látszik, tizenkét hétre, egy üzem összes tábláján. A vastag vonal a medián, a kitöltött sáv az alsó és a felső tized közötti tartomány. Nézd meg, hol tág a sáv és hol szűk: a kelés körül és a lezáráskor szétnyílik, a csúcson összezár. A medián önmagában ezt a szerkezetet teljesen elrejtené.
100
Honnan jön a sáv, ha nincs képlet
A `stat-bootstrap` demó ábrája: az újramintavételezett becslések eloszlása.
Van egy módszer, amivel akkor is kaphatsz sávot, ha az eloszlásra nincs szép képlet: újramintavételezés. Ezerszer visszateszedd a saját mintádat, mindegyikből kiszámolod a mutatót, és megnézed, hol szóródik. A demó ábrája ezt mutatja. Ez nem trükk — azt méri, mennyire ingadozna az eredményed, ha újra elvégeznéd a mintavételt.
101
Három mód, három olvasó
Hibasáv: tömör — de a széle nem szélsőérték, és ezt ki kell írni · Kvantilis-sáv: megnevezhető — alsó és felső tized, nem elvont szórás · Kvantilis pontdiagram: darabszám — húszból három esik kívülre, ezt a döntéshozó is olvassa
A bizonytalanságot háromféleképpen szokás megmutatni, és nem mindegy, kinek. A hibasáv tömör, de a legtöbben félreolvassák: azt hiszik, a sáv széle a lehetséges szélsőérték, pedig jellemzően egy szórás. A kvantilis-sáv ennél őszintébb, mert megnevezhető: alsó tized, felső tized. A kvantilis pontdiagram pedig darabszámmá alakítja — húsz pontból három a sávon kívül —, és ezt az emberek nagyságrenddel jobban értik.
102
Az ígért 95 % és a tényleges fedés
A `stat-coverage` demó mérése, 20 000 ismétlés mintanagyságonként. A névleges szint 95 %.
Egy sáv annyit ér, amennyit tényleg fed. Ez a mérés húszezer ismétléssel nézte meg, hogy a kilencvenöt százalékosnak szánt intervallum hányszor tartalmazza a valódi átlagot. Normális adaton tartja: végig kilencvenöt körül. Ferde adaton — és az agrárhozam ferde — nyolc elemű mintán nyolcvanhárom egész négy. Minden hatodik jelentés téved, pedig a sáv kilencvenöt százalékot ígért. Nyolcvan elemű mintán kilencvenegy egész egy: közelít, de még nyolcvannál sem éri el.
103
Az előző ábra, megmérve
A `stat-coverage` demó ábrája: a névleges 95 % és a tényleges lefedés, normális és ferde sokaságon.
Az előző dia azt állította, hogy a kilencvenöt százalék ígéret, nem garancia. Itt a mérés. Normális adaton, nyolcas mintán a lefedés kilencvenöt egész nulla százalék — az eljárás azt adja, amit ígér, tehát a mérőeszközünk rendben van. Ugyanez az eljárás erősen ferde adaton, ugyanakkora mintán nyolcvankettő egész hét. És ami ennél fontosabb: a kimaradás nem oszlik el egyenletesen. Tizenhét egész két százalék esetben az intervallum a valódi átlag ALATT maradt, és mindössze nulla egész egy százalékban fölötte. Az intervallum tehát nem csak szűk, hanem rossz helyen van. Nyolcvanas mintán ez kilencvenegy egész egyre javul.
104
Kérdés
Hozambecslés vezetői jelentésbe — melyik ábrázolás?
Egy üzemi jelentésbe kell a következő szezon hozambecslése. A vezető nem statisztikus, és gyorsan dönt. Melyik ábrázolás a legkevésbé félrevezető?
Question
- 1. Egyetlen szám, mert a részletek elvonják a figyelmet.
- 2. Átlag hibasávval, a sáv jelentése a képaláírásban.
- 3. Kvantilis pontdiagram: húsz pont, ebből ennyi esik a küszöb alá.
A harmadik azért jobb, mert nem kér absztrakciót. A hibasáv jelentését a képaláírásból kellene visszakeresni, és a legtöbben nem teszik meg — a sáv széle a fejükben szélsőértékké válik. A darabszám viszont közvetlenül döntéssé fordítható: húszból négy esetben a küszöb alatt maradunk.
105
Az átlag és a tábla rossz sarka
Tanpélda: öt tábla átlaghozama és alsó tizede, ugyanabban a mértékegységben.
Öt tábla átlaghozama, és mellette ugyanazon a tengelyen az alsó tized — vagyis az, ami a tábla leggyengébb részein terem. A második táblát nézd. Az átlaga a mezőny közepén van, a rossz sarka viszont másfél tonnával rosszabb bárki másénál. Ha csak az átlagot látod, ez a tábla rendben van. Pedig itt kell beavatkozni, és nem a negyediken, aminek az átlaga a legkisebb, de egyenletes.
106
Amikor az átlag az ellenkezőjét mondja
A `stat-simpson` demó ábrája: a csoportonkénti és az összevont irány.
Ez a demó egy olyan esetet mutat, ahol az összevont átlag és a csoportonkénti átlag ELLENTÉTES irányba mutat. Nem hiba, nem zaj: mindkettő helyesen van kiszámolva. A magyarázat az, hogy a csoportok mérete eltér, és ez a súlyozás fordítja meg az eredményt. Ezért nem lehet összevont átlagból csoportokra következtetni.
107
A beavatkozás a szélén kezdődik
Helyfüggő döntéshez helyfüggő szám kell. Az átlag nem az.
Ez a precíziós gazdálkodás alapgondolata. Az átlag a tábla egészére vonatkozik, a szakaszos kijuttatás viszont a részeire. Ha a döntés helyfüggő, akkor a hozzá tartozó szám sem lehet egyetlen átlag: a változékonyságot kell megmutatni, mert az beavatkozási térkép, nem díszítés.
108
A várható érték nem a döntés
A `stoch-mc` demó ábrája: a hektáronkénti eredmény eloszlása, a várható értékkel és az ötödik százalékossal.
Egy mérés arra, hogy a döntés tényleg a szélén dől el. Ugyanaz a hektáronkénti eredmény kétféleképpen kiszámolva. Aki a bemenetek átlagát helyettesíti be a képletbe — és a gyakorlatban szinte mindenki ezt teszi —, negyvenegyezer-kétszáz forintot kap. A teljes eloszlásból számolva a várható érték harmincezer-hatszázhuszonnégy: tizenegyezer forinttal kevesebb, pusztán attól, hogy a kifizetés nem lineáris. De nem is ez a lényeg. Nézd meg az ötödik százalékost: mínusz kilencvenötezer forint hektáronként. És azt, hogy az évek harminchét százaléka veszteséges. Ez a két szám hoz döntést, és a behelyettesítésből egyik sem derül ki.
109
Négy tábla egy ábrán
Tanpélda: négy tábla NDVI-je, tíz hétre. Melyik lóg ki?
Négy tábla NDVI-görbéje, egymásra rajzolva. Keresd meg, melyik tér el a többitől. Megvan? A harmadik: laposabb és később tetőzik. Nekem is három másodperc kellett hozzá, pedig én raktam oda. Négy görbénél ez még megy. Nyolcnál nem, tizenhatnál pedig már a legenda olvasása lesz a feladat, nem az ábráé.
110
Kis sokszorosok kontra animáció
Kis sokszorosok: közös tengely, alakhasonlítás — sok kategória, egy pillantás | Animáció: az idő a tengely — csak akkor, ha maga a változás a kérdés | Egymásra rajzolás: legfeljebb három-négy vonal, és csak ha metszik egymást
Ugyanez az adat kis sokszorosokban: négy apró ábra egymás mellett, közös tengellyel. A kilógó tábla azonnal látszik, mert a szem alakot hasonlít, nem vonalat követ. Az animáció ugyanezt időben teszi — az viszont csak akkor működik, ha az összehasonlítás iránya is az idő. Ha nem az, az animáció memóriafeladattá alakítja azt, amit a kis sokszoros egy pillantássá.
111
Nyolc tábla egy ábrán
Tanpélda: nyolc tábla havi NDVI-je egyetlen ábrán, egy vegetációs időszakra.
Itt van, miért nem megoldás mindent egymásra rajzolni. Ez nyolc tábla fenológiai görbéje, egyetlen ábrán, tisztességes színekkel. Keresd meg rajta a Homokit. Most keresd meg, melyik táblán kezdődött legkorábban a záródás. Nem megy — pedig az adat itt van, és a rajz nem rossz. Négy sorozatnál még megy, nyolcnál már nem: a görbék keresztezik egymást, és a szem nem tudja követni, melyik melyik.
112
Kérdés
Tizenkét tábla, egy oldal, egy kérdés: melyik lóg ki?
Tizenkét tábla talajnedvesség-görbéjét kell egy oldalon megmutatni, és az a kérdés, melyik viselkedik másképp. Mit rajzolsz?
Question
- 1. Tizenkét vonal egy ábrán, tizenkét színnel és legendával.
- 2. Kis sokszorosok: tizenkét apró ábra, közös tengellyel.
- 3. Animáció, amely táblánként lépteti a görbét.
A kérdés összehasonlítás, nem időbeli változás, tehát a kis sokszoros való rá. A tizenkét szín a vizuális rangsor alján van, és a legenda-visszakeresés minden görbénél újraindul. Az animáció pedig az összehasonlítást memóriafeladattá teszi: ami nincs egyszerre a szem előtt, azt fejben kell tartani.
113
A rész fogalmai
Bizonytalanság megjelenítése · Kis sokszorosok · Kvantilis-sáv — a becslés köré rajzolt sáv, amelyet nem a szórásból, hanem a megfigyelt eloszlás százalékos pontjaiból veszünk; ferde adaton ez a becsületes · Változékonyság — a táblán belüli szóródás; nem hiba, hanem a gazdálkodás tárgya · Precíziós gazdálkodás · Szakaszos kijuttatás — a dózis foltonként eltérő, a táblán belüli változékonyság szerint; ehhez kell tudni, hol és mennyire bizonytalan a becslés
Két fogalom, egy közös gondolattal: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó — alakot hasonlít és pozíciót olvas —, és nem azt, amiben rossz.
114
A műszerfaltól a döntésig
Mutató, viszonyítási alap, cselekvési küszöb
Az utolsó blokk. Eddig arról volt szó, hogyan olvasható egy ábra. Most arról, mikor ér valamit. A válasz rövid: akkor, ha megváltoztat egy döntést. Ami ezen kívül van, az jelentés — és a jelentés nem ugyanaz.
115
A műszerfal nem ábrák gyűjteménye
Nem az a kérdés, mit tudunk mérni. Az, hogy milyen döntést hozunk — és mi kell hozzá.
A rossz műszerfal úgy készül, hogy összeszedjük, mit tudunk mérni, és mindegyikből rakunk egy dobozt. A jó műszerfal fordítva: összeszedjük, milyen döntéseket hozunk hetente, és mindegyikhez rendelünk egy ábrát. A különbség a végén látszik: az elsőt megnézik és bezárják, a másodikat használják.
116
Egy műszerfal, amiből tényleg döntés lesz
A `stoch-markov` demó ábrája: állapotarányok és az ázott időszakok hossza.
Példa arra, milyen a döntésből visszafelé épített műszerfal. A kérdés nem az, hogy „mennyi a talajnedvesség” — hanem az, hogy hány gép kell a betakarítási ablakhoz. Ehhez három szám kell, és mind a három ezen az ábrán van. Az idény ötvennégy százalékában járható a tábla. Egy ázott időszak átlagosan két egész két napig tart. És egy ázott állapotba való visszatérés öt egész hét naponként jön. Ebből a háromból már tervezhető a géppark. Egyik szám sem a szimulációból jön, hanem az átmeneti mátrixból — a szimuláció csak megerősíti, legfeljebb nulla egész huszonhat százalékpontos eltéréssel.
117
Három dolog, ami nélkül nincs döntés
Mutató: amit mérünk — és a mértékegysége · Viszonyítási alap: amihez képest — tavalyi, terv, üzemi átlag · Cselekvési küszöb: ahol tennivaló keletkezik — és aki felel érte
Minden használható ábrán ott van mindhárom. A mutató az, amit mérünk. A viszonyítási alap az, amihez képest olvassuk — tavalyi év, üzemi átlag, terv, szomszéd tábla. A cselekvési küszöb pedig az a vonal, aminek az átlépése tennivalót jelent. A harmadik szokott hiányozni, és éppen az a döntés.
118
Mindhárom egy ábrán
Tanpélda: talajnedvesség tizennégy napra, a tavalyi azonos időszakkal és az öntözési küszöbbel.
Egy tábla talajnedvessége tizennégy napra. A középső vonal a mérés. A szaggatott a tavalyi év ugyanezen időszaka — ez a viszonyítási alap. Az alsó vízszintes a huszonkét százalék, az öntözési küszöb. Nézd meg a kilencedik napot: ott metszi a mérés a küszöböt, és a tavalyi görbe ekkor még két nappal fölötte jár. A döntés tehát nem az, hogy öntözni kell, hanem az, hogy a szokásosnál két nappal korábban.
119
A küszöb nem ízlés kérdése
A küszöböt a gyakoriság és a két hiba ára szabja meg, nem a szokás.
Honnan jön a huszonkét százalék? A legtöbb műszerfalon onnan, hogy valaki egyszer beírta. Pedig levezethető. Két dolog kell hozzá: milyen gyakori az a helyzet, amire figyelünk, és mennyivel drágább elszalasztani, mint fölöslegesen riasztani. Ebből a küszöb már következik, és a következő két ábra ezt mutatja meg.
120
A költség két tagja és az összegük
Tanpélda: gócjelző költsége ezer tőre, a jelzési küszöb függvényében. A gyakoriság 8 százalék, az elmaradt jelzés negyvenszer drágább.
Egy betegséggóc-jelző költsége, ezer tőre vetítve, a küszöb függvényében. A lefelé haladó görbe a téves riasztások ára: minél magasabbra tesszük a küszöböt, annál kevesebbszer megyünk ki fölöslegesen. A felfelé haladó az elmaradt jelzéseké, és ez a meredekebb, mert egy észrevétlen góc drágább. Az összegük U alakú, és a minimuma nem a felezőpontnál van, hanem nulla egész negyvenkettőnél.
121
Mennyibe kerül a megszokás
0,418 | Az optimális küszöb | zárt alakból és rácson is · 471 | Költség az optimumon | egység / 1000 tő · 577 | Költség a 0,50-es küszöbön | ugyanaz a modell · 18 % | Amit a megszokás visz el | csak a küszöb átállításával
Itt vannak a számok. A zárt alakból adódó optimum nulla egész négyszáztizennyolc, és a rácson végigszámolt minimum ugyanott van, négy tizedesjegyig. Ha a megszokott fél-fél küszöbnél maradunk, ezer tövön száztizenhat egységgel többet fizetünk: tizennyolc százalékkal. Ez nem modellhiba, hanem beállítási hiba — és nem látszik semmilyen pontossági mutatón.
122
Kérdés
Nagyobb gyakoriság, ugyanaz a költségarány — merre mozdul a küszöb?
A következő szezonban ugyanezt a modellt egy olyan üzemben használjuk, ahol a betegség sokkal gyakoribb. A költségarány nem változik. Merre mozdul az optimális küszöb?
Question
- 1. Fölfelé, mert több a beteg tő, tehát szigorúbbnak kell lenni.
- 2. Lefelé, mert egy jelzés nagyobb eséllyel talál valódi gócot.
- 3. Nem mozdul: a küszöb a modell tulajdonsága, nem a helyszíné.
Ha gyakoribb a baj, ugyanaz a jelzés nagyobb eséllyel valódi, tehát olcsóbb jelezni — a küszöb lefelé megy. A harmadik válasz a leggyakoribb tévedés: a küszöb nem a modellé, hanem a döntésé. Ugyanaz a modell két üzemben két különböző küszöbbel helyes.
123
A küszöb elcsúszik a körülményekkel
Az optimális küszöb a költségarány függvényében, két fertőzöttségi szintnél.
Ugyanaz a modell, ugyanazok a pontszámok, és mégis nyolc különböző helyes küszöb. A vízszintes tengelyen az áll, hányszor drágább egy elmaradt jelzés egy téves riasztásnál. A két görbe két üzem: az egyikben öt, a másikban húsz százalék a fertőzöttség. Ha valaki a fél-félnél marad, akkor a felső görbén tízszeres, az alsón ötszörös költségaránynál éppen eltalálja — máshol nem.
124
Amit a műszerfal nem tud
Küszöb felelős nélkül: színes jelentés. A cselekvési küszöbhöz név és határidő tartozik.
Egy dolgot a legjobb műszerfal sem old meg: nem tudja megmondani, ki lép. Ha a küszöb átlépéséhez nem tartozik név és határidő, akkor a piros szín önmagában nem intézkedés. A műszerfal utolsó oszlopa ezért nem szám, hanem felelős.
125
Amit a kihasználtsági mutató elhallgat
A `stoch-queue` demó mérése: egy kiszolgáló, véletlen érkezés — a sorban várakozók átlagos száma.
Egy utolsó példa arra, amit a műszerfal nem tud. Tegyük fel, hogy a szárító kihasználtságát mutatja, és a szám kilencven százalék. Ez a legtöbb műszerfalon zöld: majdnem tele van a kapacitás, jól gazdálkodunk. Nézd meg, mi történik közben a sorral. Ötven százalékos kihasználtságnál fél kocsi vár átlagosan. Kilencvennél nyolc egész négy. A terhelés egy egész nyolcszorosára nőtt, a sor tizenhatszorosára. Az utolsó tíz százaléknyi kihasználtság kerül a legtöbbe, és éppen ez az, amit a zöld szám elrejt.
126
A hét fogalmai
Műszerfal · Cselekvésre váltható mutató · Viszonyítási alap · Cselekvési küszöb · Költségaszimmetria — a téves riasztás és a kimaradt eset ára nem egyenlő; ebből jön a küszöb, nem a modellből · Döntéstámogatás — az ábra akkor ér valamit, ha megmondható, MELYIK döntés változik meg tőle
Ez volt az ötödik hét. Egyetlen mondatban: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó, és ha a végén valaki másképp dönt tőle.
127
A hét rövidítései
Rövidítés | Feloldás | Mit jelent · EDA | Exploratory Data Analysis — feltáró adatelemzés | az a szakasz, amelyben még a KÉRDÉST keressük, nem a választ · NDVI | Normalized Difference Vegetation Index | normalizált vegetációs index: (NIR − vörös) ÷ (NIR + vörös), a növényborítottság szokásos mérőszáma · RGB | Red, Green, Blue | a képernyő három alapszíne; a köztük mért távolság NEM felel meg az érzékelt különbségnek · CIE | Commission Internationale de l’Éclairage | a Nemzetközi Világítástechnikai Bizottság, amely a színmérés szabványait adja · CIELAB | CIE L*a*b* színtér | olyan színtér, amelyben a távolság közelítőleg az ÉRZÉKELT különbséggel arányos — a ΔE ebben mérhető · ΔE | Delta E — színkülönbség | két szín érzékelt távolsága CIELAB-ban; nem érintkező foltoknál tízes érték alatt bizonytalan · WSL | Windows Subsystem for Linux | a Windows alatti Linux-környezet, a telepítési útmutató egyik útja
A hét rövidítései. Az EDA-t érdemes külön megjegyezni, mert ezt a szakaszt a gyakorlatban a legtöbbször kihagyják — és a rövidítés ismerete nélkül a szakirodalomban sem találja meg az ember.
128
Ugyanaz az öt szám, hat diagramtípuson
Mind a hat panel ugyanazt az öt hozamot rajzolja: a kódolás dönti el, mit olvasol le róla.
Mielőtt a táblázat jön, nézd meg őket egymás mellett. Mind a hat panel ugyanazt az öt tábla-hozamot rajzolja, egyetlen szám sem különbözik köztük — a különbség tisztán a kódolásé. Az oszlopon a hosszt olvasod, a vonalon a meredekséget, a pontfelhőn két mennyiség együttállását, a tortán a rész-egész arányt, a sávon a becslés körüli bizonytalanságot. A tortán figyeld meg, hogy a közeli szeletek sorrendje szemre nem dönthető el — ezt a hét elején meg is mértük. A hatodik panel viszont nem rajztípus: az a demó saját ábrája, amit a dia rajzolója nem tud megcsinálni.
129
Ebben a diasorban ezek a diagramtípusok szerepeltek
diagramtípus | mit olvasol le róla | mire NEM jó · oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta · vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs · pontfelhő | két mennyiség együttmozgása, egy pont egy megfigyelés | időbeli sorrend: a pontokból nem derül ki, melyik volt előbb · torta | nagyságrendi rész-egész arány — „nagyjából mennyi az egész” | rangsorolás: közeli szeletek sorrendje szemre nem jön ki · sáv | a bizonytalanság nagysága a becslés körül | a pontbecslés pontossága: a sáv szélessége nem a modell jósága · demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián
Záró összefoglaló, és egyben a hét gyakorlati lenyomata. Ezek a diagramtípusok fordultak elő a diasorban — és a középső oszlop a fontos: mit olvasol le róla. A jobb oldali még fontosabb: mire NEM jó. A hét tétele ez volt, hogy az ábra érv; a választás pedig a kérdésből következik, nem az ízlésből. Ha a saját anyagodban végigmész ezen a táblázaton, és minden ábrádhoz oda tudod írni a középső oszlopot, akkor az ábráid érvek.