Data visualisation and decision support
Miből következik a diagramválasztás, mi torzít, és mikor lesz egy műszerfalból döntés.
The semester
Tíz perc, és a saját gépeden ugyanazok a számok
Aki lefuttatja, az azt is megtudja, mikor nem igaz az állítás.
Az adatelemzésben a legveszélyesebb mondat az, hogy „a szakirodalom szerint”. Nem azért, mert a szakirodalom téved, hanem mert aki csak idézi, az nem tudja, mikor nem érvényes. Ha viszont lefuttatod, és átírsz egy paramétert, akkor megtudod, hol borul fel az állítás. Ezért van minden diához tartozó szám mögött egy szkript, amit el tudsz indítani.
A `w05-overplot` demó „elfedve” száma, öt véletlenmagon futtatva.
Mielőtt bármit elhiszel tőlem, itt van, mit jelent az, hogy „futtasd le magad”. Ez a `w05-overplot` demó kulcsszáma öt különböző véletlenmaggal: nyolcvankilenc egész egy és nyolcvankilenc egész kilenc között szóródik. Ebből két dolog következik. Az egyik: a mérés megismételhető, tehát lehet rá építeni. A másik, kellemetlenebb: a „nyolcvankilenc egész hat százalék” egy tizedesre nem reprodukálható szám. Kilencven százalék körül — ennyit szabad állítani.
A telepítő négy dolgot csinál, de neked egy parancsot kell kiadnod. Először gondoskodik a Pythonról — ha nincs a gépeden, letölti. Aztán készít egy külön környezetet, hogy a kurzus csomagjai ne keveredjenek másik projektedével. Telepíti a csomagokat. Végül bejegyez egy Jupyter-kernelt, hogy a jegyzetfüzet megtalálja a saját környezetét.
aztán ÚJ ablak, majd cd scripts és .\setup.ps1
aztán új héj, majd cd scripts és ./setup.sh
kilépési kód 0, ha minden megvan
Egy előfeltétel van: az uv. Ez nem csak gyorsabb a hagyományos telepítőnél, hanem a Pythont is telepíti — és Windowson pont ez a különbség a működő és a nem működő telepítés között, mert ott a python parancs alapból egy áruházi parancsikon, nem értelmező. Telepítés után nyiss új ablakot, különben a rendszer még nem tud az uv-ról.
A cella betöltése…
Ez az első mérés, amit lefuttatsz. Nem a vizualizációról szól, hanem arról, hány mintaelem kell ahhoz, hogy egy adott különbséget egyáltalán észrevegyünk. A cellát a jegyzetfüzetben megtalálod; ha ugyanezek a számok jönnek ki nálad, akkor a környezet rendben van, és mehetünk tovább.
bármelyik héthez
A jegyzetfüzetek nem tartalmaznak mérési kódot. A demócsomagot hívják, és a te dolgod a paraméterek átírása — ez a feladat, nem a kód újragépelése. Minden demóhoz három cella tartozik: a futtatás, egy söprés öt véletlenmagon, és ahol van értelmes csavar, egy paraméter-feladat.
A hibaüzenetek láncban jönnek. Az első az ok, a többi a következménye.
Egy szokást kérek, és ez nem csak a telepítésre igaz. A hibaüzenetek láncban jönnek: az első az ok, a többi a következménye. Ha a telepítő félúton elszáll, és utána azt írja, hogy nincs virtuális környezet, akkor nem két hibád van, hanem egy. Görgess vissza az elsőig.
csomag- és környezetkezelő; egyetlen paranccsal felállítja a Pythont, a környezetet és a csomagokat
a kurzus csomagjai elkülönítve a gép többi Python-projektjétől; így nem írnak felül semmit
az a Python, amit a jegyzetfüzet ténylegesen futtat; a regisztrálás köti össze a kettőt
a kurzus mérései telepíthető csomagként; ugyanaz fut a dián, a jegyzetfüzetben és a böngészőben
a sorsolás kiindulópontja; ugyanaz a mag ugyanazokat a számokat adja, ezért reprodukálható a mérés
a diákon szereplő szám a te gépeden is előáll, és ha átírsz egy paramétert, látod, mi változik
Ha a check_env végigfutott, mindened megvan. A következő órán az első kérdés az lesz, hogy mitől lesz egy ábrából érv.
Átlag, momentumok, szórás, nagy számok törvénye — képlettel és méréssel
A várható érték a sokaságé, és rögzített. A mintaátlag a mintáé, és véletlen.
Kezdjük a legtöbbször összekevert párral. A várható érték a SOKASÁGÉ: az a szám, ami akkor jönne ki, ha az összes lehetséges megfigyelést a valószínűségével súlyozva átlagolnánk. Nem tudjuk kiszámolni, mert a sokaság nincs a kezünkben. A mintaátlag az, amit ki tudunk számolni — és ez a várható érték egy BECSLÉSE. Futásonként más jön ki belőle; hogy mennyivel más, az a blokk vége felé jön elő, és ott már számolni is fogunk vele.
Két középérték, két veszteségfüggvény. A négyzet bünteti a nagy eltérést, tehát az átlag odahúz.
Az átlagot nem megegyezésből használjuk. Van rá tétel: az átlag az az EGYETLEN szám, amelytől vett négyzetes eltérés összege a legkisebb. Ha ugyanezt abszolút eltéréssel kérdezed, nem az átlag jön ki, hanem a medián. Vagyis a két középérték nem két ízlés, hanem két KÉRDÉS válasza — és a kérdés a veszteségfüggvényben van elrejtve. Ebből mindjárt következik az is, melyik mikor rossz.
Az ábra betöltése…
Itt a két görbe. Fölül a négyzetes eltérés összege, alul az abszolút — mindkettő ugyanarra a tizenöt tábla hozamára, és a vízszintes tengelyen az a c, amivel a mintát helyettesítenénk. A szürke pontok maguk a megfigyelések. Nézd meg a két minimumhelyet: nem esnek egybe. A felső parabola alja az átlag, az alsó törtvonalé a medián. És vedd észre az alakjukat is: a négyzetes görbe messze meredekebben nő, ahogy a széle felé megyünk — ez az, amit „bünteti a nagy eltérést” alatt értünk.
Az átlag elmozdulása arányos Δ-val, a mediáné korlátos — akkor is, ha Δ végtelen.
Ebből következik a gyakorlati különbség. Ha EGYETLEN megfigyelést deltával odébb teszel, az átlag delta per n-nel mozdul el — akármekkora is a delta. A medián viszont legföljebb a szomszédos rendezett értékig megy, és ott megáll, akkor is, ha a kiugró érték a végtelenbe tart. Ez a robusztusság, és nem elvont: egy elgépelt tizedesvessző az átlagot elviszi, a mediánt nem.
Az ábra betöltése…
A mérés ugyanez, képben. A vízszintes tengelyen az áll, mennyivel tolunk el egyetlen megfigyelést; a két görbe az átlag és a medián. Az átlag egyenes, és a meredeksége pontosan egy per tizenöt, nulla egész nulla hatvanhét. A medián lép egyet, amikor a kiugró érték átlépi a középső elemet — és onnantól vízszintes. Ez a kép a robusztusság meghatározása: nem az, hogy „nem érzékeny”, hanem hogy KORLÁTOS a hatás.
Egy képlet, négy mérőszám. A k határozza meg, mit mér: helyzetet, terjedelmet vagy alakot.
Most jön az a fogalom, ami a többit egy rendszerbe köti: a momentum. A k-adik centrális momentum az átlagtól vett eltérés k-adik hatványának az átlaga. Nézd meg, mi jön ki az első négyből. Az első definíció szerint nulla. A második a variancia. A harmadikból lesz a ferdeség, a negyedikből a csúcsosság. Tehát nem négy különálló képletet kell megjegyezni, hanem egyet, és hozzá azt, hogy a k mit csinál.
Az n-nel osztó becslés (n−1)/n arányban becsül alá. Öt elemű mintán ez 20 százalék.
A második momentum a variancia, és itt van a kurzus egyik legtöbbet félreértett részlete: a nevező. Ha a VALÓDI átlagtól mérnénk az eltéréseket, n-nel osztanánk. De nem attól mérünk, hanem a mintaátlagtól — és a mintaátlag pont oda esik, ahol az eltérések összege a legkisebb. Vagyis rendszeresen alulmérünk. Az n mínusz egy ezt javítja ki, és nem közelítőleg: várható értékben pontosan.
Az ábra betöltése…
Itt a mérés: negyvenezer ismételt minta, hat elemszámon, és minden oszlop azt mutatja, hogy a becslés a valódi variancia hányadrészét adja vissza. A szaggatott vonal az egy — ott lenne a helyes érték. A terrakotta oszlopok az n-nel osztó becslés: kettes mintán a valódi variancia felét adják. A szürke pont rajtuk a KÉPLET szerinti érték, n mínusz egy per n — és rajta ülnek. A sötétkék oszlopok az n mínusz eggyel osztó becslésé, és mind az egyen állnak.
A ferdeség irányt mond, a csúcsosság a farkak súlyát. Mindkettő mértékegység nélküli.
A harmadik és a negyedik momentum. A ferdeség előjele megmondja, melyik oldalra nyúlik a hosszú farok: pozitív, ha jobbra. Az agrárgazdasági mennyiségek többsége ilyen — a kártétel, az állásidő, a javítási költség nem lehet negatív, fölfelé viszont nincs határa. A csúcsosság azt mondja meg, mennyi tömeg ül a farkakban a normálishoz képest. Ez a kettő az, amit az átlag és a szórás NEM mond meg.
Az ábra betöltése…
És itt a következmény, ami miatt az egész momentumos rész a diasorban van. Három minta. Mindháromnak az átlaga nulla, a szórása egy — nem körülbelül, hanem tizenhat tizedesjegy pontossággal, mert a konstrukció így állította be. A ferdeségük és a csúcsosságuk viszont más, és a hisztogramjuk ránézésre semmiben nem hasonlít. Aki tehát átlagot és szórást közöl, ezt a hármat nem különbözteti meg. Ez a legjobb érv amellett, hogy eloszlást mindig RAJZOLNI kell, nem összefoglalni.
A cella betöltése…
Itt a másik demó cellája. A csavar a kiugró érték nagysága: told negyvenre, és nézd meg, hogy az átlag elmozdulása pontosan követi-e a delta per n képletet, a medián pedig megáll-e a korlátnál. A harmadik ábrán pedig azt figyeld, mi történik a három hisztogrammal — az átlaguk és a szórásuk a konstrukció miatt akkor is azonos marad.
A szórás az adaté és nem csökken a mintával. A standard hiba a becslésé, és 1/√n szerint csökken.
Most jön az a képlet, amit a kurzus a legtöbbször használ, és egyben a leggyakrabban félreértett. A szórás az ADAT szóródása: hogy a táblák hozama mennyire szór egymás körül. A standard hiba a BECSLÉS szóródása: hogy ha újra mintát vennénk, mennyire lenne máshol az átlagunk. A kettő nem ugyanaz, és a különbségük az a gyök n a nevezőben. Ha ezt összekevered, a sávod vagy gyökn-szer túl széles, vagy gyökn-szer túl szűk lesz.
A `stat-nagyszamok` demó sokasága: exponenciális, σ = 6,00 t/ha.
SE=6 / sqrt(30)=1,1t/ha
Húzd a csúszkát, és nézd, mi mozdul.
Az ábra betöltése…
A mérés: minden elemszámhoz negyvenezer mintát veszünk, kiszámoljuk a mintaátlagokat, és megnézzük, mennyire szórnak. Logaritmikus tengelyen a hatványfüggvény egyenes lesz, a meredeksége pedig maga a kitevő. A mért kitevő mínusz nulla egész ötezer-négy — az elméleti mínusz fél. A szaggatott piros vonal a szigma per gyök n képlet, és a mért pontok rajta ülnek. Ez az a fajta dia, amit érdemes átírni és újrafuttatni: állítsd át az ismétlésszámot ezerre, és nézd meg, mikor kezd el táncolni a kitevő.
Egy kísérletben száz parcellából mérsz átlagot, és a standard hiba 0,4 t/ha. A vezetőd azt kéri, hogy feleannyi legyen. Hány parcella kell hozzá?
Egy kísérletben száz parcellából mérsz átlagot, és a standard hiba 0,4 t/ha. A vezetőd azt kéri, hogy feleannyi legyen. Hány parcella kell hozzá?
A mintaátlag normálishoz tart, és a ferdesége 1/√n szerint tűnik el.
És a blokk utolsó tétele, ami miatt az egész normális közelítés egyáltalán működik. A tétel azt mondja: akármilyen az eredeti eloszlás — lehet erősen ferde, lehet diszkrét —, a mintaátlag eloszlása a normálishoz tart, ahogy n nő. És a közeledés sebessége is ismert: a ferdeség gyök n szerint tűnik el. Ebből két dolog következik. Az egyik, hogy nagy mintán szabad normálist feltételezni. A másik, ami fontosabb: KIS mintán erős ferdeségen NEM szabad.
Az ábra betöltése…
Négy kép, egy erősen ferde exponenciális sokaságból. Balra a kettes minta átlaga: még látszik rajta a farok, a ferdeség egy egész negyvenhárom. Ahogy jobbra megyünk, a hisztogram ráül a piros normális görbére, és a ferdeség fogy: nulla egész nyolcvankilenc, nulla egész harmincnyolc, nulla egész huszonkettő. Minden panel alatt ott áll a kettő per gyök n képlet szerinti érték is — és egyezik. Ez tehát nem szemlélet: a közeledés sebessége kiszámolható.
A kovariancia a két szórással leosztva. Mértékegység nélküli, tehát összehasonlítható — de csak a lineáris részt méri.
Egy utolsó mérőszám, mert a következő hetekben végig használjuk. A korrelációs együttható a LINEÁRIS együttmozgás mérőszáma, mínusz egy és egy között. Három dolgot NEM mond meg, és mind a három drágán kijön. Nem mond meg okságot. Nem mond meg nemlineáris kapcsolatot — egy tökéletes parabolára nulla is lehet. És nem mond meg semmit az adat alakjáról: ugyanahhoz az r-hez merőben eltérő pontfelhők tartozhatnak.
| mérőszám | mit mond meg | mit NEM mond meg |
|---|---|---|
| átlag x̄ | a minta súlypontja, a négyzetes eltérés minimumhelye | robusztusság: egyetlen kiugró érték Δ/n-nel elviszi |
| medián | a középső érték, az abszolút eltérés minimumhelye | a farok: a szélső értékek nagysága nem látszik rajta |
| szórás s | az adat szóródása a saját mértékegységében | az alak: azonos szóráshoz merőben eltérő eloszlás tartozhat |
| ferdeség γ₁ | melyik oldalra nyúlik a hosszú farok | mekkora: az irányt mondja, nem a szélsőérték nagyságát |
| csúcsosság γ₂ | mennyi tömeg ül a farkakban a normálishoz mérve | kis mintán semmit: maga is erősen ingadozik |
| standard hiba σ/√n | a BECSLÉS bizonytalansága, 1/√n szerint csökkenve | független megfigyelést feltételez: idősoron alulbecsül |
| korreláció r | a lineáris együttmozgás iránya és erőssége | okságot, nemlineáris kapcsolatot és az adat alakját |
Összefoglalás egy táblázatban, és a harmadik oszlop a fontos. Minden mérőszám egy KIVONAT: az adatból kevesebb. A kérdés soha nem az, hogy jó-e a mérőszám, hanem az, hogy amit elhagy, az számít-e a mostani kérdéshez. Ha ezt a táblázatot a saját adatodra ki tudod tölteni, akkor tudod, mit veszítesz, amikor összefoglalsz.
A cella betöltése…
A blokk két demója itt fut, a böngészőben. Az érdekes csavar az ismétlésszám: állítsd négyezerre, és nézd meg, hogy az illesztett kitevő mennyire távolodik el a mínusz féltől. Ebből megtudod azt is, amit egy képletből nem lehet: hogy MEKKORA mintán mérhető egy ilyen kitevő megbízhatóan. A másik demónál a kiugró érték nagysága a csavar — told negyvenre, és nézd meg, mennyit mozdul az átlag, és mennyit a medián.
Ennyi az ismétlés. Ezek a fogalmak innentől adottnak számítanak — ha valamelyik bizonytalan, a fogalomtárban mindegyik mellett ott a meghatározás, és mindegyikhez tartozik egy futtatható mérés.
05. hét · Az ábra nem illusztráció, hanem érv
Az ábra érv. Ha nem tartozik hozzá döntés, dísz.
Kezdjük a legfontosabbal. Egy ábra állít valamit. Ha nem tudod megmondani, milyen döntés változik meg tőle, akkor nem érv, hanem dísz. És ha a döntés attól változik meg, hogyan skáláztad a tengelyt, akkor nem érv, hanem manipuláció — akkor is, ha nem szántad annak.
Az ábra betöltése…
Hogy a tétel ne maradjon jelszó, itt egy ábra, amiből egyenesen következik egy döntés. A kérdés: hány parcella kell ahhoz, hogy egy harminc kilós hozamkülönbséget négyszer öt esetből meglássunk. A görbe megmondja. Négy parcellával tizenegy százalék az esély — vagyis a kísérlet kilencszer tízből elmulasztja a meglévő különbséget. Hattal tizenhat. Hússzal negyvenhat. A nyolcvan százalékhoz negyvenhat parcella kell kezelésenként. Ebből az ábrából tehát nem „érdekesség” lesz, hanem vetésterv. Ha egy ábrához nem tartozik ilyen mondat, akkor dísz.
Az ábra betöltése…
Mielőtt bármit mondanánk arról, hogy az ábra érv, nézzük meg, mennyire nem mindegy, mivel kódolunk. Ez a demó két tábla hozamát veszi — négy egész kilencvenegy és négy egész ötvenhét, hét egész négy százalék a különbség —, és megmutatja, mekkorának LÁTSZIK ez a különbség ötféle kódolásban. Pozícióként húsz képpont, szögként négy egész három fok, sugárarányként három egész hét százalék. Ugyanaz az adat, és a szem öt különböző dolgot lát.
Az adat nem tudás. A mérés adatot ad, az adatból ábra lesz, az ábrából értelmezés, abból döntés, a döntésből beavatkozás — és a beavatkozás hatása megint mérhető. Az ábra ennek a láncnak a közepén áll, azon a ponton, ahol az ember belép a hurokba. Ezért érdemes vele kezdeni a félévet: az ábra kényszerít rá, hogy kimondd, mit akarsz tudni.
Feltáró adatelemzés (EDA)az a szakasz, amelyben még a KÉRDÉST keressük — az eloszlásokat, a hiányzó értékeket, a szélsőértékeket, a páronkénti összefüggéseket és a csoportokat nézzük át —, mielőtt bármit modelleznénk.
ez dönti el, melyik elemzésnek van egyáltalán értelme
gyors, csúnya, sok van belőle
a kimondott kérdés és a hozzá illő módszer
Egy szakasz, aminek a neve sokszor elsikkad: a feltáró adatelemzés. Angolul exploratory data analysis, rövidítve E-D-A. A meghatározás a dián áll, és a benne lévő szó a fontos: kérdés. Ebben a szakaszban még nem a választ keresed, hanem azt, hogy mi a jó kérdés — és hogy az adat egyáltalán alkalmas-e a megválaszolására. Sokan előkészületnek tekintik a „valódi” elemzéshez; pedig ez dönti el, hogy melyik elemzésnek van értelme. Az oldalsó rajz egy mért példa arra, mit visz el, aki kihagyja: ugyanaz a kilenc tábla, összevonva és táblán belül, ellentétes előjelű meredekséggel.
A sorrend nem önkényes: minden lépés azt tisztítja meg, amire a következő épül. Először egyenként nézed az oszlopokat — milyen az eloszlásuk, van-e ferdeség, hol vannak a szélsőértékek. Aztán a hiányt: hol nincs érték, és mit jelent a hiánya. Aztán a mértékegységet és a kulcsot: egyféle egység van-e az oszlopban, egyedi-e a sor. Csak ezután jönnek a páronkénti összefüggések, mert egy rossz egységű oszloppal korrelálni értelmetlen. És legvégül a csoportok: ugyanaz az összefüggés igaz-e minden táblán, minden évben, minden fajtán. Ha ezt a lépést kihagyod, Simpson-paradoxont viszel tovább.
| a feltárás lépése | mit fog meg | mérve, és melyik demóban |
|---|---|---|
| Eloszlás oszloponként | ferdeség, szélsőérték | a 95 %-os intervallum valójában 82,7 %-ot fed — `stat-coverage` |
| Hiányzó érték | jelölt hiány, hibás nulla | a −999 az átlagot −314 %-kal viszi el — `w07-quality` |
| Mértékegység és kulcs | kevert egység, duplikátum | a t/hold 2,2 %-ot mozdít, csendben — `w07-quality` |
| Páronkénti összefüggés | elfedés, látszatösszefüggés | 40 000 pontból 89,6 % takarásban — `w05-overplot` |
| Csoportonként ugyanaz-e | Simpson-paradoxon | az előjel megfordul: −0,0439 kontra 0,0114 — `stat-simpson` |
És hogy ez ne jámbor jótanács maradjon: minden lépéshez tartozik a kurzuson egy demó, amelyik megmutatja, mit fog meg, és mekkorát. Az eloszlásnál a ferdeség: a kilencvenöt százalékosnak hirdetett intervallum nyolcvankettő egész hetet fed le, ha az adat ferde és a minta kicsi. A hiányzó értéknél a mínusz kilencszázkilencvenkilences jelölt hiány: háromszáztizennégy százalékos eltérés az átlagban. A mértékegységnél a tonna per hold: mindössze két egész két százalék, és éppen ezért veszélyes, mert semmi nem szól érte. A szélsőértéknél az elfedés: negyvenezer pontból a kilencven százaléka takarásban. A csoportoknál pedig az előjelváltás. Öt lépés, öt mért szám.
csúnya lehet
húsz ábra egy délután
nem a választ mutatod
mindent ez szolgál
nem neked
a rács is döntés
Két ábrafajta van, és más a mércéjük. A felfedező ábrát magadnak rajzolod: gyors, csúnya, és sok van belőle. A célja az, hogy megtaláld a kérdést. A közlő ábrát másnak rajzolod: egyetlen állítást visz, és minden eleme azt szolgálja. A leggyakoribb hiba az, hogy a felfedező ábra kerül be a vezetői anyagba — és ott már nem segít, hanem elrejt.
A `w05-overplot` demó mérése: 5 képpontos jelölő, csomós adat.
Egy mért példa arra, miért nem azonos a két ábrafajta mércéje. Negyvenezer megfigyelést raktunk egy pontfelhőre. Ebből négyezer-száznegyvenkettő látszik külön pontként — a többi takarásban van. A felfedező ábránál ez elfogadható: te tudod, mi van mögötte, és tovább kattintasz. Közlő ábrán viszont ugyanez azt jelenti, hogy a néződ a pontok kilenc százalékát látja, és arról hoz döntést.
A `w05-overplot` demó ellenőrzése: mért 14 843, a képlet szerint 14 877 — 0,23 % eltérés.
Az elfedésre van zárt alak, és érdemes megnézni, mert megmondja, mikor nincs értelme pontfelhőt rajzolni. Ha a rajzterületen M jelölőnyi rácshely van, és N pontot szórunk rájuk egyenletesen, akkor egy adott rácshely akkor marad üres, ha mind az N pont elkerüli — ennek az esélye egy mínusz egy per M, az N-edik hatványon. A látható helyek várható száma ebből jön. A demó ezt meg is méri: a mért és a képlet szerinti érték huszonhárom század százalékon belül egyezik.
A cella betöltése…
Itt a cella. A csavar a kategóriaszám: állítsd háromra és negyvenre. Három szeletnél a torta még teljesen rendben van; negyvennél a párok döntő többsége eldönthetetlen. A kettő között van egy tartomány, ahol a válasz attól függ, mit kérdezel — és pontosan ez a demó mondanivalója.
Kaptál egy ábrát, amin tizenkét görbe fut egymáson, mindegyik más színnel, jelmagyarázat nélkül. Hova való?
Kaptál egy ábrát, amin tizenkét görbe fut egymáson, mindegyik más színnel, jelmagyarázat nélkül. Hova való?
Az ábra betöltése…
Vizuális kódolásaz adat és a grafikus tulajdonság megfeleltetése.
Amikor ábrát rajzolsz, egy döntést hozol: melyik adatot melyik grafikus tulajdonság hordozza. Az érték lehet pozíció, hossz, szög, terület, szín vagy alak. Ezt hívjuk vizuális kódolásnak, és ez a diagramtípus előtti döntés — a diagramtípus már csak következmény.
Példaérték ↦ pozíció · érték ↦ hossz · érték ↦ szög · érték ↦ terület · érték ↦ színárnyalat
És most jön az, amitől ez nem ízlés kérdése. Megmérték, melyik kódolást olvassuk pontosabban. A sorrend: közös tengelyen mért pozíció a legpontosabb, utána a hossz, aztán a szög, a terület, végül a színárnyalat. A rangsor tetején tíz százalék alatti leolvasási hiba van, az alján többszörös tévedés. Ebből következik a diagramválasztás — nem fordítva.
A szög a rangsor közepe. A pozíció a teteje.
Innen már következik. A tortadiagram szöggel kódol, a szög a rangsor közepén áll. Ha két szelet közel egyforma, nem tudod megmondani, melyik a nagyobb — hiába van ott a szám. Ugyanaz az adat pontdiagramon, közös tengelyen, azonnal olvasható. A tortadiagram nem tilos; csak akkor jó, ha egyetlen dolgot kérdezel tőle: ez körülbelül fele az egésznek, vagy sem.
Tanpélda: öt tábla hozama, tonna hektáronként. Ugyanaz az adat, mint a következő dián.
Itt van ugyanaz az öt érték tortadiagramon. Mielőtt továbblépnénk, próbáld meg: rangsorold a szeleteket. Melyik a második legnagyobb? És mennyivel nagyobb az ötödiknél? A számok oda vannak írva, tehát megoldható — csak nem az ábráról olvasod le, hanem a feliratokról. Ha a felirat nélkül nem megy, akkor az ábra nem dolgozik, csak díszít.
Tanpélda: öt tábla hozama, tonna hektáronként.
Itt öt tábla hozama áll egymás mellett, közös tengelyen. Nézd meg, milyen könnyű rangsorolni őket, és milyen könnyű megmondani, hogy a második nagyjából másfélszerese az ötödiknek. Ez a pozíció- és hosszkódolás ereje. Tortadiagramon ugyanez a két kérdés megválaszolhatatlan lenne.
Az ábra betöltése…
közös tengely, pozíció
a torta csak durva arányra
a pozíció és a meredekség együtt
két tengely, egy pont egy megfigyelés
A választás nem a diagramtípussal kezdődik, hanem a kérdéssel. Ha rangsorolni akarsz, pozíció kell. Ha összetételt mutatsz, és elég a nagyságrend, mehet a torta. Ha időbeli alakulást, vonal. Ha összefüggést két mennyiség között, pontfelhő. Írd le a kérdést egy mondatban, és a kódolás magától adódik.
Az ábra betöltése…
Nézzük meg mind a négyet egyszerre, és közben egy fontos különbséget. Felül az, amit a kérdés kíván, alul a szokásos alternatíva. Az első oszlopnál a torta a rangsorhoz drága: öt táblánál a tíz párból egy nem dönthető el a szögből, húsz táblánál viszont a százkilencven párból százhuszonnyolc — kétharmaduk. Közös tengelyen nulla, illetve hat. A második oszlopban UGYANAZ a torta van, ugyanazzal a leolvasási árral — csak most nem rangsorolni kell, hanem az egészhez viszonyítani, és ahhoz a nagyságrend elég. Nem a diagram lett jobb: a kérdés lett más. A harmadik és a negyedik oszlop viszont másfajta hiba, és ezt kérem, jegyezd meg.
A `w05-question` demó söprése: a párok hány százaléka nem dönthető el, kategóriaszám szerint.
Az előző ábra lényegét egyetlen görbe mondja el. A vízszintes tengelyen a kategóriák száma, a függőlegesen az, hogy a párok hány százaléka nem dönthető el szemre. A tortán öt kategóriánál tíz százalék, nyolcnál harminckilenc, tizenkettőnél hetven, húsznál hatvanhét. Közös tengelyen végig nulla és három között marad. Ez leolvashatósági hiba: az adat ott van, csak nehezen becsülhető, és nagyobb ábrával, feliratozással enyhíthető. A másik két hiba — a rendezett oszlop és a két külön oszlopdiagram — nem ilyen. Ott az adat nincs a rajzon. Az elsőt szebb rajzzal javítod, a másodikat semmivel.
Tanpélda: tizennégy tábla nitrogénkijuttatása és hozama ugyanabban a szezonban.
Itt tizennégy tábla áll: a vízszintes tengelyen a kijuttatott nitrogén, a függőlegesen a hozam. Egy pont egy tábla. Nem vonal köti össze őket, mert nincs sorrendjük — nem idősor, hanem összefüggés. És látszik a lényeg: eleinte a több nitrogén több hozamot ad, a felső harmadban viszont ellaposodik, a végén már fogy. Ezt egyetlen átlagszám sem mutatná meg.
A cella betöltése…
Ez a dia nem az én ábrám, hanem a tiéd: ezt a cellát a saját gépeden ugyanígy le tudod futtatni, és ugyanezeket a számokat kapod. Negyvenezer megfigyelésből négyezer-száznegyvenkettő látszik külön. A többi kilencven százalék egy korábbi pont korongja alá kerül, a legsűrűbb helyen százötvenhat megfigyelés van egyetlen jelölő alatt. A pontfelhő tehát nagy N-nél nem ábrázolja az adatot, hanem eltakarja.
%pip install -q unigaku-demofrom demo.lite import futtatfuttat('w05-overplot')A Python a böngésződben indul el, telepítés nélkül. Az első indítás néhány másodperc, mert a futtatókörnyezet ekkor töltődik be. Utána átírhatod a paramétert, és újrafuttathatod.
Az előző dián a mérés kimenete állt. Ez ugyanaz a mérés, de nálad fut, a böngésződben — telepítés nélkül. Nyomd meg a gombot, várd meg a futtatókörnyezetet, és utána írd át az N-t tízezerre. Nézd meg, hol borul át: hány megfigyelésnél kezd a pontfelhő többet elrejteni, mint amennyit megmutat. Ez a kérdés az egész héten visszatér, és nem tudom megválaszolni helyetted.
Tanpélda: ugyanaz az öt tábla, mint a rangsoros ábrán — most vonallal összekötve.
És egy ellenpélda, hogy a kódolás választása élesebb legyen. Ez ugyanaz az öt tábla, ugyanazokkal a hozamokkal, mint a rangsoros ábrán — csak vonallal összekötve. A vonal két dolgot állít, amit te nem akartál mondani. Az egyik: hogy a tábláknak sorrendjük van. A másik: hogy kettő között van köztes állapot. Nézd meg a Dűlő és a Patak menti közötti szakaszt. Mi van ott? Semmi. Nincs olyan, hogy két és fél tábla.
Egy jelentésben azt kell megmutatnod, hogy nyolc tábla közül melyiken termett a legtöbb, és mennyivel. Melyik kódolás a helyes?
Egy jelentésben azt kell megmutatnod, hogy nyolc tábla közül melyiken termett a legtöbb, és mennyivel. Melyik kódolás a helyes?
Tanpélda: nyolc szezon hozama ugyanazon a táblán.
Az idősornál a vonaldiagram nem konvenció, hanem a helyes kódolás: a pozíció viszi az értéket, a meredekség pedig magát a változást — azt, ami a döntés szempontjából a leggyakrabban érdekel. Itt nyolc szezon hozama látszik. A szemed a meredekséget olvassa, és pontosan ezt kell.
Kevesebb festék, ugyanaz az állítás — de a felidézhetőség is szempont.
Van egy szabály, amit gyakran idéznek: az ábra festékének minél nagyobb része hordozzon adatot. Jó iránymutatás. De nem dogma: mérések szerint a visszaemlékezésben a díszítés néha segít. A különbség az, hogy a díszítés sosem változtathatja meg, mit olvasol le. Ha megváltoztatja, akkor nem díszítés, hanem torzítás.
Az ábra betöltése…
Az adat–tinta arány elvont szabálynak hangzik, ezért itt van mérve. Negyvenezer megfigyelés egyetlen pontfelhőn. A rajzon rengeteg festék van — és ebből négyezer-száznegyvenkettő pont az, amelyik külön látszik. A többi, nyolcvankilenc egész hat százalék, egy korábbi korong alá került. A legsűrűbb helyen százötvenhat megfigyelés ül egyetlen jelölő alatt. Vagyis a festék kilencven százaléka nem hordoz információt: ott van, de nem mond semmit. Ez az az eset, amikor a kevesebb tinta valóban több állítás — a jobb oldali sűrűségábra ugyanennyi adatból a csomó nagyságát is megmutatja.
Most lépjünk a műszerfalra. A műszerfal nem ábrák gyűjteménye, hanem kérdéssor. Minden eleméhez három dolog tartozik: a mutató, a viszonyítási alap, és a cselekvési küszöb. Ha a mutató nincs mihez mérve, akkor a szám nem hír. Ha nincs küszöb, akkor nincs döntés. És ha a küszöböt utólag mondod ki, az már nem döntési szabály, hanem magyarázkodás.
Egy üzemi műszerfalon ez áll: „Átlagos talajnedvesség: 23 százalék.” Mi hiányzik?
Egy üzemi műszerfalon ez áll: „Átlagos talajnedvesség: 23 százalék.” Mi hiányzik?
Ennyi az első rész. Ezeket a fogalmakat használtuk — a fogalomtárban mindegyik mellett ott a meghatározás.
Négy torzítás, számmal mérve
Nem nulláról induló tengely: a különbség felnagyítva.
Az első a legismertebb. Ha a tengely nem nulláról indul, a különbségek felnagyítódnak. Oszlopdiagramon ez hiba, mert ott a hossz maga az érték: aki fél oszlopot lát, az fele akkora értéket olvas. Vonaldiagramon viszont gyakran indokolt — ott a meredekség az üzenet, nem a magasság.
Tanpélda: két szezon átlaghozama, a tengely 6,0-tól indul.
Két szezon átlaghozama, oszlopdiagramon, és a tengely alja hat egész. Nézd meg, mekkora a különbség. Az idei oszlop nagyjából két és félszer akkora, mint a tavalyi. Most olvasd le a számokat: hat egész tizenöt és hat egész ötvenkettő. A valódi eltérés hat százalék. Semmit nem hamisítottam — a tengely alját írtam át, és a többit a szemed csinálta.
A `w05-axis` demó ezt a hányadost számolja ki; a 41,0-es szám innen jön.
A nagyítás nem érzés, hanem hányados, és két sorban felírható. A számláló az, amit a szemed lát: a két oszlop magasságának aránya a csonkolt tengelyen, mínusz egy. A nevező az, ami az adatban van: a két érték aránya, mínusz egy. A mínusz egy azért kell, mert nem az arányokat hasonlítjuk össze, hanem a KÜLÖNBSÉGEKET — egy egészhez képest. A mi számainkkal ez negyvenegyszeres. És a képletből az is látszik, miért robban: ahogy a tengely alja a kisebbik értékhez közelít, a nevező marad, a számláló viszont minden határon túl nő.
A `w05-axis` demó esete: a tengely 6,0-tól indul, a kisebbik érték 6,15 — a levágott hányad 0,9756.
N=1 / (1 - 0,98)=40,98×
Húzd a csúszkát, és nézd, mi mozdul.
Nézzük számmal. Két szezon átlaghozama: hat egész tizenöt és hat egész ötvenkettő. A valódi változás hat százalék. Ha a tengelyt hat egésznél vágjuk el, a két oszlop magasságának aránya három és fél lesz. A benyomás tehát negyvenegyszeresére nő ahhoz képest, amekkora a tényleges változás — és az ábra közben végig igazat mond.
Az ábra betöltése…
A demó saját ábrája, mert a két rajz egymás mellett többet mond, mint a szám. Balra a nullától induló tengely: a két oszlop majdnem egyforma, ahogy a hat egész tizenöt és a hat egész ötvenkettő valóban majdnem egyforma. Jobbra ugyanaz hat egésztől indítva. A látott magasságok aránya három egész negyvenhét, a valódi változás hat százalék — negyvenegyszeres nagyítás.
A cella betöltése…
A cella itt fut. A csavar a tengely alja: told feljebb hat egész háromra, és nézd meg, hogyan nő a nagyítási tényező. Nincs olyan határ, ami fölött megállna — és éppen ez a lényeg. A csonkolás mértéke nem ízlés kérdése, hanem szám, amit ki lehet írni.
a hossz maga az érték
az összeg is jelentés
a kitöltés arányos
a meredekség az üzenet
a tartomány szűk
a változás kicsi, de valódi
A döntés a kódoláson múlik. Ha a hossz viszi az értéket, a tengelynek nulláról kell indulnia. Ha a pozíció és a meredekség viszi, a nulla gyakran csak üres helyet foglal — egy hőmérsékleti soron a nulla fok nem viszonyítási pont.
Tanpélda: talajnedvesség tömegszázalékban, nullától induló tengellyel. A beavatkozási küszöb 28 %.
És most az ellenpélda, mert az előbbi szabályt könnyű túltolni. Ez talajnedvesség, tizennégy mérés, és a tengely nulláról indul — ahogy az oszlopdiagramnál megköveteltük. Nézd meg, mit látsz. Egy majdnem vízszintes vonalat. Pedig a huszonhat egész nyolcas mélypont az öntözési küszöb alatt van, a harminchárom egész négyes csúcs pedig jóval fölötte. A nullától induló tengely itt nem becsületesebb, hanem használhatatlan: a döntéshez szükséges különbséget nyomta a vonalvastagságba.
Egy jelentésben a talajnedvesség napi alakulását mutatod, huszonkettő és huszonnyolc százalék között. Elvághatod a tengelyt?
Egy jelentésben a talajnedvesség napi alakulását mutatod, huszonkettő és huszonnyolc százalék között. Elvághatod a tengelyt?
Két skála, két önkényes döntés — és egy látszólagos összefüggés.
A második torzítás alattomosabb. Két különböző mértékegységet teszünk egy ábrára, két skálával. A két görbe metszéspontjai és az együttmozgás látszata teljes egészében attól függ, hogyan skáláztuk a két tengelyt — és ezt szabadon választottuk. Ugyanaz a két adatsor tetszőleges mértékben mutatható együttmozgónak.
Tanpélda: nyolc év hozama és vegetációs csapadéka, mindkettő a saját tartományára feszítve — ez a kettős tengely.
Nézzük meg, hogyan néz ki ez a gyakorlatban. Nyolc év hozama és csapadéka, kettős tengelyen — vagyis mindkét sorozat a saját szélső értékei közé feszítve. Ezt látod: két görbe, amely hol együtt jár, hol keresztezi egymást, és a szem azonnal összefüggést olvas ki belőle. A négy metszéspont különösen meggyőző. Csakhogy egyik sem jelent semmit: ha az egyik skálát tíz százalékkal arrébb tolom, mind a négy elmozdul. Egy metszéspont, amely a skála beállításától függ, nem adat.
Az ábra betöltése…
Három kettős tengelyes ábra, ugyanabból a nyolc évből, és egyetlen szám sem változott köztük — csak a jobb oldali tengely alja és teteje. A bal oldalin a csapadék szinte vízszintesnek látszik: mintha alig ingadozna. A középsőn már együtt hullámzik a hozammal. A jobb oldalin vadul kileng, és hétszer metszi a hozamgörbét. Mindhárom becsületes abban az értelemben, hogy minden pont a helyén van, és mindhárom mást állít. A negyedik panel az indexált változat: egy tengely, egy döntés — és azt az egy döntést ki lehet mondani.
A cella betöltése…
Itt a cella. A csavar a söprés finomsága: durvítsd tízre a negyven helyett, és nézd meg, hogy ugyanazt a szélső esetet találja-e meg. Ha igen, a tanulság nem a söprés részletességén múlik. Ha nem, akkor tudod, hogy a demó a rács felbontásától függ — és ez is mérési eredmény.
Az ábra betöltése…
a szem összeveti
nincs hamis metszés
százalékban
az arányok összevethetők
ha az összefüggés a kérdés
a metszés eltűnik
Három jó megoldás van a kettős tengely helyett, és mindhárom olvashatóbb nála.
Ugyanaz a két sorozat, mindkettő az első évhez mérve (1. év = 100 %).
És ugyanaz a két sorozat becsületesen. Mindkettőt az első évhez viszonyítjuk, százalékban — ez egyetlen, kimondott átalakítás, és mindkettőre ugyanaz. Most nézd meg, mi maradt az összefüggésből. A hozam egyenletesen nő, harmincegy százalékkal nyolc év alatt. A csapadék ingadozik, trend nélkül. A két görbe metszései eltűntek, és ami látszik, az az igazi történet: a hozam nő valamitől, ami nem a csapadék.
Ha az érték a sugárra kerül, a látott különbség a négyzete.
A harmadik torzítás egy fél sor kód. A buborékdiagramnál az értéket a terület hordozza — de a rajzoló könyvtárak a sugarat várják. Aki az értéket a sugárra teszi, az a különbséget négyzetre emeli.
A `w05-encoding` demó mért számai: két tábla, 4,91 és 4,57 t/ha.
És itt a szám, ami ezt élessé teszi. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét — hét egész négy százalék a különbség. Ha az értéket a TERÜLETRE teszed, a nagyobbik korong területe pontosan hét egész négy százalékkal nagyobb: helyes. Ha viszont a SUGÁRRA teszed, akkor a sugár lesz hét egész négy százalékkal nagyobb — a szem viszont a területet olvassa, és az a négyzettel nő, tehát tizenöt egész négy százalékot lát. A különbség megduplázódik, miközben te egyetlen számot sem hamisítottál. A mérést a demó végezte, nem én becsültem.
A szem a területet olvassa. Ha az érték a sugáron van, a látott különbség a valódi NÉGYZETE.
Itt a csapda képletben, és így egy pillanat alatt látszik. A korong területe a sugár NÉGYZETÉVEL arányos. Ha tehát az értéket a sugárra teszed, a szem — ami a területet olvassa — a valódi arány NÉGYZETÉT látja. A helyes kódolás fordítva megy: a sugarat a gyökből számolod, és akkor a látott terület aránya pont annyi, amennyi az érték aránya. A mi hét egész négy százalékos különbségünknél ez azt jelenti, hogy a helytelen kódolás tizenöt egész négy százalékos különbséget MUTAT.
A cella betöltése…
A cella itt fut. A csavar a torta sugara: duplázd meg, és nézd meg, mi történik a szögben mért különbséggel. A várakozás az, hogy semmi — a szög nem függ a sugártól. A pozícióban és a hosszban mért képpontszám viszont igen. Ebből látszik, miért nem lehet „nagyobb ábrával” megoldani a tortadiagram problémáját.
Az ábra betöltése…
És itt jön a másik baj, ami a korongokkal van. Két tábla hozama négy egész kilencvenegy és négy egész ötvenhét, a különbség hét egész négy százalék. Ha helyesen kódolsz, vagyis az érték a TERÜLETEN van, akkor a korongok területaránya egy egész nullhetvennégy — pontosan annyi, amennyi a valódi különbség. Csakhogy az átmérőjük aránya ekkor már csak egy egész nullharminchét: három és fél százalék, amit szabad szemmel senki nem lát meg. Ha pedig az értéket a SUGÁRRA teszed, a szem akkor is a területet olvassa, és az a négyzettel nő: a látott arány egy egész tizenöt lesz. Ugyanaz a hét egész négy százalék egyszer eltűnik, másszor megduplázódik. Közös tengelyen mindkettő húsz képpont, és ott nincs mit félreolvasni.
A szivárványskála határvonalat rajzol oda, ahol az adatban nincs.
A negyedik a leglátványosabb. A szivárványskála sorrendi adatot ábrázol, de nem egyenletesen: a cián és a sárga környékén ugrik, másutt beáll. Ettől az ábra határvonalat rajzol oda, ahol az adatban nincs — és elrejt olyan különbséget, ami van.
Az ábra betöltése…
Eddig számokban beszéltünk a színskálákról. Itt van maga a kép. Felül a szivárványskála, alatta ugyanaz zöldtévesztéssel; alul az egyenletes, szintén kétszer. Nézd meg a szivárványon a cián és a sárga környékét: ott a szem határvonalat lát, pedig az adatban nincs semmi. Aztán nézd meg a jobb oldali oszlopot — a szivárvány színtévesztéssel nagyrészt összeomlik, az egyenletes viszont végig olvasható marad, mert a világossága folyamatosan nő.
Két számmal mérhető. Az első: a színváltozás sebességének ingadozása a skála mentén — a szivárványnál kétszer akkora, mint az egyenletes skálánál. A második, és ez a perdöntő: hányszor fordul meg a skála világossága. A szivárványnál ötször, az egyenletesnél egyszer sem. Ezért olvashatatlan a szivárványskála fekete-fehérben, és ezért esik szét színtévesztő látással.
A CIELAB világosság a skála mentén. Tanpélda: tizenhárom egyenletes minta mindkét skálából.
Ez a két görbe a két színskála világossága, tizenhárom lépcsőn. A viridisé végig nő: minden nagyobb érték világosabb, tehát a skála fekete-fehérben is olvasható, és a szem sorrendet lát. A jeté felmegy, megáll, majd visszaesik — a kilencvenhármas csúcs után a huszonötig. Ez azt jelenti, hogy két nagyon különböző hozamérték azonos világosságú lehet. A hamis határvonal nem a színből jön, hanem ebből a fordulatból.
A cella betöltése…
Az előző dia a világosságot mutatta. Ez a cella a teljes mérést: a lépésenkénti színkülönbség szórása, a világosság irányváltásainak száma, és ugyanez színtévesztő látással is. Futtasd le magadnak — a jetről nem véleményem van, hanem mérésem.
Az ábra betöltése…
nincs sorrend
legfeljebb hét-nyolc
van sorrend
sötéttől világosig
van kitüntetett közép
a nulla legyen a közepe
A választás az adat fajtájától függ, nem az ízléstől. Kategorikus adatnál elkülönülő árnyalatok kellenek, sorrendinél egyenletes világosságmenet, divergálónál pedig egy kitüntetett középérték két irányban.
A `w05-colour` demó mérése: a leggyorsabb szakasz a medián színváltozási sebességhez képest. 1,0 a tökéletes.
Ez nem ízlés kérdése, hanem mérhető. A szám azt mondja meg, hogy a skála leggyorsabb szakasza hányszorosa a középértéknek: ha egy, akkor a skála végig ugyanolyan sebességgel változik, és minden egyforma adatkülönbség egyforma színkülönbségnek látszik. A szivárványskálán ez két egész négyszeres — vagyis a skála egyes helyein az adatban nem létező határvonal rajzolódik ki. Az egyenletes skálán egy egész három.
Ha a világosság is viszi a különbséget, az ábra színtévesztéssel és fekete-fehérben is olvasható.
Egy dolgot érdemes külön kimondani. A férfiak nagyjából nyolc százaléka színtévesztő. Ha az ábrád a piros és a zöld megkülönböztetésére épül, akkor minden tizenkettedik olvasód számára információt veszít — nem szépséget. A megoldás egyszerű: a világosság vigye a fő különbséget, a szín csak erősítse.
A `w05-colour` demó mérése: ahányszor a skála világossága irányt vált.
És itt az a mérőszám, amelyik a színtévesztést és a fekete-fehér nyomtatást is túléli. Azt számolja meg, hányszor fordul irányt a skála világossága: hányszor kezd sötétedni, miután világosodott. A szivárványskálán ötször. Ez azt jelenti, hogy szürkeárnyalatosan öt helyen ugyanaz a szürke két különböző adatértéket jelöl — és ez nem javítható színválasztással, mert nem a színről szól. Az egyenletes skálán nulla.
Egy táblatérképen a hozam eltérését ábrázolod az üzemi átlagtól. Melyik színskála való hozzá?
Egy táblatérképen a hozam eltérését ábrázolod az üzemi átlagtól. Melyik színskála való hozzá?
Ez a négy torzítás. Mind a négy ugyanúgy működik: az adat igaz marad, csak a leolvasás romlik el.
Szórás, szélsőérték, és a tábla rossz sarka
6,2 t/ha önmagában nem elég. A kérdés az, mekkora tartományban.
Ha egy jelentésben az áll, hogy a várható hozam 6,2 tonna hektáronként, az nem állítás, hanem félállítás. Hiányzik belőle, hogy mennyire biztos. A 6,2 plusz-mínusz 0,2 és a 6,2 plusz-mínusz 1,8 két különböző világ: az elsőben lehet szerződni, a másodikban tartalékot kell képezni. Ugyanaz a szám, ellentétes döntés.
Tanpélda: NDVI-medián és a tizedes kvantilisek egy üzem tábláin, tizenkét hétre.
Itt egy vegetációs időszak NDVI-görbéje látszik, tizenkét hétre, egy üzem összes tábláján. A vastag vonal a medián, a kitöltött sáv az alsó és a felső tized közötti tartomány. Nézd meg, hol tág a sáv és hol szűk: a kelés körül és a lezáráskor szétnyílik, a csúcson összezár. A medián önmagában ezt a szerkezetet teljesen elrejtené.
Az ábra betöltése…
Van egy módszer, amivel akkor is kaphatsz sávot, ha az eloszlásra nincs szép képlet: újramintavételezés. Ezerszer visszateszedd a saját mintádat, mindegyikből kiszámolod a mutatót, és megnézed, hol szóródik. A demó ábrája ezt mutatja. Ez nem trükk — azt méri, mennyire ingadozna az eredményed, ha újra elvégeznéd a mintavételt.
de a széle nem szélsőérték, és ezt ki kell írni
alsó és felső tized, nem elvont szórás
húszból három esik kívülre, ezt a döntéshozó is olvassa
A bizonytalanságot háromféleképpen szokás megmutatni, és nem mindegy, kinek. A hibasáv tömör, de a legtöbben félreolvassák: azt hiszik, a sáv széle a lehetséges szélsőérték, pedig jellemzően egy szórás. A kvantilis-sáv ennél őszintébb, mert megnevezhető: alsó tized, felső tized. A kvantilis pontdiagram pedig darabszámmá alakítja — húsz pontból három a sávon kívül —, és ezt az emberek nagyságrenddel jobban értik.
A `stat-coverage` demó mérése, 20 000 ismétlés mintanagyságonként. A névleges szint 95 %.
Egy sáv annyit ér, amennyit tényleg fed. Ez a mérés húszezer ismétléssel nézte meg, hogy a kilencvenöt százalékosnak szánt intervallum hányszor tartalmazza a valódi átlagot. Normális adaton tartja: végig kilencvenöt körül. Ferde adaton — és az agrárhozam ferde — nyolc elemű mintán nyolcvanhárom egész négy. Minden hatodik jelentés téved, pedig a sáv kilencvenöt százalékot ígért. Nyolcvan elemű mintán kilencvenegy egész egy: közelít, de még nyolcvannál sem éri el.
Az ábra betöltése…
Az előző dia azt állította, hogy a kilencvenöt százalék ígéret, nem garancia. Itt a mérés. Normális adaton, nyolcas mintán a lefedés kilencvenöt egész nulla százalék — az eljárás azt adja, amit ígér, tehát a mérőeszközünk rendben van. Ugyanez az eljárás erősen ferde adaton, ugyanakkora mintán nyolcvankettő egész hét. És ami ennél fontosabb: a kimaradás nem oszlik el egyenletesen. Tizenhét egész két százalék esetben az intervallum a valódi átlag ALATT maradt, és mindössze nulla egész egy százalékban fölötte. Az intervallum tehát nem csak szűk, hanem rossz helyen van. Nyolcvanas mintán ez kilencvenegy egész egyre javul.
Egy üzemi jelentésbe kell a következő szezon hozambecslése. A vezető nem statisztikus, és gyorsan dönt. Melyik ábrázolás a legkevésbé félrevezető?
Egy üzemi jelentésbe kell a következő szezon hozambecslése. A vezető nem statisztikus, és gyorsan dönt. Melyik ábrázolás a legkevésbé félrevezető?
Tanpélda: öt tábla átlaghozama és alsó tizede, ugyanabban a mértékegységben.
Öt tábla átlaghozama, és mellette ugyanazon a tengelyen az alsó tized — vagyis az, ami a tábla leggyengébb részein terem. A második táblát nézd. Az átlaga a mezőny közepén van, a rossz sarka viszont másfél tonnával rosszabb bárki másénál. Ha csak az átlagot látod, ez a tábla rendben van. Pedig itt kell beavatkozni, és nem a negyediken, aminek az átlaga a legkisebb, de egyenletes.
Az ábra betöltése…
Ez a demó egy olyan esetet mutat, ahol az összevont átlag és a csoportonkénti átlag ELLENTÉTES irányba mutat. Nem hiba, nem zaj: mindkettő helyesen van kiszámolva. A magyarázat az, hogy a csoportok mérete eltér, és ez a súlyozás fordítja meg az eredményt. Ezért nem lehet összevont átlagból csoportokra következtetni.
Helyfüggő döntéshez helyfüggő szám kell. Az átlag nem az.
Ez a precíziós gazdálkodás alapgondolata. Az átlag a tábla egészére vonatkozik, a szakaszos kijuttatás viszont a részeire. Ha a döntés helyfüggő, akkor a hozzá tartozó szám sem lehet egyetlen átlag: a változékonyságot kell megmutatni, mert az beavatkozási térkép, nem díszítés.
Az ábra betöltése…
Egy mérés arra, hogy a döntés tényleg a szélén dől el. Ugyanaz a hektáronkénti eredmény kétféleképpen kiszámolva. Aki a bemenetek átlagát helyettesíti be a képletbe — és a gyakorlatban szinte mindenki ezt teszi —, negyvenegyezer-kétszáz forintot kap. A teljes eloszlásból számolva a várható érték harmincezer-hatszázhuszonnégy: tizenegyezer forinttal kevesebb, pusztán attól, hogy a kifizetés nem lineáris. De nem is ez a lényeg. Nézd meg az ötödik százalékost: mínusz kilencvenötezer forint hektáronként. És azt, hogy az évek harminchét százaléka veszteséges. Ez a két szám hoz döntést, és a behelyettesítésből egyik sem derül ki.
Tanpélda: négy tábla NDVI-je, tíz hétre. Melyik lóg ki?
Négy tábla NDVI-görbéje, egymásra rajzolva. Keresd meg, melyik tér el a többitől. Megvan? A harmadik: laposabb és később tetőzik. Nekem is három másodperc kellett hozzá, pedig én raktam oda. Négy görbénél ez még megy. Nyolcnál nem, tizenhatnál pedig már a legenda olvasása lesz a feladat, nem az ábráé.
sok kategória, egy pillantás
csak akkor, ha maga a változás a kérdés
Ugyanez az adat kis sokszorosokban: négy apró ábra egymás mellett, közös tengellyel. A kilógó tábla azonnal látszik, mert a szem alakot hasonlít, nem vonalat követ. Az animáció ugyanezt időben teszi — az viszont csak akkor működik, ha az összehasonlítás iránya is az idő. Ha nem az, az animáció memóriafeladattá alakítja azt, amit a kis sokszoros egy pillantássá.
Tanpélda: nyolc tábla havi NDVI-je egyetlen ábrán, egy vegetációs időszakra.
Itt van, miért nem megoldás mindent egymásra rajzolni. Ez nyolc tábla fenológiai görbéje, egyetlen ábrán, tisztességes színekkel. Keresd meg rajta a Homokit. Most keresd meg, melyik táblán kezdődött legkorábban a záródás. Nem megy — pedig az adat itt van, és a rajz nem rossz. Négy sorozatnál még megy, nyolcnál már nem: a görbék keresztezik egymást, és a szem nem tudja követni, melyik melyik.
Tizenkét tábla talajnedvesség-görbéjét kell egy oldalon megmutatni, és az a kérdés, melyik viselkedik másképp. Mit rajzolsz?
Tizenkét tábla talajnedvesség-görbéjét kell egy oldalon megmutatni, és az a kérdés, melyik viselkedik másképp. Mit rajzolsz?
a becslés köré rajzolt sáv, amelyet nem a szórásból, hanem a megfigyelt eloszlás százalékos pontjaiból veszünk; ferde adaton ez a becsületes
a táblán belüli szóródás; nem hiba, hanem a gazdálkodás tárgya
a dózis foltonként eltérő, a táblán belüli változékonyság szerint; ehhez kell tudni, hol és mennyire bizonytalan a becslés
Két fogalom, egy közös gondolattal: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó — alakot hasonlít és pozíciót olvas —, és nem azt, amiben rossz.
Mutató, viszonyítási alap, cselekvési küszöb
Nem az a kérdés, mit tudunk mérni. Az, hogy milyen döntést hozunk — és mi kell hozzá.
A rossz műszerfal úgy készül, hogy összeszedjük, mit tudunk mérni, és mindegyikből rakunk egy dobozt. A jó műszerfal fordítva: összeszedjük, milyen döntéseket hozunk hetente, és mindegyikhez rendelünk egy ábrát. A különbség a végén látszik: az elsőt megnézik és bezárják, a másodikat használják.
Az ábra betöltése…
Példa arra, milyen a döntésből visszafelé épített műszerfal. A kérdés nem az, hogy „mennyi a talajnedvesség” — hanem az, hogy hány gép kell a betakarítási ablakhoz. Ehhez három szám kell, és mind a három ezen az ábrán van. Az idény ötvennégy százalékában járható a tábla. Egy ázott időszak átlagosan két egész két napig tart. És egy ázott állapotba való visszatérés öt egész hét naponként jön. Ebből a háromból már tervezhető a géppark. Egyik szám sem a szimulációból jön, hanem az átmeneti mátrixból — a szimuláció csak megerősíti, legfeljebb nulla egész huszonhat százalékpontos eltéréssel.
és a mértékegysége
tavalyi, terv, üzemi átlag
és aki felel érte
Minden használható ábrán ott van mindhárom. A mutató az, amit mérünk. A viszonyítási alap az, amihez képest olvassuk — tavalyi év, üzemi átlag, terv, szomszéd tábla. A cselekvési küszöb pedig az a vonal, aminek az átlépése tennivalót jelent. A harmadik szokott hiányozni, és éppen az a döntés.
Tanpélda: talajnedvesség tizennégy napra, a tavalyi azonos időszakkal és az öntözési küszöbbel.
Egy tábla talajnedvessége tizennégy napra. A középső vonal a mérés. A szaggatott a tavalyi év ugyanezen időszaka — ez a viszonyítási alap. Az alsó vízszintes a huszonkét százalék, az öntözési küszöb. Nézd meg a kilencedik napot: ott metszi a mérés a küszöböt, és a tavalyi görbe ekkor még két nappal fölötte jár. A döntés tehát nem az, hogy öntözni kell, hanem az, hogy a szokásosnál két nappal korábban.
A küszöböt a gyakoriság és a két hiba ára szabja meg, nem a szokás.
Honnan jön a huszonkét százalék? A legtöbb műszerfalon onnan, hogy valaki egyszer beírta. Pedig levezethető. Két dolog kell hozzá: milyen gyakori az a helyzet, amire figyelünk, és mennyivel drágább elszalasztani, mint fölöslegesen riasztani. Ebből a küszöb már következik, és a következő két ábra ezt mutatja meg.
Tanpélda: gócjelző költsége ezer tőre, a jelzési küszöb függvényében. A gyakoriság 8 százalék, az elmaradt jelzés negyvenszer drágább.
Egy betegséggóc-jelző költsége, ezer tőre vetítve, a küszöb függvényében. A lefelé haladó görbe a téves riasztások ára: minél magasabbra tesszük a küszöböt, annál kevesebbszer megyünk ki fölöslegesen. A felfelé haladó az elmaradt jelzéseké, és ez a meredekebb, mert egy észrevétlen góc drágább. Az összegük U alakú, és a minimuma nem a felezőpontnál van, hanem nulla egész negyvenkettőnél.
Itt vannak a számok. A zárt alakból adódó optimum nulla egész négyszáztizennyolc, és a rácson végigszámolt minimum ugyanott van, négy tizedesjegyig. Ha a megszokott fél-fél küszöbnél maradunk, ezer tövön száztizenhat egységgel többet fizetünk: tizennyolc százalékkal. Ez nem modellhiba, hanem beállítási hiba — és nem látszik semmilyen pontossági mutatón.
A következő szezonban ugyanezt a modellt egy olyan üzemben használjuk, ahol a betegség sokkal gyakoribb. A költségarány nem változik. Merre mozdul az optimális küszöb?
A következő szezonban ugyanezt a modellt egy olyan üzemben használjuk, ahol a betegség sokkal gyakoribb. A költségarány nem változik. Merre mozdul az optimális küszöb?
Az optimális küszöb a költségarány függvényében, két fertőzöttségi szintnél.
Ugyanaz a modell, ugyanazok a pontszámok, és mégis nyolc különböző helyes küszöb. A vízszintes tengelyen az áll, hányszor drágább egy elmaradt jelzés egy téves riasztásnál. A két görbe két üzem: az egyikben öt, a másikban húsz százalék a fertőzöttség. Ha valaki a fél-félnél marad, akkor a felső görbén tízszeres, az alsón ötszörös költségaránynál éppen eltalálja — máshol nem.
Küszöb felelős nélkül: színes jelentés. A cselekvési küszöbhöz név és határidő tartozik.
Egy dolgot a legjobb műszerfal sem old meg: nem tudja megmondani, ki lép. Ha a küszöb átlépéséhez nem tartozik név és határidő, akkor a piros szín önmagában nem intézkedés. A műszerfal utolsó oszlopa ezért nem szám, hanem felelős.
A `stoch-queue` demó mérése: egy kiszolgáló, véletlen érkezés — a sorban várakozók átlagos száma.
Egy utolsó példa arra, amit a műszerfal nem tud. Tegyük fel, hogy a szárító kihasználtságát mutatja, és a szám kilencven százalék. Ez a legtöbb műszerfalon zöld: majdnem tele van a kapacitás, jól gazdálkodunk. Nézd meg, mi történik közben a sorral. Ötven százalékos kihasználtságnál fél kocsi vár átlagosan. Kilencvennél nyolc egész négy. A terhelés egy egész nyolcszorosára nőtt, a sor tizenhatszorosára. Az utolsó tíz százaléknyi kihasználtság kerül a legtöbbe, és éppen ez az, amit a zöld szám elrejt.
a téves riasztás és a kimaradt eset ára nem egyenlő; ebből jön a küszöb, nem a modellből
az ábra akkor ér valamit, ha megmondható, MELYIK döntés változik meg tőle
Ez volt az ötödik hét. Egyetlen mondatban: az ábra akkor jó, ha a szem azt a munkát végzi, amiben jó, és ha a végén valaki másképp dönt tőle.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| EDA | Exploratory Data Analysis — feltáró adatelemzés | az a szakasz, amelyben még a KÉRDÉST keressük, nem a választ |
| NDVI | Normalized Difference Vegetation Index | normalizált vegetációs index: (NIR − vörös) ÷ (NIR + vörös), a növényborítottság szokásos mérőszáma |
| RGB | Red, Green, Blue | a képernyő három alapszíne; a köztük mért távolság NEM felel meg az érzékelt különbségnek |
| CIE | Commission Internationale de l’Éclairage | a Nemzetközi Világítástechnikai Bizottság, amely a színmérés szabványait adja |
| CIELAB | CIE L*a*b* színtér | olyan színtér, amelyben a távolság közelítőleg az ÉRZÉKELT különbséggel arányos — a ΔE ebben mérhető |
| ΔE | Delta E — színkülönbség | két szín érzékelt távolsága CIELAB-ban; nem érintkező foltoknál tízes érték alatt bizonytalan |
| WSL | Windows Subsystem for Linux | a Windows alatti Linux-környezet, a telepítési útmutató egyik útja |
A hét rövidítései. Az EDA-t érdemes külön megjegyezni, mert ezt a szakaszt a gyakorlatban a legtöbbször kihagyják — és a rövidítés ismerete nélkül a szakirodalomban sem találja meg az ember.
Az ábra betöltése…
Mielőtt a táblázat jön, nézd meg őket egymás mellett. Mind a hat panel ugyanazt az öt tábla-hozamot rajzolja, egyetlen szám sem különbözik köztük — a különbség tisztán a kódolásé. Az oszlopon a hosszt olvasod, a vonalon a meredekséget, a pontfelhőn két mennyiség együttállását, a tortán a rész-egész arányt, a sávon a becslés körüli bizonytalanságot. A tortán figyeld meg, hogy a közeli szeletek sorrendje szemre nem dönthető el — ezt a hét elején meg is mértük. A hatodik panel viszont nem rajztípus: az a demó saját ábrája, amit a dia rajzolója nem tud megcsinálni.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| pontfelhő | két mennyiség együttmozgása, egy pont egy megfigyelés | időbeli sorrend: a pontokból nem derül ki, melyik volt előbb |
| torta | nagyságrendi rész-egész arány — „nagyjából mennyi az egész” | rangsorolás: közeli szeletek sorrendje szemre nem jön ki |
| sáv | a bizonytalanság nagysága a becslés körül | a pontbecslés pontossága: a sáv szélessége nem a modell jósága |
| demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
Záró összefoglaló, és egyben a hét gyakorlati lenyomata. Ezek a diagramtípusok fordultak elő a diasorban — és a középső oszlop a fontos: mit olvasol le róla. A jobb oldali még fontosabb: mire NEM jó. A hét tétele ez volt, hogy az ábra érv; a választás pedig a kérdésből következik, nem az ízlésből. Ha a saját anyagodban végigmész ezen a táblázaton, és minden ábrádhoz oda tudod írni a középső oszlopot, akkor az ábráid érvek.