Lecture 8
Predictive analytics and AI in agriculture
A szétvágás fegyelme, a torzítás-szórás átváltás, az értékelés ritka osztályon, és a küszöb mint gazdasági döntés.
Start with AikoDeck57 slides · 90 min
01
A szétvágás fegyelme
Miért ez az első blokk, és miért nem a modellekkel kezdünk
Üdv. Ez a hét a prediktív analitikáról szól, és rögtön az elején tisztázok valamit: a modellcsaládokkal fogunk a legkevesebbet foglalkozni. Nem azért, mert nem érdekesek, hanem mert a hibák nagy része nem ott keletkezik. Egy agráradaton a legdrágább hiba az, ha rosszul vágtuk szét az adatot — és ennek az a különös tulajdonsága, hogy szebb eredményt ad, nem rosszabbat.
02
Egy 0,98-as illeszkedés először gyanú
Agráradaton a túl szép eredmény először gyanú, csak azután eredmény.
Szeretném, ha ez a mondat megmaradna a félévből. Ha agráradaton kilencvennyolc százalékos magyarázott hányadot kapsz, az első reakció nem az öröm, hanem a gyanú. Nem azért, mert lehetetlen — hanem mert a leggyakoribb oka nem a jó modell, hanem a szivárgás. És a szivárgás pont ilyen szép számokat ad: ez a természete.
03
Ugyanaz a modell, két magyarázott hányad
A `w08-leakage` demó mérése: 810 pont 9 táblán. A nulla vonal alatt a modell rosszabb a puszta átlagnál.
Hogy ne maradjon elvont, itt a szám, amiről az előbb beszéltem. Ugyanaz a modell, ugyanaz az adat, csak a szétvágás más. Véletlen szétvágással az R négyzet nulla egész kilencszázhuszonegy — ezt bárki büszkén leírná egy jelentésbe. Táblánkénti blokkossal mínusz egy egész kettőszázötvenhét. A negatív R négyzetnek pontos jelentése van: a modell rosszabb, mint ha minden táblára a globális átlagot mondanánk. Ugyanaz a modell adta mindkettőt.
04
Az R² képlete — és mihez méri magát
A nevezőben az átlaggal jósló modell hibája áll. Az R² tehát viszonyszám, nem abszolút jóság.
Mielőtt továbbmennénk, nézzük meg, mit jelent pontosan az a 0,98. Az R² a maradék négyzetösszeget osztja el azzal a négyzetösszeggel, amit akkor kapnánk, ha mindenhova az ÁTLAGOT jósolnánk. Vagyis a viszonyítási alap benne van a képletben: az R² azt mondja meg, mennyivel vagy jobb a puszta átlagnál. Ebből két dolog következik. Az első: egy nullás R² nem katasztrófa, hanem annyit tesz, hogy nem verted meg az átlagot. A második, és ez a meglepőbb: az R² lehet NEGATÍV is. Ha a modell rosszabb az átlagnál, a hányados egynél nagyobb lesz.
05
Három halmaz, három szerep
Tanító: itt állnak be a paraméterek · a modell látja, tanul belőle | Validációs: itt választunk modellt és hangolunk · többször használható | Teszt: egyszer, a legvégén · ha kétszer néztél rá, elveszítetted
Az alapszerkezet, mielőtt bármit szétvágnánk. A tanítóhalmazon állnak be a paraméterek. A validációs halmazon VÁLASZTUNK: modellt, fokszámot, küszöböt. A teszthalmaz pedig egyszer használható — a legvégső becsléshez. Ha kétszer néztél rá, akkor már nem teszthalmaz, hanem validációs, és a rajta mért szám optimista.
06
A térbeli autokorreláció
A közeli pontok hasonlítanak. Véletlen szétvágásnál ugyanannak a táblának a pontjai a tanítóban ÉS a teszten is ott vannak.
És most az, ami az agráradatot különlegessé teszi. A közeli helyek adatai hasonlítanak egymásra — ugyanaz a talaj, ugyanaz a mikroklíma, ugyanaz a gép járt rajta. Ez nem zavar, hanem a valóság szerkezete. De ha véletlenszerűen vágsz szét, akkor ugyanabból a táblából kerül pont a tanítóba és a tesztbe is, és a szomszédos pontok gyakorlatilag ugyanazt az információt hordozzák. A modell nem a jelenséget tanulja meg, hanem a helyet.
07
Ugyanaz a modell, kétféle szétvágás
A `w08-leakage` demó mérése: 810 pont 9 táblán, azonos modell és jellemzők.
Itt a mérés, és ez a hét legfontosabb két oszlopa. Nyolcszáztíz mintavételi pont kilenc tábláról, ugyanaz a modell, ugyanazok a jellemzők. Véletlen szétvágással a hiba nulla egész háromszázkilenc tonna hektáronként. Táblánkénti blokkos szétvágással kettő egész nulla nulla öt — hatszorosa. És ez nem a modell romlása: ez a modell valódi teljesítménye egy olyan táblán, amit még nem látott. A másik szám volt a hazugság.
08
És amit az R² mond
A `w08-leakage` demó ábrája: a két szétvágás eredménye, táblánként.
A demó teljes ábrája, mert van itt egy szám, amit külön ki kell mondani. A véletlen szétvágás R négyzete nulla egész kilencszázhuszonegy — gyönyörű. A blokkosé mínusz egy egész kettőszázötvenhét. A negatív R négyzet azt jelenti, hogy a modell rosszabb, mint ha minden táblára a globális átlagot mondanánk. Nem gyengébb — rosszabb a semminél. És ugyanaz a modell adta mindkettőt.
09
Kérdés
Nincs koordináta a jellemzők között. Elég ez a szivárgás ellen?
Egy kollégád talajmintákból jósol hozamot, és véletlen szétvágással kilencvenöt százalékos magyarázott hányadot kap. A jellemzők között nincs koordináta. Biztonságban van?
Question
- 1. Igen: koordináta nélkül a modell nem tudja megtanulni a helyet.
- 2. Nem: a talajjellemzők maguk is helyfüggők, tehát a hely közvetve benne van.
- 3. Nem, de csak akkor baj, ha a táblák nagyon eltérőek.
A koordináta kivétele nem szünteti meg a térbeli autokorrelációt, csak a legnyilvánvalóbb csatornáját. A talaj kötöttsége, a szervesanyag-tartalom, a pH mind erősen helyfüggő — két szomszédos pont ezekben is hasonlít. A modell tehát továbbra is azonosítani tudja a táblát, csak közvetve. Az egyetlen működő védekezés a szétvágás módja, nem a jellemzők válogatása.
10
Blokkos keresztvalidáció
Blokkok kijelölése → egész blokk kihagyása → tanítás a többin → értékelés a kihagyotton → körbe minden blokkra
A megoldás egyszerű, és pont ezért nehéz elfogadni: nem a modellen kell javítani, hanem a szétvágáson. Blokkokat képzel — táblát, dűlőt, évet —, és egész blokkokat hagysz ki. Amit mérsz, az így az a kérdés, ami valóban érdekel: mit tud a modell egy olyan táblán, amit még nem látott. Agráradaton ez az alapértelmezés, nem a kivétel.
11
A szivárgás négy tipikus formája
Időbeli: a jövőből a múltra · idősoron időrendi szétvágás | Csoportos: ugyanaz az egyed vagy tábla mindkét oldalon · csoport szerinti szétvágás | Célváltozóból: utólag ismert jellemző a bemenetben · a betakarítás utáni adat nem bemenet | Előfeldolgozási: skálázás a teljes adaton · a szétvágás UTÁN, csak a tanítón illesztve
Nem csak a térbeli szivárgás létezik. Négy formát érdemes fejből tudni, mert mind a négy előfordul agrárprojektben. Az időbeli: a jövőből tanulsz a múltra. A csoportos: ugyanaz a tábla vagy egyed több sorban. A célváltozóból származó jellemző: olyasmi került a bemenetbe, ami csak utólag ismert. És az előfeldolgozási: a skálázást vagy a hiánypótlást a teljes adaton csináltad, a szétvágás előtt.
12
A mérés a saját gépeden
A `w08-leakage` demó kimenete. Ugyanez a cella a w08_prediktiv.ipynb jegyzetfüzetben.
Ez a demó teljes kimenete. Futtasd le, és próbáld ki a kézenfekvő javításokat: vedd ki a koordinátát, csökkentsd a modell összetettségét, adj hozzá regularizációt. Egyik sem fogja megszüntetni a rést — és ez a lényeg. A szivárgást nem lehet modellezési eszközzel kijavítani, mert nem modellezési hiba.
13
Amit a jelentésbe kell írni
A szétvágás módja → A kérdés, amire a hiba válaszol → A hiba a döntés egységében
A blokk zárása, és ez a küldetés beadandójának is a váza. Három dolgot kell közölni minden prediktív eredménynél. Egy: hogyan vágtad szét az adatot, és miért úgy. Kettő: mi az a kérdés, amire a mért hiba válaszol — ugyanaz a tábla, vagy új tábla. Három: mennyi a hiba abban az egységben, amiben a döntés születik, tonnában vagy forintban, nem R négyzetben.
14
Torzítás, szórás, modellcsalád
Egy átváltás, amiből a modellválasztás nagy része következik
Második blokk. Most jönnek a modellek — de nem katalógusként. Egyetlen átváltást szeretnék megértetni, mert abból a modellválasztás nagy része következik, és mert ez magyarázza meg, miért nem a bonyolultabb modell a válasz.
15
A teszthiba három tagból áll
teszthiba = torzítás² + szórás + zaj. Az első kettő ellentétesen mozog a modell összetettségével; a harmadik nem mozdul.
Ez a hét egyetlen képlete, és megéri. A teszthiba három részre bomlik. A torzítás négyzete: mennyire téved a modell rendszeresen, minden tanítóhalmazon ugyanúgy — ez a túl egyszerű modell hibája. A szórás: mennyire ugrál a modell attól függően, milyen adatot kapott — ez a túl bonyolulté. És a zaj: amit senki nem tud megtanulni, mert nincs benne információ. Az első kettő ellentétesen mozog, és ez az átváltás.
16
A felbontás — és hogy tényleg kiadja-e
Három tag, három ok. Az első kettőt a modellválasztás mozgatja, a harmadikat semmi.
Itt a képlet, amiről az előző dia beszélt. A várható teszthiba három tagra bomlik, és mindhárom mást jelent. A torzítás négyzete: mennyire van rendszeresen mellé a modell, átlagosan a tanítóhalmazokon. A szórás: mennyire változik a becslés, ha másik tanítóhalmazt kap. És a zaj: amit semmilyen modell nem tud eltüntetni. Ez a harmadik tag a padló. A demó mind a hármat KÜLÖN megméri háromszáz független tanítóhalmazon, és össze is adja őket — nézd meg, hogy kiadja-e a teszthibát.
17
A teszthiba U alakja — mérve
Az `ml-biasvariance` demó mérése: 40 tanítópont, 300 tanítóhalmaz, harmadfokú igazság.
És itt a mérés. Tíz fokszám, mindegyikhez háromszáz független tanítóhalmaz, negyven ponttal. A teszthiba a harmadik fokszámnál a legkisebb: nulla egész nulla hétszázhetvenhárom. Balra tőle a torzítás dominál, jobbra a szórás. És nézd meg a jobb szélét: a tizedik fokszámnál kilenc egész egy. Nem tizedekkel romlott — százhússzorosára.
18
Ami a két tagból jön
Ugyanaz a mérés, a teszthiba két mozgó tagjára bontva. A tengely nulláról indul.
És a bontás, ami megmagyarázza az U alakot. A torzítás négyzete gyorsan leesik: az első fokszámnál nulla egész nulla kettőszáztizennyolc, a harmadiknál már nulla egész nulla nulla ötvenhat — a harmadfokú igazságot egy harmadfokú polinom természetesen el tudja találni. A szórás viszont végig nő, és a hetedik fokszám után elszabadul. A tizediknél kilenc egész nulla harminchat. Ez a szám a blokk lényege.
19
A két hiba egy képen
Az `ml-biasvariance` demó ábrája: a hibabontás és az illesztések viselkedése.
A demó saját ábrája, mert itt a két dolog egymás mellett látszik: a hibabontás és az, ahogy a modellek valójában viselkednek. Nézd meg a magas fokszámú illesztéseket. Nem rosszabbul találják el az átlagot — pontosan találják el —, csak minden tanítóhalmazon máshol csapkodnak. Ez a szórás, és ettől lesz megbízhatatlan a modell, nem a pontatlanságtól.
20
A felbontás futtatva
A `ml-biasvariance` cellája: tíz fokszám, háromszáz független tanítóhalmaz, és a három tag külön megmérve.
A cella itt fut. A csavar a zaj nagysága: ötödöld meg, és nézd meg, mi történik. Két dolog fog változni. A padló lejjebb megy — az nyilvánvaló. De az optimális fokszám is arrébb kerül, és ez a kevésbé nyilvánvaló: kevesebb zaj mellett megéri bonyolultabb modellt használni, mert a szórástag kisebb árat kér.
21
Alulillesztés és túlillesztés — hogyan ismerd fel
Alulillesztés: nagy tanítási hiba · nagy teszthiba · a bonyolítás SEGÍT · több jellemző, kifejezőbb család | Túlillesztés: kicsi tanítási hiba · nagy teszthiba · a bonyolítás ÁRT · regularizáció, több adat, egyszerűbb család
A gyakorlati megkülönböztetés, és ehhez elég két szám: a tanítási és a teszthiba. Ha mindkettő nagy, akkor a modell nem elég kifejező — alulillesztés —, és ilyenkor a bonyolítás valóban segít. Ha a tanítási kicsi és a teszt nagy, akkor túlillesztés, és a bonyolítás rontani fog. A két esetre ellentétes a gyógyszer, ezért kell megkülönböztetni őket, mielőtt hozzányúlnánk a modellhez.
22
Kérdés
Tanítási hiba 0,1, teszthiba 0,9. Segít a kifejezőbb modell?
Egy hozambecslő modellnél a tanítási hiba nulla egész egy, a teszthiba nulla egész kilenc tonna hektáronként. A kollégád azt javasolja, hogy váltsatok gradiens erősítésről neuronhálóra. Mit mondasz?
Question
- 1. Igen: a nagy teszthiba azt jelenti, hogy a modell nem elég erős.
- 2. Nem: ez túlillesztés, és a kifejezőbb modell a szórást növeli.
- 3. Attól függ, mennyi tanítóadat van — 10 000 sor fölött a neuronháló jobb.
A kicsi tanítási és a nagy teszthiba együtt a túlillesztés jellegzetes képe: a modell a zajt is megtanulta. A kifejezőbb család ezen ront, mert a hibabontásban a szórást növeli, miközben a torzítás már amúgy is kicsi. A helyes lépés a regularizáció, több adat, vagy egyszerűbb modell. A harmadik válasz külön tévedés: táblázatos agráradaton a gradiens erősítés tízezer sor fölött is rendszerint megveri a neuronhálót.
23
A modellcsalád létrája
Neuronháló — ritkán éri meg táblázatos adaton · Gradiens erősítés — táblázatoson általában a győztes · Véletlen erdő — robusztus, jó második alapvonal · Döntési fa — egyedül instabil · Lineáris regresszió — alapvonal, értelmezhető
És a létra, amin érdemes felfelé haladni — alulról. A lineáris regresszió alapvonalnak való, és az együtthatói értelmezhetők. A döntési fa egyedül instabil, de a belőle épített együttesek erősek. A véletlen erdő robusztus és alig kíván hangolást — jó második alapvonal. A gradiens erősítés táblázatos adaton általában a győztes. A tetején a neuronháló van, és táblázatos agráradaton ritkán éri meg odáig menni.
24
A jellemzők többet érnek, mint a család
A jellemzők megválasztása általában többet számít, mint a modellcsaládé. Új jellemző új információ; új modellcsalád nem az.
Ez a blokk gyakorlati zárómondata. A modellcsalád megválasztása ritkán hoz annyit, mint egy jó jellemző. Egy hőösszeg-alapú fenológiai jellemző többet ad a hozambecslésnek, mint a lineárisról gradiens erősítésre váltás — mert az előbbi új információt visz be, az utóbbi ugyanabból az információból próbál többet kihozni. Amikor a modell nem elég jó, először azt kérdezd meg, mit nem tud még.
25
Mennyit vehet el a modellcsalád, és mennyit nem
Az `ml-biasvariance` demó mérése: ugyanaz az adat, három fokszám, és a zaj alsó korlátja.
Nézzük meg, mekkora az a tartomány, amin belül a modellcsalád megválasztása egyáltalán mozoghat. Ugyanaz a negyven tanítópont, ugyanazok a jellemzők, csak a fokszám változik. Az elsőfokú teszthibája nulla egész nulla-nyolc-nyolc-kilenc. A legjobb, a harmadfokú, nulla egész nulla-hét-hét-három. A különbség nulla egész nulla-egy-egy-hat — ennyit hozott az, hogy a helyes családot találtuk el. És most nézd az utolsó oszlopot: nulla egész nulla-hat-két-öt a zaj, ami alá semmilyen modell nem megy. A teszthiba nyolcvanegy százaléka tehát olyasmi, amihez a modellcsaládnak semmi köze. Új jellemző ezt le tudja vinni, mert új információt hoz; új modellcsalád nem.
26
Értékelés, amikor a ritka eset a fontos
Miért hazudik a pontosság, és mi helyette
Harmadik blokk. Az agrárban a legtöbb prediktív feladat ritka eseményről szól: betegséggóc, kártevőfertőzés, géphiba, minőségi selejt. Ezek néhány százalékban fordulnak elő — és ettől minden szokásos mérőszám félrevezet. Ez a blokk arról szól, melyik szám mit mond, és melyiket nem szabad leírni.
27
A modell, amelyik mindig nemet mond
A `w08-threshold` demó mérése: 14,6 %-os esetarány, 0,5-ös döntési küszöb.
Kezdjük egy alapvonallal, ami megalázó és tanulságos. Az adatban az esetek tizennégy egész hat százaléka valódi. Ha építek egy modellt, amelyik mindig nemet mond — nulla sor kód, nulla tanítás —, annak a pontossága nyolcvanöt egész négy százalék. A valódi modell nyolcvannyolc egész kettő. Két egész nyolc százalékpont a különbség. Ha valaki nyolcvannyolc százalékos pontosságot jelent, és nem mondja meg az esetarányt, akkor nem mondott semmit.
28
A négy cella, amiből minden származik
| a modell IGENT mond | a modell NEMET mond · valóban eset | találat | kimaradt eset — a drága · valóban nincs | téves riasztás — az olcsó | helyes elutasítás
Mielőtt bármelyik mérőszámot használnánk, érdemes a zavarási mátrixot felírni, mert minden más ebből a négy számból jön. Két hibafajta van, és nem egyforma az áruk. A téves riasztás: kimegyünk, permetezünk, és nem volt semmi. A kimaradt eset: nem megyünk ki, és a góc szétterjed. Agrárban ez a kettő rendszerint nagyságrendekkel eltérő költségű — és ebből következik a blokk többi része.
29
A négy cellából számolt mérőszámok
Öt mérőszám, egy táblázat. A különbség mindig a nevezőben van: mihez viszonyítasz.
A négy cellából minden mérőszám kiszámolható, és érdemes egyszerre látni őket, mert a különbség a NEVEZŐBEN van. A pontosság mind a négy cellával oszt — ezért félrevezető ritka eseménynél. A precizitás azzal oszt, amire a modell igent mondott: a te oldaladról nézi. A fedés azzal, ami valóban eset: a jelenség oldaláról. A fajlagosság ugyanez a nemekre. És az F1 a precizitás és a fedés harmonikus közepe — azért harmonikus, mert az bünteti, ha az egyik nagyon kicsi.
30
ROC-AUC és PR-AUC: nem ugyanaz a hír
mérőszám | érték | mit jutalmaz · ROC-AUC | 0,880 | a helyes elutasításokat is · PR-AUC | 0,605 | csak a riasztásokat · a kettő rése | 0,275 | ennyit fed el a ROC ritka osztályon
Két görbe alatti terület van forgalomban, és ritka osztálynál nagyon eltérőt mondanak. A mérésünkben a ROC-AUC nulla egész nyolcszáznyolcvan — ez jól hangzik. A precizitás-fedés görbe alatti területe nulla egész hatszázöt. Ugyanaz a modell, ugyanaz az adat. A különbség onnan jön, hogy a ROC a helyes elutasításokat is jutalmazza, és azokból ritka osztálynál rengeteg van. A PR-görbe csak a riasztásokat nézi — és a döntés is azokról szól.
31
Mihez képest jó egy AUC
A ROC alapvonala rögzített, a PR-é az esetaránnyal mozog. Ritka eseménynél ez nagyságrendi különbség.
Mindkét görbének van alapvonala — az az érték, amit egy VÉLETLENSZERŰEN rangsoroló modell adna. És a két alapvonal nem ugyanaz. A ROC-görbéé mindig nulla egész öt, függetlenül attól, milyen ritka az esemény. A PR-görbéé viszont maga az esetarány. A mi adatunkon ez tizennégy egész hat század — vagyis egy nulla egész hatos PR-AUC nem gyenge, hanem négyszerese az alapvonalnak. Aki a PR-AUC-ot a ROC-AUC-hoz hasonlítja, rendre alábecsüli a modelljét.
32
A teljes mérés
A `w08-threshold` demó kimenete. Ugyanez a cella a w08_prediktiv.ipynb jegyzetfüzetben.
A demó teljes kimenete, mert a következő blokkhoz ezekre a számokra fogunk építeni. Két dolgot jegyezz meg innen. Az egyik: a ROC és a PR közötti rés — nulla egész nyolcnyolc kontra nulla egész hatnulla. A másik: a költségsor, mert a következő blokk arról szól. Ugyanez a modell, ugyanez az adat, csak a küszöb változik — és a költség hatvankilenc százalékkal esik.
33
A kalibráció: a valószínűség mint ígéret
Kalibrált a modell, ha amire 70 %-ot mond, abból tényleg 70 % következik be. Ez nem következik a jó rangsorolásból.
És most egy tulajdonság, amiről ritkán esik szó, pedig a döntéshez elengedhetetlen. Ha a modell hetven százalékot mond, akkor azokból az esetekből, ahol hetvenet mondott, nagyjából hétből hétnek be kell következnie. Ez a kalibráció. A rangsorolástól FÜGGETLEN: egy modell tökéletesen rangsorolhat, és mégis rendszeresen túl magas valószínűségeket mondhat. És ha küszöböt akarsz számolni, akkor a rangsor nem elég — a szám jelentése kell.
34
Mivel mérjük az ígéretet — a Brier-pontszám
A Brier a négyzetes eltérés átlaga, a kalibrációs hiba a sávonkénti ígéret és valóság különbsége.
Ha a valószínűség ígéret, akkor mérni is lehet, mennyire tartjuk be. A Brier-pontszám a legegyszerűbb: az ígért valószínűség és a tényleges nulla-vagy-egy kimenet négyzetes eltérésének átlaga. Kisebb a jobb. A kalibrációs hiba ennél közvetlenebb: sávokra bontjuk az ígért valószínűségeket, és megnézzük, hogy amikor hetven százalékot ígértünk, tényleg hetven százalékban lett-e eset. A kettő nem ugyanaz: a Brier a rangsorolást is bünteti, a kalibrációs hiba csak az ígéretet.
35
Amit a kiegyensúlyozás elront
Az `ml-calibration` demó mérése: ugyanaz a modell, kétféle tanítómintán.
Itt a mérés, és ez a blokk legmeglepőbb eredménye. Két modell: az egyik a természetes, tizenegy százalékos esetarányú mintán tanult, a másik mesterségesen kiegyensúlyozotton — ez a bevett recept a ritka osztályra. A rangsorolásuk gyakorlatilag azonos: nulla egész nyolcötvenhat kontra nulla egész nyolcötvenöt. A kiegyensúlyozás tehát semmit nem tett jobbá. A kalibrációs hibája viszont huszonegyszerese.
36
Kérdés
Kiegyensúlyozott mintán tanított modell, 70 %-os küszöb. Mi a baj?
Egy betegséggóc-előrejelző modellt kiegyensúlyozott mintán tanítottak, és a ROC-AUC-ja kiváló. A gazdának azt mondják, hogy ahol a modell hetven százalék fölötti kockázatot jelez, ott permetezzen. Mi a baj?
Question
- 1. A 70 % túl magas küszöb ritka eseményhez — alacsonyabb kellene.
- 2. A modell valószínűségei nem kalibráltak, tehát a 70 % nem 70 %-ot jelent.
- 3. A ROC-AUC nem alkalmas ritka osztály értékelésére, tehát a modell rossz.
Az első és a harmadik válasz is igaz állítást tartalmaz, de nem ez a közvetlen baj. A kiegyensúlyozott mintán tanított modell a mérésünkben átlagosan 0,359-et ígért ott, ahol a valóság 0,110 — a kimondott szám jelentése tehát elcsúszott. Egy „70 %” ilyen modellnél nem hetven százalékot jelent, hanem valamit, amit senki nem tud. Előbb kalibrálni kell, és csak azután lehet küszöbről beszélni.
37
A megbízhatósági görbe
Az `ml-calibration` demó ábrája: az ígért és a megfigyelt gyakoriság, mindkét modellre.
A demó saját ábrája. A megbízhatósági görbe azt rajzolja ki, amit az előbb elmondtam: a vízszintes tengelyen az, amit a modell ígért, a függőlegesen az, ami bekövetkezett. Az átló a tökéletes kalibráció. A természetes mintán tanult modell közel fut hozzá. A kiegyensúlyozott jóval alatta — mindenütt többet ígér, mint amennyi teljesül.
38
A kalibráció futtatva
A `ml-calibration` cellája: természetes és kiegyensúlyozott mintán tanított modell, ROC-AUC-val, Brier-pontszámmal és kalibrációs hibával.
Itt a cella. A csavar a sávok száma: állítsd huszonötre a tíz helyett. Ha a mért kalibrációs hiba nem változik érdemben, akkor a mérés stabil; ha igen, akkor a sávozás választása maga is befolyásolja az eredményt — és ezt egy jelentésben ki kell mondani. Ez a fajta ellenőrzés nem külön feladat: ez a mérés része.
39
Melyik számot mire
Pontosság — csak az esetaránnyal · Precizitás és fedés — ha a két hiba ára eltér · PR-AUC — ritka osztály, küszöbfüggetlen · ROC-AUC — rangsorolás, de optimista · Brier és kalibrációs hiba — ha valószínűségre döntünk
A blokk összefoglalása, és ez a lista a beadandóhoz is használható. A pontosság: csak az esetaránnyal együtt. A precizitás és a fedés: ha a két hibafajta ára eltér. A PR-AUC: ritka osztálynál küszöbfüggetlen összevetéshez. A ROC-AUC: rangsorolás összevetéséhez, de ritka osztálynál optimista. A Brier-pontszám és a kalibrációs hiba: ha a valószínűségre döntést építünk.
40
A küszöb és a modell élete
Amikor az adatból cselekvés lesz, és ami utána jön
Utolsó blokk. Eddig arról volt szó, hogyan mérjük a modellt. Most arról lesz, hogyan lesz belőle döntés — és mi történik vele azután, hogy üzembe állt. Ez a két dolog az, amiről a modellezési tanfolyamok a legkevesebbet beszélnek, és amiből a valódi projektek nagy része megbukik.
41
A 0,5 nem statisztika, hanem szokás
A 0,5-ös küszöb akkor helyes, ha a két hibafajta ára egyenlő. Agrárban szinte soha nem az.
A legtöbb eszköz alapból nulla egész ötnél vág. Ez nem elméletből jön, hanem kényelemből. A helyes küszöb két ártól függ: mennyibe kerül a téves riasztás, és mennyibe a kimaradt eset. Ha ez a kettő egyenlő, akkor a nulla egész öt tényleg jó. Agrárban szinte soha nem egyenlő — egy fölösleges permetezés ára a szeré és a gépidő, egy kimaradt gócé a tábla.
42
Hol van az optimum
A küszöb a két hibafajta árának hányadosából jön, nem a modellből.
A képlet egyszerű, és megéri megjegyezni. Ha a modell valószínűsége kalibrált, akkor akkor érdemes cselekedni, ha a várható megtakarítás meghaladja a beavatkozás árát — és ebből a küszöb a téves riasztás ára osztva a két ár összegével. A mi esetünkben a kimaradt eset tizennyolcszor drágább, tehát az elméleti optimum nulla egész nulla ötvenhárom. Nem nulla egész öt. Egy nagyságrenddel lejjebb.
43
Számold ki: hol van a küszöb optimuma
A `w08-threshold` demó költségaránya. A megszokott 0,5 akkor lenne helyes, ha a két ár egyenlő volna.
Két csúszka: mibe kerül egy téves riasztás, és mibe kerül egy kimaradt eset. A küszöb ebből a KÉT SZÁMBÓL jön, nem a modellből — és ezért nem statisztikai kérdés, hanem üzleti. Az alapbeállítás egy permetezési döntés aránya: a fölösleges permetezés egy egység, a kimaradt fertőzés tizennyolc. A küszöb nulla egész nulla ötvenhárom. Most told a kimaradt eset árát háromra: a küszöb nulla egész huszonötre ugrik. Ugyanaz a modell, ugyanaz az adat — más döntés, mert más a költség.
44
Mennyibe kerül a megszokás
A `w08-threshold` demó mérése: teljes költség a küszöb függvényében.
És a mérés. Ugyanaz a modell, ugyanaz az adat, csak a küszöb változik. Nulla egész ötnél a teljes költség ezerkilencszázhatvan. A költségoptimális küszöbnél hatszáznyolc — hatvankilenc százalékkal kevesebb. Ez nem modellfejlesztés: egyetlen szám átírása. A legolcsóbb javítás, ami egy prediktív rendszeren elvégezhető, és a legtöbb helyen elmarad.
45
A költséggörbe teljes alakja
A `w08-threshold` demó ábrája: a költség a küszöb függvényében, a teljes tartományon.
A demó saját ábrája, mert a görbe alakja többet mond, mint a két oszlop. Nézd meg, milyen lapos a minimum környéke. Ebből két dolog következik. Az egyik megnyugtató: nem kell eltalálni a pontos optimumot, elég a nagyságrend. A másik kellemetlen: a minimum helye ezért bizonytalan, és ha az árakat rosszul becsülöd, azt a görbe nem fogja megmondani. A laposság tehát egyszerre bocsánat és csapda.
46
Kérdés
8 000 Ft a beavatkozás, 240 000 Ft a kimaradt eset. Mennyi a küszöb?
Egy gazdaságban a permetezés hektáronként nyolcezer forint, egy kimaradt gócból származó veszteség átlagosan kétszáznegyvenezer. A modell kalibrált. Hol van a küszöb?
Question
- 1. 0,5 — a modell kimenetét fele-fele alapon vágjuk.
- 2. Nagyjából 0,03 — a beavatkozás ára osztva a két ár összegével.
- 3. 0,97 — csak akkor avatkozunk be, ha nagyon biztos a modell.
Nyolcezer osztva nyolcezer meg kétszáznegyvenezerrel: 0,032. Vagyis már három százalékos kockázatnál érdemes kimenni, mert a beavatkozás harmincszor olcsóbb, mint a kimaradt eset. A harmadik válasz a leggyakoribb megérzés — „csak ha biztos” —, és pont fordítva van: minél drágább a kimaradt eset, annál ALACSONYABB a küszöb.
47
Az eloszláseltolódás
A modell nem romlik el. Az adat mozdul el alóla — új fajta, új gép, más szezon, cserélt szenzor.
És ami a bevezetés után jön. A modell nem romlik el magától — a világ változik körülötte. Új fajta kerül a táblákra, új gépet vesznek, jön egy szokatlan szezon, kicserélik a szenzort. Az adat, amin a modell dolgozik, eltér attól, amin tanult. Ez az eloszláseltolódás, és a kellemetlen tulajdonsága az, hogy nem ad hibaüzenetet: a modell ugyanúgy ad számot, csak az rosszabb.
48
Az eltolódás három fajtája — képlettel
Bemeneti eltolódás · címke-eltolódás · fogalmi sodródás. Csak a harmadikhoz kell mindenképp új címke.
Az eloszláseltolódás szó három különböző dolgot takar, és nem mindegy, melyikről van szó, mert más a gyógymódjuk. Az első a bemeneti eltolódás: a bemenetek eloszlása változik, de a bemenet és a címke kapcsolata nem. Ezt újrasúlyozással kezelni lehet. A második a címke-eltolódás: az esetarány változik meg — ezt a küszöb eltolásával. A harmadik a fogalmi sodródás: maga a kapcsolat változik meg. Erre nincs trükk: újra kell tanítani. Az első kettőt meg lehet mérni címke nélkül is, a harmadikat nem.
49
Az eltolódás, képi adaton mérve
A `cv-domainshift` demó ábrája: ugyanaz az osztályozó két megvilágításon, a döntési réssel együtt.
Az eloszláseltolódást a gépi látás modulban mértük meg a legélesebben, és érdemes ideemelni, mert ott látszik a legjobban. Egy színalapú osztályozó azonos megvilágításon kilencvenegy egész egy százalékot ér el, délutáni fényen ugyanez hatvanhét egész hat. És ami a legfontosabb: a modell magabiztossága közben alig változik. Nem jelez. Pontosan ezért nem elég a validáción hinni — az üzemi adatból kell visszamérni.
50
A modell nem termék, hanem üzem
Tanítás → Értékelés → Üzembe állítás → Figyelés → Eltolódás észlelése → Újratanítás ↺
Ezért zárom a hetet ezzel a körrel. A tanítás és az értékelés csak az első két lépés. Utána jön az üzembe állítás, a figyelés, az eltolódás észlelése, és az újratanítás — majd elölről. Amit érdemes megjegyezni: az újratanítás szabályát ELŐRE kell kimondani. Mikor tanítunk újra, milyen adaton, és mi alapján fogadjuk el az új modellt. Ha ez nincs kimondva, akkor az újratanítás akkor történik, amikor valaki panaszkodik.
51
Magyarázat: mit mond és mit nem
Beépített fontosság: gyors · torzít a korrelált és a sok értékű jellemzők felé · önmagában nem magyarázat | Permutációs fontosság: a tényleges romlást méri · lassabb · becsületesebb | SHAP: egyetlen előrejelzést bont fel · a modellt magyarázza, nem az okságot
Egy utolsó figyelmeztetés, mert ez a rész szokott a legtöbb félreértést okozni. A beépített fontossági mutatók a korrelált és a sok értékű jellemzőket felülértékelik — önmagukban nem magyarázat. A permutációs fontosság becsületesebb, mert a tényleges teljesítményromlást méri. A SHAP-érték egyetlen előrejelzést bont fel. De mindhárom a MODELLT magyarázza, nem a valóságot: ha a modell rossz okból jól teljesít, a magyarázat azt az okot fogja megmutatni.
52
Ezt fogod reprodukálni
A `w08-leakage` demó ábrája — ugyanaz, mint a hét elején. A küldetés beadandója ennek a párja a te adatodon.
Zárásként visszateszem a hét első ábráját, mert a küldetésben pontosan ezt kell előállítanod a saját adatodon. Két szétvágás, két hibaérték, egy ábra. Nem új mérést kérek, hanem ugyanezt — és azt a mondatot, hogy melyik számot írnád le egy jelentésbe. A visszatérés szándékos: amit a hét elején furcsának találtál, annak a végére magától értetődőnek kell látszania.
53
A 8. küldetés
Szivárogtass, aztán javítsd meg. A beadandó a két hibaérték, és hogy melyiket írnád le.
A heti küldetés pontosan az, amit az első blokkban mértünk, csak a te adatodon. Taníts be ugyanazt a modellt kétszer: egyszer véletlen szétvágással, egyszer térbeli blokkos keresztvalidációval. A beadandó a két hibaérték, és annak kimondása, melyiket írnád le egy jelentésbe. A különbség nagysága a küldetés valódi tanulsága — nálunk hatszoros volt.
54
A hét fogalmai
Adatszivárgás · Térbeli autokorreláció · Blokkos keresztvalidáció — a szétvágás egysége a tábla, nem a mintavételi pont; enélkül a szomszéd pont átszivárog · Torzítás és szórás — a teszthiba két mozgatható tagja: a rendszeres tévedés és a tanítóhalmaztól való függés; a harmadik tag a zaj, azt semmi nem mozdítja · Túl- és alulillesztés — a modell a zajt is megtanulta, vagy a jelet sem; a tanító és a teszt hibájának viszonya árulja el, melyik · Regularizáció · Modellcsalád-létra — lineáristól a hálóig; a létrán csak akkor lépünk följebb, ha a mérés indokolja · Kiegyensúlyozatlan osztályok — a ritka eset miatt a pontosság félrevezet; a kiegyensúlyozás pedig a valószínűséget teszi hazuggá · Zavarási mátrix · Precizitás és fedés · ROC és PR — a két értékelési görbe; a ROC alapvonala mindig 0,5, a PR-é maga az esetarány · Kalibráció — a valószínűség ígéret: amikor a modell 70 %-ot mond, az esetek 70 %-ában legyen eset · Döntési küszöb · Eloszláseltolódás · Újratanítás
Ez volt a nyolcadik hét. Egy mondatban: a modellhiba nagy része nem a modellben van, hanem abban, hogyan vágtuk szét az adatot, mivel mértük, és hol húztuk meg a küszöböt.
55
A hét rövidítései
Rövidítés | Feloldás | Mit jelent · TP | True Positive — valódi találat | a modell igent mondott, és tényleg eset · FP | False Positive — téves riasztás | a modell igent mondott, de nem eset · FN | False Negative — kimaradt eset | a modell nemet mondott, pedig eset · TN | True Negative | a modell nemet mondott, és tényleg nem eset · ROC | Receiver Operating Characteristic | a fedés és a téves riasztási arány görbéje a küszöb mentén · AUC | Area Under the Curve — görbe alatti terület | a görbe egyetlen számba sűrítve · ROC-AUC | a ROC-görbe alatti terület | a rangsorolás jósága; a véletlen alapvonala mindig 0,5 · PR | Precision–Recall — precizitás–fedés | a másik görbe: a precizitás a fedés függvényében · PR-AUC | a PR-görbe alatti terület | ritka eseménynél a becsületesebb mérce; a véletlen alapvonala maga az esetarány · MAE | Mean Absolute Error | átlagos abszolút hiba, az adat mértékegységében · SS | Sum of Squares — négyzetösszeg | az R² két négyzetösszeg hányadosa: a maradéké és a teljesé · SHAP | SHapley Additive exPlanations | jellemzőnkénti hozzájárulás a játékelméleti Shapley-értékből; magyaráz, de nem okságot mond
A prediktív hét rövidítései. A négy cella betűjele — TP, FP, FN, TN — az egész értékelési fejezet alapja: minden mérőszám ebből a négy számból készül, és a különbség köztük mindig a nevezőben van.
56
A 8. hét három diagramtípusa, ugyanazon az adaton
A 8. hét három diagramtípusa, ugyanazon az öt értéken.
A prediktív hét ugyanezzel a hárommal dolgozik. Az oszlop a szétvágások és a küszöbök összevetésére való, a vonal pedig ott, ahol egy folytonos paraméter mentén nézünk végig valamit: a fokszámon vagy a küszöbön. Ha a két panelt egymás mellé teszed, látszik, miért: a vonal a KÖZTES értékekről is állít valamit, az oszlop nem — a küszöbgörbén pedig éppen a köztes értékek érdekelnek minket.
57
A 8. hét diagramtípusai
diagramtípus | mit olvasol le róla | mire NEM jó · oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta · vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs · demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián
A prediktív hét ugyanezt a két típust használja: oszlopot a szétvágások és a küszöbök összevetésére, vonalat ott, ahol egy folytonos paraméter mentén nézünk végig valamit — a fokszámon vagy a küszöbön.