Predictive analytics and AI in agriculture
A szétvágás fegyelme, a torzítás-szórás átváltás, az értékelés ritka osztályon, és a küszöb mint gazdasági döntés.
The semester
Miért ez az első blokk, és miért nem a modellekkel kezdünk
Agráradaton a túl szép eredmény először gyanú, csak azután eredmény.
Szeretném, ha ez a mondat megmaradna a félévből. Ha agráradaton kilencvennyolc százalékos magyarázott hányadot kapsz, az első reakció nem az öröm, hanem a gyanú. Nem azért, mert lehetetlen — hanem mert a leggyakoribb oka nem a jó modell, hanem a szivárgás. És a szivárgás pont ilyen szép számokat ad: ez a természete.
A `w08-leakage` demó mérése: 810 pont 9 táblán. A nulla vonal alatt a modell rosszabb a puszta átlagnál.
Hogy ne maradjon elvont, itt a szám, amiről az előbb beszéltem. Ugyanaz a modell, ugyanaz az adat, csak a szétvágás más. Véletlen szétvágással az R négyzet nulla egész kilencszázhuszonegy — ezt bárki büszkén leírná egy jelentésbe. Táblánkénti blokkossal mínusz egy egész kettőszázötvenhét. A negatív R négyzetnek pontos jelentése van: a modell rosszabb, mint ha minden táblára a globális átlagot mondanánk. Ugyanaz a modell adta mindkettőt.
A nevezőben az átlaggal jósló modell hibája áll. Az R² tehát viszonyszám, nem abszolút jóság.
Mielőtt továbbmennénk, nézzük meg, mit jelent pontosan az a 0,98. Az R² a maradék négyzetösszeget osztja el azzal a négyzetösszeggel, amit akkor kapnánk, ha mindenhova az ÁTLAGOT jósolnánk. Vagyis a viszonyítási alap benne van a képletben: az R² azt mondja meg, mennyivel vagy jobb a puszta átlagnál. Ebből két dolog következik. Az első: egy nullás R² nem katasztrófa, hanem annyit tesz, hogy nem verted meg az átlagot. A második, és ez a meglepőbb: az R² lehet NEGATÍV is. Ha a modell rosszabb az átlagnál, a hányados egynél nagyobb lesz.
Az alapszerkezet, mielőtt bármit szétvágnánk. A tanítóhalmazon állnak be a paraméterek. A validációs halmazon VÁLASZTUNK: modellt, fokszámot, küszöböt. A teszthalmaz pedig egyszer használható — a legvégső becsléshez. Ha kétszer néztél rá, akkor már nem teszthalmaz, hanem validációs, és a rajta mért szám optimista.
A közeli pontok hasonlítanak. Véletlen szétvágásnál ugyanannak a táblának a pontjai a tanítóban ÉS a teszten is ott vannak.
És most az, ami az agráradatot különlegessé teszi. A közeli helyek adatai hasonlítanak egymásra — ugyanaz a talaj, ugyanaz a mikroklíma, ugyanaz a gép járt rajta. Ez nem zavar, hanem a valóság szerkezete. De ha véletlenszerűen vágsz szét, akkor ugyanabból a táblából kerül pont a tanítóba és a tesztbe is, és a szomszédos pontok gyakorlatilag ugyanazt az információt hordozzák. A modell nem a jelenséget tanulja meg, hanem a helyet.
A `w08-leakage` demó mérése: 810 pont 9 táblán, azonos modell és jellemzők.
Itt a mérés, és ez a hét legfontosabb két oszlopa. Nyolcszáztíz mintavételi pont kilenc tábláról, ugyanaz a modell, ugyanazok a jellemzők. Véletlen szétvágással a hiba nulla egész háromszázkilenc tonna hektáronként. Táblánkénti blokkos szétvágással kettő egész nulla nulla öt — hatszorosa. És ez nem a modell romlása: ez a modell valódi teljesítménye egy olyan táblán, amit még nem látott. A másik szám volt a hazugság.
Az ábra betöltése…
A demó teljes ábrája, mert van itt egy szám, amit külön ki kell mondani. A véletlen szétvágás R négyzete nulla egész kilencszázhuszonegy — gyönyörű. A blokkosé mínusz egy egész kettőszázötvenhét. A negatív R négyzet azt jelenti, hogy a modell rosszabb, mint ha minden táblára a globális átlagot mondanánk. Nem gyengébb — rosszabb a semminél. És ugyanaz a modell adta mindkettőt.
Egy kollégád talajmintákból jósol hozamot, és véletlen szétvágással kilencvenöt százalékos magyarázott hányadot kap. A jellemzők között nincs koordináta. Biztonságban van?
Egy kollégád talajmintákból jósol hozamot, és véletlen szétvágással kilencvenöt százalékos magyarázott hányadot kap. A jellemzők között nincs koordináta. Biztonságban van?
A megoldás egyszerű, és pont ezért nehéz elfogadni: nem a modellen kell javítani, hanem a szétvágáson. Blokkokat képzel — táblát, dűlőt, évet —, és egész blokkokat hagysz ki. Amit mérsz, az így az a kérdés, ami valóban érdekel: mit tud a modell egy olyan táblán, amit még nem látott. Agráradaton ez az alapértelmezés, nem a kivétel.
Nem csak a térbeli szivárgás létezik. Négy formát érdemes fejből tudni, mert mind a négy előfordul agrárprojektben. Az időbeli: a jövőből tanulsz a múltra. A csoportos: ugyanaz a tábla vagy egyed több sorban. A célváltozóból származó jellemző: olyasmi került a bemenetbe, ami csak utólag ismert. És az előfeldolgozási: a skálázást vagy a hiánypótlást a teljes adaton csináltad, a szétvágás előtt.
A cella betöltése…
Ez a demó teljes kimenete. Futtasd le, és próbáld ki a kézenfekvő javításokat: vedd ki a koordinátát, csökkentsd a modell összetettségét, adj hozzá regularizációt. Egyik sem fogja megszüntetni a rést — és ez a lényeg. A szivárgást nem lehet modellezési eszközzel kijavítani, mert nem modellezési hiba.
A blokk zárása, és ez a küldetés beadandójának is a váza. Három dolgot kell közölni minden prediktív eredménynél. Egy: hogyan vágtad szét az adatot, és miért úgy. Kettő: mi az a kérdés, amire a mért hiba válaszol — ugyanaz a tábla, vagy új tábla. Három: mennyi a hiba abban az egységben, amiben a döntés születik, tonnában vagy forintban, nem R négyzetben.
Egy átváltás, amiből a modellválasztás nagy része következik
teszthiba = torzítás² + szórás + zaj. Az első kettő ellentétesen mozog a modell összetettségével; a harmadik nem mozdul.
Ez a hét egyetlen képlete, és megéri. A teszthiba három részre bomlik. A torzítás négyzete: mennyire téved a modell rendszeresen, minden tanítóhalmazon ugyanúgy — ez a túl egyszerű modell hibája. A szórás: mennyire ugrál a modell attól függően, milyen adatot kapott — ez a túl bonyolulté. És a zaj: amit senki nem tud megtanulni, mert nincs benne információ. Az első kettő ellentétesen mozog, és ez az átváltás.
Három tag, három ok. Az első kettőt a modellválasztás mozgatja, a harmadikat semmi.
Itt a képlet, amiről az előző dia beszélt. A várható teszthiba három tagra bomlik, és mindhárom mást jelent. A torzítás négyzete: mennyire van rendszeresen mellé a modell, átlagosan a tanítóhalmazokon. A szórás: mennyire változik a becslés, ha másik tanítóhalmazt kap. És a zaj: amit semmilyen modell nem tud eltüntetni. Ez a harmadik tag a padló. A demó mind a hármat KÜLÖN megméri háromszáz független tanítóhalmazon, és össze is adja őket — nézd meg, hogy kiadja-e a teszthibát.
Az `ml-biasvariance` demó mérése: 40 tanítópont, 300 tanítóhalmaz, harmadfokú igazság.
És itt a mérés. Tíz fokszám, mindegyikhez háromszáz független tanítóhalmaz, negyven ponttal. A teszthiba a harmadik fokszámnál a legkisebb: nulla egész nulla hétszázhetvenhárom. Balra tőle a torzítás dominál, jobbra a szórás. És nézd meg a jobb szélét: a tizedik fokszámnál kilenc egész egy. Nem tizedekkel romlott — százhússzorosára.
Ugyanaz a mérés, a teszthiba két mozgó tagjára bontva. A tengely nulláról indul.
És a bontás, ami megmagyarázza az U alakot. A torzítás négyzete gyorsan leesik: az első fokszámnál nulla egész nulla kettőszáztizennyolc, a harmadiknál már nulla egész nulla nulla ötvenhat — a harmadfokú igazságot egy harmadfokú polinom természetesen el tudja találni. A szórás viszont végig nő, és a hetedik fokszám után elszabadul. A tizediknél kilenc egész nulla harminchat. Ez a szám a blokk lényege.
Az ábra betöltése…
A demó saját ábrája, mert itt a két dolog egymás mellett látszik: a hibabontás és az, ahogy a modellek valójában viselkednek. Nézd meg a magas fokszámú illesztéseket. Nem rosszabbul találják el az átlagot — pontosan találják el —, csak minden tanítóhalmazon máshol csapkodnak. Ez a szórás, és ettől lesz megbízhatatlan a modell, nem a pontatlanságtól.
A cella betöltése…
A cella itt fut. A csavar a zaj nagysága: ötödöld meg, és nézd meg, mi történik. Két dolog fog változni. A padló lejjebb megy — az nyilvánvaló. De az optimális fokszám is arrébb kerül, és ez a kevésbé nyilvánvaló: kevesebb zaj mellett megéri bonyolultabb modellt használni, mert a szórástag kisebb árat kér.
A gyakorlati megkülönböztetés, és ehhez elég két szám: a tanítási és a teszthiba. Ha mindkettő nagy, akkor a modell nem elég kifejező — alulillesztés —, és ilyenkor a bonyolítás valóban segít. Ha a tanítási kicsi és a teszt nagy, akkor túlillesztés, és a bonyolítás rontani fog. A két esetre ellentétes a gyógyszer, ezért kell megkülönböztetni őket, mielőtt hozzányúlnánk a modellhez.
Egy hozambecslő modellnél a tanítási hiba nulla egész egy, a teszthiba nulla egész kilenc tonna hektáronként. A kollégád azt javasolja, hogy váltsatok gradiens erősítésről neuronhálóra. Mit mondasz?
Egy hozambecslő modellnél a tanítási hiba nulla egész egy, a teszthiba nulla egész kilenc tonna hektáronként. A kollégád azt javasolja, hogy váltsatok gradiens erősítésről neuronhálóra. Mit mondasz?
És a létra, amin érdemes felfelé haladni — alulról. A lineáris regresszió alapvonalnak való, és az együtthatói értelmezhetők. A döntési fa egyedül instabil, de a belőle épített együttesek erősek. A véletlen erdő robusztus és alig kíván hangolást — jó második alapvonal. A gradiens erősítés táblázatos adaton általában a győztes. A tetején a neuronháló van, és táblázatos agráradaton ritkán éri meg odáig menni.
A jellemzők megválasztása általában többet számít, mint a modellcsaládé. Új jellemző új információ; új modellcsalád nem az.
Ez a blokk gyakorlati zárómondata. A modellcsalád megválasztása ritkán hoz annyit, mint egy jó jellemző. Egy hőösszeg-alapú fenológiai jellemző többet ad a hozambecslésnek, mint a lineárisról gradiens erősítésre váltás — mert az előbbi új információt visz be, az utóbbi ugyanabból az információból próbál többet kihozni. Amikor a modell nem elég jó, először azt kérdezd meg, mit nem tud még.
Az `ml-biasvariance` demó mérése: ugyanaz az adat, három fokszám, és a zaj alsó korlátja.
Nézzük meg, mekkora az a tartomány, amin belül a modellcsalád megválasztása egyáltalán mozoghat. Ugyanaz a negyven tanítópont, ugyanazok a jellemzők, csak a fokszám változik. Az elsőfokú teszthibája nulla egész nulla-nyolc-nyolc-kilenc. A legjobb, a harmadfokú, nulla egész nulla-hét-hét-három. A különbség nulla egész nulla-egy-egy-hat — ennyit hozott az, hogy a helyes családot találtuk el. És most nézd az utolsó oszlopot: nulla egész nulla-hat-két-öt a zaj, ami alá semmilyen modell nem megy. A teszthiba nyolcvanegy százaléka tehát olyasmi, amihez a modellcsaládnak semmi köze. Új jellemző ezt le tudja vinni, mert új információt hoz; új modellcsalád nem.
Miért hazudik a pontosság, és mi helyette
A `w08-threshold` demó mérése: 14,6 %-os esetarány, 0,5-ös döntési küszöb.
Kezdjük egy alapvonallal, ami megalázó és tanulságos. Az adatban az esetek tizennégy egész hat százaléka valódi. Ha építek egy modellt, amelyik mindig nemet mond — nulla sor kód, nulla tanítás —, annak a pontossága nyolcvanöt egész négy százalék. A valódi modell nyolcvannyolc egész kettő. Két egész nyolc százalékpont a különbség. Ha valaki nyolcvannyolc százalékos pontosságot jelent, és nem mondja meg az esetarányt, akkor nem mondott semmit.
| a modell IGENT mond | a modell NEMET mond | |
|---|---|---|
| valóban eset | találat | kimaradt eset — a drága |
| valóban nincs | téves riasztás — az olcsó | helyes elutasítás |
Mielőtt bármelyik mérőszámot használnánk, érdemes a zavarási mátrixot felírni, mert minden más ebből a négy számból jön. Két hibafajta van, és nem egyforma az áruk. A téves riasztás: kimegyünk, permetezünk, és nem volt semmi. A kimaradt eset: nem megyünk ki, és a góc szétterjed. Agrárban ez a kettő rendszerint nagyságrendekkel eltérő költségű — és ebből következik a blokk többi része.
Öt mérőszám, egy táblázat. A különbség mindig a nevezőben van: mihez viszonyítasz.
A négy cellából minden mérőszám kiszámolható, és érdemes egyszerre látni őket, mert a különbség a NEVEZŐBEN van. A pontosság mind a négy cellával oszt — ezért félrevezető ritka eseménynél. A precizitás azzal oszt, amire a modell igent mondott: a te oldaladról nézi. A fedés azzal, ami valóban eset: a jelenség oldaláról. A fajlagosság ugyanez a nemekre. És az F1 a precizitás és a fedés harmonikus közepe — azért harmonikus, mert az bünteti, ha az egyik nagyon kicsi.
| mérőszám | érték | mit jutalmaz |
|---|---|---|
| ROC-AUC | 0,880 | a helyes elutasításokat is |
| PR-AUC | 0,605 | csak a riasztásokat |
| a kettő rése | 0,275 | ennyit fed el a ROC ritka osztályon |
Két görbe alatti terület van forgalomban, és ritka osztálynál nagyon eltérőt mondanak. A mérésünkben a ROC-AUC nulla egész nyolcszáznyolcvan — ez jól hangzik. A precizitás-fedés görbe alatti területe nulla egész hatszázöt. Ugyanaz a modell, ugyanaz az adat. A különbség onnan jön, hogy a ROC a helyes elutasításokat is jutalmazza, és azokból ritka osztálynál rengeteg van. A PR-görbe csak a riasztásokat nézi — és a döntés is azokról szól.
A ROC alapvonala rögzített, a PR-é az esetaránnyal mozog. Ritka eseménynél ez nagyságrendi különbség.
Mindkét görbének van alapvonala — az az érték, amit egy VÉLETLENSZERŰEN rangsoroló modell adna. És a két alapvonal nem ugyanaz. A ROC-görbéé mindig nulla egész öt, függetlenül attól, milyen ritka az esemény. A PR-görbéé viszont maga az esetarány. A mi adatunkon ez tizennégy egész hat század — vagyis egy nulla egész hatos PR-AUC nem gyenge, hanem négyszerese az alapvonalnak. Aki a PR-AUC-ot a ROC-AUC-hoz hasonlítja, rendre alábecsüli a modelljét.
A cella betöltése…
A demó teljes kimenete, mert a következő blokkhoz ezekre a számokra fogunk építeni. Két dolgot jegyezz meg innen. Az egyik: a ROC és a PR közötti rés — nulla egész nyolcnyolc kontra nulla egész hatnulla. A másik: a költségsor, mert a következő blokk arról szól. Ugyanez a modell, ugyanez az adat, csak a küszöb változik — és a költség hatvankilenc százalékkal esik.
Kalibrált a modell, ha amire 70 %-ot mond, abból tényleg 70 % következik be. Ez nem következik a jó rangsorolásból.
És most egy tulajdonság, amiről ritkán esik szó, pedig a döntéshez elengedhetetlen. Ha a modell hetven százalékot mond, akkor azokból az esetekből, ahol hetvenet mondott, nagyjából hétből hétnek be kell következnie. Ez a kalibráció. A rangsorolástól FÜGGETLEN: egy modell tökéletesen rangsorolhat, és mégis rendszeresen túl magas valószínűségeket mondhat. És ha küszöböt akarsz számolni, akkor a rangsor nem elég — a szám jelentése kell.
A Brier a négyzetes eltérés átlaga, a kalibrációs hiba a sávonkénti ígéret és valóság különbsége.
Ha a valószínűség ígéret, akkor mérni is lehet, mennyire tartjuk be. A Brier-pontszám a legegyszerűbb: az ígért valószínűség és a tényleges nulla-vagy-egy kimenet négyzetes eltérésének átlaga. Kisebb a jobb. A kalibrációs hiba ennél közvetlenebb: sávokra bontjuk az ígért valószínűségeket, és megnézzük, hogy amikor hetven százalékot ígértünk, tényleg hetven százalékban lett-e eset. A kettő nem ugyanaz: a Brier a rangsorolást is bünteti, a kalibrációs hiba csak az ígéretet.
Az `ml-calibration` demó mérése: ugyanaz a modell, kétféle tanítómintán.
Itt a mérés, és ez a blokk legmeglepőbb eredménye. Két modell: az egyik a természetes, tizenegy százalékos esetarányú mintán tanult, a másik mesterségesen kiegyensúlyozotton — ez a bevett recept a ritka osztályra. A rangsorolásuk gyakorlatilag azonos: nulla egész nyolcötvenhat kontra nulla egész nyolcötvenöt. A kiegyensúlyozás tehát semmit nem tett jobbá. A kalibrációs hibája viszont huszonegyszerese.
Egy betegséggóc-előrejelző modellt kiegyensúlyozott mintán tanítottak, és a ROC-AUC-ja kiváló. A gazdának azt mondják, hogy ahol a modell hetven százalék fölötti kockázatot jelez, ott permetezzen. Mi a baj?
Egy betegséggóc-előrejelző modellt kiegyensúlyozott mintán tanítottak, és a ROC-AUC-ja kiváló. A gazdának azt mondják, hogy ahol a modell hetven százalék fölötti kockázatot jelez, ott permetezzen. Mi a baj?
Az ábra betöltése…
A demó saját ábrája. A megbízhatósági görbe azt rajzolja ki, amit az előbb elmondtam: a vízszintes tengelyen az, amit a modell ígért, a függőlegesen az, ami bekövetkezett. Az átló a tökéletes kalibráció. A természetes mintán tanult modell közel fut hozzá. A kiegyensúlyozott jóval alatta — mindenütt többet ígér, mint amennyi teljesül.
A cella betöltése…
Itt a cella. A csavar a sávok száma: állítsd huszonötre a tíz helyett. Ha a mért kalibrációs hiba nem változik érdemben, akkor a mérés stabil; ha igen, akkor a sávozás választása maga is befolyásolja az eredményt — és ezt egy jelentésben ki kell mondani. Ez a fajta ellenőrzés nem külön feladat: ez a mérés része.
csak az esetaránnyal
ha a két hiba ára eltér
ritka osztály, küszöbfüggetlen
rangsorolás, de optimista
ha valószínűségre döntünk
A blokk összefoglalása, és ez a lista a beadandóhoz is használható. A pontosság: csak az esetaránnyal együtt. A precizitás és a fedés: ha a két hibafajta ára eltér. A PR-AUC: ritka osztálynál küszöbfüggetlen összevetéshez. A ROC-AUC: rangsorolás összevetéséhez, de ritka osztálynál optimista. A Brier-pontszám és a kalibrációs hiba: ha a valószínűségre döntést építünk.
Amikor az adatból cselekvés lesz, és ami utána jön
A 0,5-ös küszöb akkor helyes, ha a két hibafajta ára egyenlő. Agrárban szinte soha nem az.
A legtöbb eszköz alapból nulla egész ötnél vág. Ez nem elméletből jön, hanem kényelemből. A helyes küszöb két ártól függ: mennyibe kerül a téves riasztás, és mennyibe a kimaradt eset. Ha ez a kettő egyenlő, akkor a nulla egész öt tényleg jó. Agrárban szinte soha nem egyenlő — egy fölösleges permetezés ára a szeré és a gépidő, egy kimaradt gócé a tábla.
A küszöb a két hibafajta árának hányadosából jön, nem a modellből.
A képlet egyszerű, és megéri megjegyezni. Ha a modell valószínűsége kalibrált, akkor akkor érdemes cselekedni, ha a várható megtakarítás meghaladja a beavatkozás árát — és ebből a küszöb a téves riasztás ára osztva a két ár összegével. A mi esetünkben a kimaradt eset tizennyolcszor drágább, tehát az elméleti optimum nulla egész nulla ötvenhárom. Nem nulla egész öt. Egy nagyságrenddel lejjebb.
A `w08-threshold` demó költségaránya. A megszokott 0,5 akkor lenne helyes, ha a két ár egyenlő volna.
t=1 / (1 + 18)=0,05küszöb
Húzd a csúszkát, és nézd, mi mozdul.
A `w08-threshold` demó mérése: teljes költség a küszöb függvényében.
És a mérés. Ugyanaz a modell, ugyanaz az adat, csak a küszöb változik. Nulla egész ötnél a teljes költség ezerkilencszázhatvan. A költségoptimális küszöbnél hatszáznyolc — hatvankilenc százalékkal kevesebb. Ez nem modellfejlesztés: egyetlen szám átírása. A legolcsóbb javítás, ami egy prediktív rendszeren elvégezhető, és a legtöbb helyen elmarad.
Az ábra betöltése…
A demó saját ábrája, mert a görbe alakja többet mond, mint a két oszlop. Nézd meg, milyen lapos a minimum környéke. Ebből két dolog következik. Az egyik megnyugtató: nem kell eltalálni a pontos optimumot, elég a nagyságrend. A másik kellemetlen: a minimum helye ezért bizonytalan, és ha az árakat rosszul becsülöd, azt a görbe nem fogja megmondani. A laposság tehát egyszerre bocsánat és csapda.
Egy gazdaságban a permetezés hektáronként nyolcezer forint, egy kimaradt gócból származó veszteség átlagosan kétszáznegyvenezer. A modell kalibrált. Hol van a küszöb?
Egy gazdaságban a permetezés hektáronként nyolcezer forint, egy kimaradt gócból származó veszteség átlagosan kétszáznegyvenezer. A modell kalibrált. Hol van a küszöb?
A modell nem romlik el. Az adat mozdul el alóla — új fajta, új gép, más szezon, cserélt szenzor.
És ami a bevezetés után jön. A modell nem romlik el magától — a világ változik körülötte. Új fajta kerül a táblákra, új gépet vesznek, jön egy szokatlan szezon, kicserélik a szenzort. Az adat, amin a modell dolgozik, eltér attól, amin tanult. Ez az eloszláseltolódás, és a kellemetlen tulajdonsága az, hogy nem ad hibaüzenetet: a modell ugyanúgy ad számot, csak az rosszabb.
Bemeneti eltolódás · címke-eltolódás · fogalmi sodródás. Csak a harmadikhoz kell mindenképp új címke.
Az eloszláseltolódás szó három különböző dolgot takar, és nem mindegy, melyikről van szó, mert más a gyógymódjuk. Az első a bemeneti eltolódás: a bemenetek eloszlása változik, de a bemenet és a címke kapcsolata nem. Ezt újrasúlyozással kezelni lehet. A második a címke-eltolódás: az esetarány változik meg — ezt a küszöb eltolásával. A harmadik a fogalmi sodródás: maga a kapcsolat változik meg. Erre nincs trükk: újra kell tanítani. Az első kettőt meg lehet mérni címke nélkül is, a harmadikat nem.
Az ábra betöltése…
Az eloszláseltolódást a gépi látás modulban mértük meg a legélesebben, és érdemes ideemelni, mert ott látszik a legjobban. Egy színalapú osztályozó azonos megvilágításon kilencvenegy egész egy százalékot ér el, délutáni fényen ugyanez hatvanhét egész hat. És ami a legfontosabb: a modell magabiztossága közben alig változik. Nem jelez. Pontosan ezért nem elég a validáción hinni — az üzemi adatból kell visszamérni.
Ezért zárom a hetet ezzel a körrel. A tanítás és az értékelés csak az első két lépés. Utána jön az üzembe állítás, a figyelés, az eltolódás észlelése, és az újratanítás — majd elölről. Amit érdemes megjegyezni: az újratanítás szabályát ELŐRE kell kimondani. Mikor tanítunk újra, milyen adaton, és mi alapján fogadjuk el az új modellt. Ha ez nincs kimondva, akkor az újratanítás akkor történik, amikor valaki panaszkodik.
Egy utolsó figyelmeztetés, mert ez a rész szokott a legtöbb félreértést okozni. A beépített fontossági mutatók a korrelált és a sok értékű jellemzőket felülértékelik — önmagukban nem magyarázat. A permutációs fontosság becsületesebb, mert a tényleges teljesítményromlást méri. A SHAP-érték egyetlen előrejelzést bont fel. De mindhárom a MODELLT magyarázza, nem a valóságot: ha a modell rossz okból jól teljesít, a magyarázat azt az okot fogja megmutatni.
Az ábra betöltése…
Zárásként visszateszem a hét első ábráját, mert a küldetésben pontosan ezt kell előállítanod a saját adatodon. Két szétvágás, két hibaérték, egy ábra. Nem új mérést kérek, hanem ugyanezt — és azt a mondatot, hogy melyik számot írnád le egy jelentésbe. A visszatérés szándékos: amit a hét elején furcsának találtál, annak a végére magától értetődőnek kell látszania.
Szivárogtass, aztán javítsd meg. A beadandó a két hibaérték, és hogy melyiket írnád le.
A heti küldetés pontosan az, amit az első blokkban mértünk, csak a te adatodon. Taníts be ugyanazt a modellt kétszer: egyszer véletlen szétvágással, egyszer térbeli blokkos keresztvalidációval. A beadandó a két hibaérték, és annak kimondása, melyiket írnád le egy jelentésbe. A különbség nagysága a küldetés valódi tanulsága — nálunk hatszoros volt.
a szétvágás egysége a tábla, nem a mintavételi pont; enélkül a szomszéd pont átszivárog
a teszthiba két mozgatható tagja: a rendszeres tévedés és a tanítóhalmaztól való függés; a harmadik tag a zaj, azt semmi nem mozdítja
a modell a zajt is megtanulta, vagy a jelet sem; a tanító és a teszt hibájának viszonya árulja el, melyik
lineáristól a hálóig; a létrán csak akkor lépünk följebb, ha a mérés indokolja
a ritka eset miatt a pontosság félrevezet; a kiegyensúlyozás pedig a valószínűséget teszi hazuggá
a két értékelési görbe; a ROC alapvonala mindig 0,5, a PR-é maga az esetarány
a valószínűség ígéret: amikor a modell 70 %-ot mond, az esetek 70 %-ában legyen eset
Ez volt a nyolcadik hét. Egy mondatban: a modellhiba nagy része nem a modellben van, hanem abban, hogyan vágtuk szét az adatot, mivel mértük, és hol húztuk meg a küszöböt.
| Rövidítés | Feloldás | Mit jelent |
|---|---|---|
| TP | True Positive — valódi találat | a modell igent mondott, és tényleg eset |
| FP | False Positive — téves riasztás | a modell igent mondott, de nem eset |
| FN | False Negative — kimaradt eset | a modell nemet mondott, pedig eset |
| TN | True Negative | a modell nemet mondott, és tényleg nem eset |
| ROC | Receiver Operating Characteristic | a fedés és a téves riasztási arány görbéje a küszöb mentén |
| AUC | Area Under the Curve — görbe alatti terület | a görbe egyetlen számba sűrítve |
| ROC-AUC | a ROC-görbe alatti terület | a rangsorolás jósága; a véletlen alapvonala mindig 0,5 |
| PR | Precision–Recall — precizitás–fedés | a másik görbe: a precizitás a fedés függvényében |
| PR-AUC | a PR-görbe alatti terület | ritka eseménynél a becsületesebb mérce; a véletlen alapvonala maga az esetarány |
| MAE | Mean Absolute Error | átlagos abszolút hiba, az adat mértékegységében |
| SS | Sum of Squares — négyzetösszeg | az R² két négyzetösszeg hányadosa: a maradéké és a teljesé |
| SHAP | SHapley Additive exPlanations | jellemzőnkénti hozzájárulás a játékelméleti Shapley-értékből; magyaráz, de nem okságot mond |
A prediktív hét rövidítései. A négy cella betűjele — TP, FP, FN, TN — az egész értékelési fejezet alapja: minden mérőszám ebből a négy számból készül, és a különbség köztük mindig a nevezőben van.
Az ábra betöltése…
A prediktív hét ugyanezzel a hárommal dolgozik. Az oszlop a szétvágások és a küszöbök összevetésére való, a vonal pedig ott, ahol egy folytonos paraméter mentén nézünk végig valamit: a fokszámon vagy a küszöbön. Ha a két panelt egymás mellé teszed, látszik, miért: a vonal a KÖZTES értékekről is állít valamit, az oszlop nem — a küszöbgörbén pedig éppen a köztes értékek érdekelnek minket.
| diagramtípus | mit olvasol le róla | mire NEM jó |
|---|---|---|
| oszlop | kategóriák nagyságrendje és sorrendje — a hossz maga az érték | időbeli alakulás: a sorrend nem látszik rajta |
| vonal | időbeli alakulás: a meredekség és a fordulópontok | kategóriák összevetése: a vonal sorrendet állít oda is, ahol nincs |
| demóábra | amit a keretrendszer rajza nem tud: log tengely, hőtérkép, kis sokszorosok | saját adatod: ez a demó kimenete, nem szerkeszthető a dián |
A prediktív hét ugyanezt a két típust használja: oszlopot a szétvágások és a küszöbök összevetésére, vonalat ott, ahol egy folytonos paraméter mentén nézünk végig valamit — a fokszámon vagy a küszöbön.