Foundations of predictive analytics. AI methods in agriculture

1. 01Fel tudod ismerni az adatszivárgás tipikus formáit, és ki tudod javítani a szétvágást.
2. 02Meg tudod indokolni, miért blokkos keresztvalidáció kell táblaszintű agráradaton.
3. 03Ki tudod választani a feladathoz illő alapmodellt, és tudod, hogy táblázatos adaton a gradiens erősítés általában elég.
4. 04Kiegyensúlyozatlan osztályozásnál a megfelelő mérőszámot választod, és meg tudod indokolni, miért nem a pontosságot.
5. 05A döntési küszöböt a téves riasztás és a kimaradt eset árából határozod meg, nem a 0,5-ből.
6. 06Meg tudod nevezni, mitől avul el egy üzembe állított modell, és mikor kell újratanítani.
7. 07Teljesíted a 8. küldetést: Szivárogtass, aztán javítsd meg.

• Predictive analytics and AI in agriculture

  OutlineVisual novelDeck

1. 08. Prediktív analitika és MI az agráriumban

   Modellcsaládok, és ami fontosabb náluk: a szétvágás fegyelme, az értékelés mércéje és a döntési küszöb ára.

• PredictionFeltételes várható érték: adott bemenetek mellett mi a valószínű kimenet. Nem jóslás, és nem is magyarázat.
• FeatureA modell bemenete. A jellemzők megválasztása általában többet számít, mint a modellcsalád megválasztása.
• LabelA tanuláskor ismert helyes válasz. Ha a címke maga is becslés, azt ki kell mondani, mert a modell nem lesz pontosabb nála.
• Training setAz az adat, amelyen a modell paraméterei beállnak.
• Validation setAz az adat, amelyen a modellt választjuk és hangoljuk. Ha ezen is optimalizálunk, akkor már nem független.
• Test setEgyszer használható, érintetlen adat a végső becsléshez. Ha többször néztünk rá, akkor validációs halmaz lett belőle.
• Data leakageA modell olyan információhoz jut, ami a valós használatkor nem áll rendelkezésre. A tünete jó teszteredmény és rossz üzemi teljesítmény.
• Spatial autocorrelationA közeli helyek adatai hasonlítanak egymásra. Ha ugyanabból a táblából kerül minta a tanítóba és a tesztbe, a modell a helyet tanulja meg, nem az összefüggést.
• Spatial block cross-validationA szétvágás térbeli blokkok szerint történik, nem véletlenszerűen. Agráradaton ez a helyes alapértelmezés.
• Cross-validationTöbb szétvágás átlagolt eredménye. Csak akkor érvényes, ha a szétvágás tiszteletben tartja az adat szerkezetét: időt, helyet, csoportot.
• OverfittingA modell a tanítóadat zaját is megtanulja. Tünete: kicsi tanítási hiba, nagy teszthiba.
• UnderfittingA modell nem elég kifejező a mintázathoz. Mindkét hiba nagy, és a bonyolítás valóban segít.
• RegularisationA modell összetettségének büntetése a tanulás során. Nem varázsszer: a szivárgást nem javítja meg.
• Linear regressionA legegyszerűbb alapmodell, és jó alapvonal. Az együtthatói értelmezhetők, de csak a modell feltevései mellett.
• Logistic regressionOsztályozás valószínűségbecsléssel. Kalibrált kimenete miatt döntési küszöbhöz jól használható.
• Decision treeEgymást követő feltételek szerinti szétvágás. Önmagában instabil, de a belőle épített együttesek erősek.
• Random forestSok, egymástól függetlenített fa átlaga. Robusztus, kevés hangolást kíván, jó második alapvonal.
• Gradient boostingEgymás hibáját javító fák sorozata. Táblázatos adaton általában ez a győztes — és általában elég, neuronháló nélkül.
• Class imbalanceA ritka osztály néhány százalék. Ilyenkor a pontosság megtévesztő: a mindig nemet mondó modell is kilencvenöt százalékos lehet.
• Confusion matrixA találatok és tévedések négy cellája. Minden osztályozási mérőszám ebből származik, ezért ezt kell először megnézni.
• Precision and recallA riasztásaim közül hány valódi, illetve a valódi esetek közül hányat találtam meg. A kettő egymás rovására javítható.
• ROC AUCKüszöbfüggetlen rangsorolási mérőszám. Erősen kiegyensúlyozatlan adaton optimista képet ad — ott a precizitás-fedés görbe a becsületesebb.
• Decision thresholdAz a valószínűség, amely fölött cselekszünk. Gazdasági döntés, nem statisztikai: a téves riasztás és a kimaradt eset ára ritkán egyenlő. Alapértelmezése nem 0,5.
• Permutation importanceEgy jellemző összekeverése után mennyit romlik a modell. Becsületesebb, mert a tényleges teljesítményhez köt.
• SHAP valueEgyetlen előrejelzés felbontása jellemzőnkénti hozzájárulásra. Magyarázza a modellt, nem a valóságot — ok-okozatot nem bizonyít.
• Distribution shiftAz üzemi adat eltér attól, amin a modell tanult: új fajta, új gép, más szezon. A modell nem romlik el, csak a világ változik meg alatta.
• RetrainingAz elavult modell frissítése friss adaton. Előre kimondott szabállyal: mikor, mire, és mi alapján fogadjuk el az újat.

• Leak it, then fix it

  Tanítsd be ugyanazt a modellt kétszer: egyszer véletlen szétvágással, egyszer térbeli blokkos keresztvalidációval ugyanazon a táblaadaton.

  A beadandó a két hibaérték és annak kimondása, melyiket írnád le egy jelentésbe. A különbség nagysága a küldetés valódi tanulsága.

  koncepció

A modellhiba nagy része nem a modellben van, hanem abban, hogyan vágtuk szét az adatot. Egy 0,98-as illeszkedés agráradaton először gyanú, csak utána eredmény.