Week 13
Megbízható CPS: biztonság, kiberbiztonság, MI-igazolás
A hét végén fel tudsz rajzolni egy olyan architektúrát, amelyben a tanult komponens javasol, de csak igazolt vezérlő avatkozik be.
What the week covers
13. Megbízható CPS: biztonság, kiberbiztonság, AI-igazolás
Miből tudjuk, hogy az intelligens rendszer megbízható — és ki állíthatja meg a gépet.
Concepts of the week · 15
- Assurance caseStrukturált érvelés arról, hogy a megvalósított rendszer teljesíti a kimondott tulajdonságot: állítás, bizonyíték, levezetés és a maradék bizonytalanság megnevezése.
- VerificationAzt építettük-e meg, amit leírtunk. A megvalósítás összevetése a specifikációval.
- ValidationAzt írtuk-e le, amire szükség van. A specifikáció összevetése a valódi igénnyel és a valódi üzemi körülményekkel.
- Distribution shiftAz üzemi adat eltér attól, amin a modell tanult: új alapanyag, új műszak, új szerszám. A modell nem hibát jelez, hanem magabiztosan téved.
- Automation biasAz ember hajlamos elfogadni a gép javaslatát akkor is, ha saját megfigyelése mást mond. A felügyelet ettől lesz látszólagos.
- Safety supervisorDeterminisztikus, igazolt réteg a tanult komponens és a beavatkozó között: engedélyez, korlátoz vagy biztonságos állapotba visz.
- Safe operating envelopeAz állapottér azon része, amelyen belül a rendszer működése igazolt. A tanult komponens javaslata ezen kívül nem hajtható végre.
- Human on the loopAz ember nem minden döntést hoz meg, de figyeli a rendszert és bármikor beavatkozhat. Csak akkor működik, ha van mit látnia és van ideje reagálni.
- Zero trustNincs eleve megbízható hálózati hely: minden hozzáférést hitelesíteni és engedélyezni kell. Régi üzemi eszközöknél ez ritkán teljesíthető közvetlenül.
- SegmentationAz üzemi hálózat zónákra bontása, a zónák közti forgalom szabályozott átjárókkal. A kártétel terjedését korlátozza.
- Risk assessmentA veszélyek azonosítása, a kockázat becslése és értékelése, majd a csökkentés megtervezése. Minden gépbiztonsági döntés kiindulópontja.
- Safety functionMeghatározott funkció, amelynek hibája közvetlenül kockázatnövekedést okoz. Nem a vezérlés része, hanem külön követelmény.
- Functional safetyA biztonság azon része, amely a védelmi rendszerek helyes működésétől függ.
- Model driftA modell romlása, mert a valóság elmozdult a tanítóadattól. Nem hiba a modellben — változás a világban.
- HallucinationMagabiztos, de megalapozatlan kimenet. Nem kivételes hiba, hanem a valószínűségi generálás velejárója.
Mission
Who is allowed to stop the machine?
Az MI gyorsítást javasol, a biztonsági korlát tiltja, a kezelő mást lát a képernyőn. Fel kell oldani az ütközést, és meg kell mondani, ki dönt.
A megoldás architektúra: tanult javaslat, determinisztikus felügyelő, igazolt vezérlő és nevesített emberi hatáskör.
koncepció