KI kommer inn i kontrollrommene enten noen planlegger det eller ikke: i historikken, i vedlikeholdssystemet, i chatvinduet på ingeniørens andre skjerm. Det meste vil være nyttig. Noe vil ta feil på en måte ingen merker før det gjelder. Disse fem spørsmålene skiller dem, og du trenger ikke være teknisk for å stille dem.
1. Sier den «vet ikke»?
Spør den om noe som ikke finnes: et tanknummer ett høyere enn det siste, et rom som ikke er der. En god assistent sier at den ikke vet. I våre egne tester på tre ekte anlegg svarte en liten KI med anleggets data på 31 av 79 slike spørsmål med et selvsikkert tall likevel. Gjennom en dør som bare lar den lese, og som krever at den sier hvor hvert tall kom fra, gjorde den det 3 ganger. En assistent som aldri er usikker, er ikke flinkere. Den er farligere.
2. Kan hvert tall spores til en måling?
Spør hvor et tall kom fra. Svaret bør være en bestemt tagg og et tidspunkt, ikke «dataene». Et tall som ikke kan spores, kan ingen sjekke, og ingen bør handle på det.
3. Kan den endre noe?
Å lese anlegget og å skrive til det er to forskjellige jobber. En assistent som leser, bør ikke kunne flytte et settpunkt, starte en pumpe eller stenge en ventil, verken ved et uhell eller fordi en lur ledetekst ba den om det. Den tryggeste løsningen er en der skriving er umulig, ikke bare forbudt.
4. Hvor går dataene?
Noen assistenter sender hvert spørsmål, og anleggsdataene bak det, til en server i et annet land. For kritisk infrastruktur kan det bli et problem med tilsynet, forsikringen og dem som bor nedstrøms. Spør om den kan kjøre på én datamaskin innenfor gjerdet.
5. Er testene publisert, også de som feilet?
Alle leverandører har en demo som virker. Be om testene som ble satt opp før resultatene var kjent, og om dem som feilet. En leverandør som publiserer feilene sine, er en du kan tro på når den lykkes.
Hvorfor vi stiller oss selv de samme spørsmålene
Vi bygger en assistent for anlegg, så disse spørsmålene gjelder oss først. Vår kjører innenfor gjerdet, kan bare lese, peker på målingen bak hvert tall, og sier når anlegget ikke har noe svar. Hvert forsøk vi kjører, skrives ned før dataene åpnes, og de som feilet, står på resultatsiden ved siden av dem som besto.