Tenk deg at du har ansvaret for driften av et stort kontorbygg, og du stiller den nye KI-assistenten et enkelt spørsmål: hva er temperaturen i rom H?
Den svarer med en gang: 22,29 grader. Rolig, presist, selvsikkert. Det er bare ett problem. Det finnes ikke noe rom H. Bygget har rom A til F. Tallet er ekte, men det hører til rom C, og assistenten bare tok det.
Ingen ville lagt merke til det. Det er det som gjør det farlig. Et galt svar som ser riktig ut, er verre enn ikke noe svar, fordi noen handler på det.
Vi testet det, på ekte anlegg
Vi stilte en liten KI-modell, den typen som kjører på én datamaskin innenfor gjerdet, 186 spørsmål om 3 ekte anlegg: et renseanlegg i København, et kontorbygg i Aalborg og et koreansk testanlegg for vann, damp og turbiner. Noen spørsmål hadde et svar i dataene. Noen var feller: en tank, et rom eller et instrument som ikke finnes, eller noe ingen måler. Spørsmålene og kravene ble skrevet ned før det første svaret kom tilbake, og resultatene publiseres uansett hva de sier.
31 av 79feller fikk et selvsikkert tall likevel, når KI-en bare fikk anleggets data
Spurt om trykket i prosess 4, som ikke har en slik måler, svarte den 0,96: målingen fra prosess 3. Spurt om ting som ikke finnes, fylte den hullet med noe som fantes.
For å være rettferdig: den var flink til å finne målingene som fantes, 94 % av gangene. Den er ikke dum. Den er ivrig. Den vil heller si noe enn ingenting, og i et kontrollrom er det akkurat feil instinkt.
Å lære den å si «vet ikke»
Så vi bygde en dør mellom KI-en og anlegget. KI-en får ikke rådataene. Den må spørre, gjennom noen få verktøy som bare kan lese, og hvert tall den får tilbake, har en id som sier hvilken måling det kom fra. Spør den etter rom H, svarer døra: dette anlegget har ikke noe rom H.
3 av 79feller fikk et oppdiktet svar gjennom døra
Det kom ikke gratis. Først var døra så streng at KI-en bare fant 14 % av de ekte målingene: vi hadde gitt alt nye, ryddige navn, og den fant ikke lenger «rom A» eller «tank 1 på linje 3». Så lærte vi døra anleggets egne navn, og norsk, og den fant 55 %. Så sluttet vi å la KI-en skrive tall i det hele tatt. Den peker på en måling, og anlegget skriver tallet. Det løftet den fra 42 % til 68 % i siste test.
Til slutt tok vi bort valget også. Anlegget slår opp målingen ut fra ordene personen brukte, og KI-en får bare peke på én av målingene den blir vist, eller på ingen. I en test på nye spørsmål fant den 89 % av målingene, like mange som den ivrige versjonens 89 %, og fant på et svar 1 gang av 15. Når den svarer, er tallet anleggets eget, og når den ikke vet, sier den det.
Hvorfor dette betyr mer enn det høres ut som
Hvert anlegg vil snart ha KI i seg. Spørsmålet er ikke om, men hva slags. En assistent som har rett ni ganger og tar selvsikkert feil den tiende, lærer folk å stole på den, og svikter dem når det gjelder. En assistent som sier «vet ikke, spør noen på stedet», kan man stole på de ni andre gangene.
Det er den KI-en vi vil ha på nattskiftet. Ikke den som alltid har et svar. Den som er ærlig når den ikke har det.