NTNU fikk KI-deteksjon med i det nye plagiatverktøyet sitt i januar, og valgte å la funksjonen stå av. Universitetet i Oslo sier til sine undervisere at slike verktøy ikke kan brukes. Søker du selv på «ai detektor norsk», møter du anmeldelser som lover 95 prosent treff. Her er hva som faktisk gjelder, og hva du gjør hvis du blir mistenkt.
To institusjoner som kunne brukt verktøyet, lar være
Sara Elisabeth Burrell er rådgiver i fuskesaker ved NTNU og en av dem som har ansvaret for det nye plagiatkontrollverktøyet. Til Universitetsavisa forklarte hun hvorfor KI-deteksjonen ikke tas i bruk: «Systemene er ikke enda gode nok til å skille mellom tekst generert av KI og tekst generert av en person.»
Universitetet i Oslo har landet på samme praksis, med en annen begrunnelse. På ressurssiden for undervisere ved Institutt for statsvitenskap står det rett ut: «Disse verktøyene kan ikke brukes for å sjekke om studenters eksamensbesvarelse er helt eller delvis generert av KI.» Begrunnelsen er personvern: «Årsaken er at UiO ikke har en databehandlingsplan med disse verktøyene og det er da i strid med GDPR.»
Det er to ulike svar på samme spørsmål. Det ene sier at verktøyene ikke virker godt nok. Det andre sier at du uansett ikke har lov til å mate dem med studentenes tekst.
Derfor sliter detektorene, og mest på norsk
En AI-detektor kjører teksten gjennom en språkmodell og måler, ord for ord, hvor forutsigbart neste ord er. AI-skrevet tekst velger oftere det mest sannsynlige ordet, og blir jevnere. Mennesker hopper mer, bruker rarere ord og lar setninger ta uventede vendinger. Produktene pakker dette inn i en prosentskår, men signalet under er det samme hos alle.
Problemet er at signalet er målt og trimmet på engelsk. GPTZero, den mest omtalte detektoren internasjonalt, oppgir på sin egen tekniske side 96,5 prosent treffsikkerhet og en falsk positiv-rate på «no more than 1%». Samme side sier at verktøyet «performs best of longer texts and English prose», og lister fem språk det støtter fullt ut: engelsk, tysk, portugisisk, fransk og spansk. Norsk står ikke der. For resten av verden heter det bare at verktøyet er i bruk «in many other languages». Vi har ikke funnet noen leverandør som oppgir falsk positiv-rate for norsk. Det tallet, hvor mange menneskeskrevne tekster som blir flagget, er det eneste som betyr noe for den som blir anklaget.
Vi gjorde derfor en enkel måling selv. Hundre menneskeskrevne Wikipedia-tekster med tidsstempel fra før ChatGPT fantes, på bokmål, nynorsk og engelsk, mot to hundre AI-tekster om de samme emnene, målt med to åpne språkmodeller. På engelsk skilte signalet tydelig mellom menneske og maskin. På bokmål skilte det svakt, og på nynorsk var det nær myntkast. Selv etter at vi trente en enkel klassifikator på oppgaven, måtte den flagge 45 av 100 menneskeskrevne bokmålstekster for å fange 95 av 100 AI-tekster. Dette er et forsøk med klare grenser: tekstene er leksikonartikler, studentoppgaver ser annerledes ut, og vi har ikke kjørt en eneste tekst gjennom et kommersielt produkt. Men retningen stemmer med det NTNU sier, og forklarer hvorfor ingen leverandør vil sette tall på norsk.
Det står noe på spill
I februar omtalte VG to psykologistudenter i Lillehammer som ble mistenkt for AI-juks på bacheloroppgaven, ble frikjent, og likevel mistet et helt studieår mens saken pågikk. Hva mistanken bygde på, lar vi ligge her. Poenget er tiden: en mistanke som viser seg å være feil, koster like mye som en som stemmer.
Blir du mistenkt: spør om dette
En skår fra et verktøy er en påstand, ikke et bevis. Det er lov å be om grunnlaget. Spør hvilket verktøy som ble brukt, og hva skåren var. Spør hva verktøyets falsk positiv-rate er på norsk, og be om å få se hvor det tallet står. Spør hva mistanken bygger på i tillegg til skåren.
Og det viktigste gjør du før noen spør: ta vare på utkast, notater og versjonshistorikk mens du skriver. Word, Google Dokumenter og de fleste skriveverktøy lagrer hver versjon. En oppgave som har vokst fram over tre uker, med rettinger og omveier, er den dokumentasjonen som faktisk virker. Vi har skrevet mer om hvordan du bruker AI til å lære uten å havne i fella i guiden for studenter.
Underviser du: to ting å ta med
Det første er at en skår ikke kan stå alene. NTNU har verktøyet og lar det ligge, og selv GPTZero skriver at detektoren bør brukes «as a conversation starter, and not as the final verdict». Skal en sak reises, må den bygge på noe mer: sprik mellom oppgaven og det studenten ellers har levert, kilder som ikke finnes, en samtale om innholdet.
Det andre er UiOs poeng, og det gjelder langt utover UiO. Limer du en students besvarelse inn i en utenlandsk detektortjeneste, overfører du personopplysninger til en leverandør institusjonen din trolig ikke har avtale med. Hva de største AI-tjenestene faktisk gjør med tekst du limer inn, har vi kartlagt i datasettet om AI-verktøy og personvern. Hvordan skolene bør møte AI i stedet for å forby det, har vi tatt opp i saken om AI i norsk utdanning.
Til slutt: verktøyene blir bedre, og norsk vil etter hvert få sine egne tall. Fram til en leverandør publiserer hvor mange norske, menneskeskrevne tekster som blir flagget, er det tallet som mangler, og en skår uten det tallet er ikke noe å bygge en fuskesak på.
