Hva vi målte, og hvordan
Hvert nettsted har en liten tekstfil på adressen /robots.txt som forteller roboter hva de får lov til å hente. Der kan eieren nevne en robot ved navn og skrive «Disallow: /», som betyr «hold deg unna hele nettstedet». AI-selskapene har egne roboter med egne navn: OpenAI bruker GPTBot til å samle treningsdata, Anthropic bruker ClaudeBot, Google bruker Google-Extended for Gemini, og Common Crawl, Perplexity, Meta, Apple, Amazon og TikTok-eieren ByteDance har sine. Fila er en bønn som robotene kan velge å overse, og mye innhold er alt samlet inn. Men fila er det eneste offentlige sporet av hva eieren har bestemt seg for.
Natt til 15. oktober 2026 hentet vi fila fra de 500 høyest rangerte .no-domenene i Tranco-lista, en uavhengig rangering av verdens mest besøkte domener, pluss 72 nettsteder vi la til selv for å være sikre på at de var med: riksaviser og regionaviser, departementer og etater, de største kommunene, universitetene og de store arbeidsgiverne. Til sammen 572. Av dem hadde 447 en fil vi kunne lese. Resten mangler fila, svarte med feil eller stengte oss ute. Vi sjekket 16 navngitte AI-roboter per fil. Hele datasettet ligger åpent nederst i saken.
Én av tre nettsteder nevner en AI-robot
Av de 447 nettstedene med lesbar fil nevner 144 minst én AI-robot ved navn. Det er 32 prosent. 124 av dem stenger minst én robot helt ute. De fire robotene som oftest stenges, er OpenAIs GPTBot, Anthropics ClaudeBot og Common Crawls CCBot med 105 nettsteder hver, og ByteDances Bytespider med 103. Googles Google-Extended, som styrer om innhold kan brukes til å trene Gemini, stenges av 97.
Blant de 100 høyest rangerte norske domenene i lista er andelen høyere: 41 nevner en AI-robot, og 31 stenger GPTBot ute. Jo større nettstedet er, jo mer sannsynlig er det at noen har tatt stilling.
Avisene stenger nesten alt
Mediehusene er det ene miljøet som har bestemt seg. NRK stenger alle 16 robotene vi sjekket, det samme gjør Dagbladet, Nettavisen, Nationen og Bondebladet. Amedias lokalaviser bruker samme fil overalt, så Romerikes Blad, Avisa Nordland, Gudbrandsdølen Dagningen, Oppland Arbeiderblad, Telemarksavisa, Haugesunds Avis, Østlendingen, Lofotposten og flere titalls andre stenger alle 16. Polaris-avisene Adresseavisen, Fædrelandsvennen, Stavanger Aftenblad og Nordlys gjør det samme. TV 2 stenger 15, Dagens Næringsliv, Dagsavisen, Morgenbladet og tek.no stenger 14.
Store norske leksikon stenger ti, blant dem GPTBot, ClaudeBot, Perplexity og Meta, men nevner ikke Google-Extended. Lovdata har den strengeste fila i hele materialet: «Disallow: /» for alle roboter, uansett navn.
Noen medier har ikke gjort noe. Klassekampen, Finansavisen, Dagen, ABC Nyheter, Journalisten og kode24 nevner ingen AI-robot. Teknisk Ukeblad og digi.no svarte med en vanlig nettside i stedet for en robots.txt-fil, så dem kunne vi ikke lese.
VG og Aftenposten slipper OpenAI inn
Schibsteds aviser skiller seg ut. VG, Aftenposten, Bergens Tidende og E24 har en felles fil som stenger 13 roboter: ClaudeBot og de andre Anthropic-navnene, Google-Extended, CCBot, PerplexityBot, Meta, Apple, Amazon, ByteDance og Cohere. OpenAIs roboter er ikke på lista. Øverst i fila står det, i Schibsteds egen kommentar, «All crawlers and Open AI Search BOT rules», og under det får både alle roboter og OpenAIs søkerobot OAI-SearchBot beskjeden «Allow: /». GPTBot nevnes ikke i det hele tatt, og en robot som ikke nevnes, følger reglene for alle.
Det stemmer med en avtale som er kjent fra før. Schibsted Media inngikk 10. februar 2025 et partnerskap med OpenAI som gir innhold fra blant andre VG og Aftenposten plass i ChatGPT, med kildehenvisning tilbake til avisene, ifølge OpenAIs egen kunngjøring. Fila er altså ikke en forglemmelse. Den er avtalen, skrevet i den eneste formen roboter leser. Konkurrentene til OpenAI får beskjed om å holde seg unna, avtalepartneren får gå fritt.
Staten, kommunene og universitetene har ikke tatt stilling
I offentlig sektor er bildet et annet. Regjeringen.no har en fil med én regel for alle roboter og ingen ord om kunstig intelligens (KI). Nav.no har ingen robots.txt i det hele tatt, adressen svarer med «finnes ikke». Skatteetaten, Helsenorge, Udir, Digdir, SSB, Politiet, Altinn og FHI har filer, men ingen av dem nevner en AI-robot. Stortinget er unntaket i staten: Stortingets fil stenger GPTBot og Metas robot, og ingen andre.
Av de tolv største kommunene med lesbar fil nevner to en AI-robot. Asker stenger 15 og Drammen 12. Oslo, Bergen, Trondheim, Stavanger, Bærum, Tromsø, Bodø, Lillestrøm og Sarpsborg nevner ingen. Blant de 14 universitetene og høyskolene med lesbar fil nevner null en AI-robot. Universitetet i Oslo, NTNU, Universitetet i Bergen, UiT, OsloMet og NHH har filer som regulerer søkemotorer og interne systemer, og ingenting om AI.
At en robot ikke nevnes, betyr ikke at den slipper inn. Et nettsted kan stoppe roboter på andre måter, for eksempel i brannmuren, og det ser vi ikke i denne målingen. Men offentlige nettsteder lever av å bli lest, og filene tyder på at spørsmålet om AI-trening ikke er stilt der ennå, mens hvert eneste mediehus med egen it-avdeling har svart på det.
Hva det betyr for deg som eier et nettsted
Har du en egen nettside, en nettbutikk eller en blogg, kan du gjøre det samme som avisene på fem minutter. Fila ligger i rotmappa på nettstedet, og du legger til ett navn og én regel per robot du vil stenge ute:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Google-Extended påvirker bare om innholdet kan brukes til å trene Gemini. Søkeroboten Googlebot er en annen robot, og den må du la være i fred hvis du vil bli funnet i søk. Det samme gjelder OpenAIs OAI-SearchBot, som henter innhold til søk i ChatGPT med lenke tilbake til deg. Stenger du den, blir du ikke sitert der. Vi mener du bør skille mellom trening og søk når du bestemmer deg, fordi det ene gir deg ingenting tilbake og det andre kan gi deg lesere.
Robots.txt gjelder ikke det som alt er hentet. Vil du vite hva de store modellene kan ha lært av nettstedet ditt, må du spørre selskapene, og det er en annen sak.
Datasettet
Hele materialet er åpent og kan brukes fritt med henvisning til altom.ai: norske-nettsteder-ai-roboter.csv (én rad per domene, status for 16 roboter) og samme data som JSON, med metode og robotliste i fila. Hentet 14. oktober 2026 kl. 21. Filene endrer seg, så en ny måling om et halvt år vil gi andre tall. Skriptet som hentet dem, leser filene etter standarden RFC 9309 og vurderer en robot som stengt når gruppen den står i har «Disallow: /».
