Nettstedet ditt svarer forskjellig etter hvem som spør

De aller fleste nettsteder svarer likt uansett hvem som spør. Men noen gjør ikke det, og da er navnet i forespørselen — User-Agent — det som avgjør hva som kommer tilbake. Nesten alltid er det en brannmur, en CDN-regel eller en bottjeneste som tar avgjørelsen, ikke noen på nettstedet. Det gjør den ikke mindre reell.

To ekte tilfeller, målt

dnb.no. En forespørsel som utgir seg for å være ChatGPT-User får 60 byte tilbake — en stubb av en security.txt — med status 200. Det samme gjelder ClaudeBot, GPTBot, PerplexityBot og Googlebot. Det gjelder på hver eneste adresse vi prøvde, også /robots.txt. Vår egen ærlige identitet fikk hele nettstedet: 1 171 241 byte. Vi gjentok målingen 23 av 23 ganger, på to forskjellige IP-stakker, med timers mellomrom. Den er ikke tilfeldig.

Legg merke til statuskoden. Det er ikke 403. Det er 200 med et innhold på 60 byte. For alt som teller hentinger og feilkoder, ser dette ut som et nettsted der alt går bra.

platekompaniet.no. Det motsatte. Vår egen identitet får et skall på 62 755 byte uten JSON-LD og uten priser. En forespørsel som utgir seg for å være ChatGPT-User får 589 229 byte, med JSON-LD og 22 priser i. ClaudeBot får 403.

Begge nettstedene har tatt en avgjørelse. I det ene tilfellet ser det ut som en botsperre som har fått med seg mer enn den skulle. I det andre ser det ut som en bevisst prerendering for ett bestemt botnavn. Ingen av delene er synlig i vanlig statistikk, og ingen av delene merkes i en nettleser.

Hva vi kan si, og hva vi ikke kan si

Vi sender navnet ChatGPT-User fra vår egen adresse, uten leverandørens signatur og uten å komme fra leverandørens IP-område. Derfor er den eneste setningen vi har dekning for:

Slik svarer nettstedet ditt på en forespørsel som utgir seg for å være ChatGPT-User.

Det er ikke en måling av hva leverandøren selv fikk servert. Et nettsted som kjenner igjen leverandøren på IP-adresse eller på signerte forespørsler, kan svare leverandøren selv noe helt annet enn det den svarer oss. Formuleringen følger med selve målingen i rapportene våre og kan ikke kortes ned underveis — nettopp fordi den korte versjonen ville vært et salgspoeng vi ikke har dekning for.

Den samme regelen gjelder motsatt vei. Blir skanneren vår avvist, sier vi aldri at det beviser at en navngitt assistent blir avvist.

Slik sjekker du ditt eget nettsted

Dette er ditt nettsted, så du kan spørre det hva du vil. Sammenlign størrelsen på svaret:

curl -sL -o /dev/null -w "%{http_code} %{size_download}\n" https://dinbutikk.no/
curl -sL -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)" \
  https://dinbutikk.no/
curl -sL -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" \
  https://dinbutikk.no/

Tre linjer med omtrent samme statuskode og samme antall byte betyr at du behandler alle likt. Det er som regel svaret du vil ha.

Sprikene som betyr noe:

• Et mye mindre svar til ett av navnene. Da serverer du en stubb. Sjekk om det også skjer på /robots.txt — det er et godt tegn på at det er infrastruktur og ikke applikasjonen din.
• Et mye større svar til ett av navnene. Da prerenderer du for ett navn og ikke for de andre. Alt du har gjort for ChatGPT, har du ikke gjort for Claude, Perplexity eller for den neste som dukker opp.
• 403 eller 429 til noen av dem. Da har du en botregel. Den kan være helt riktig — men den bør være en avgjørelse noen har tatt, ikke en standardinnstilling ingen har sett på.

Husk at dette bare måler navnet i forespørselen. Vil du vite hva som faktisk skjer, er serverloggene dine et bedre sted å lete: søk etter de samme kjennetegnene og se hva du svarte dem det siste døgnet.

Hva du gjør

1. Finn ut hvem som bestemmer. I ni av ti tilfeller er det CDN-en eller brannmuren, ikke applikasjonen. Se etter en botregel som er skrudd på fordi den var på som standard.
2. Skill mellom trening og oppslag. Å stenge ute en crawler som samler treningsdata er en legitim avgjørelse, og vi rapporterer det aldri som en feil. Å stenge ute de kjennetegnene som brukes når noen stiller et spørsmål akkurat nå, tar deg ut av svaret kunden får. Det er to helt forskjellige valg, og de blir ofte tatt som ett.
3. Ikke bygg for ett navn. Prerenderer du bare for ChatGPT-User, har du bygget noe som ryker i det listen over navn endrer seg — og den endrer seg. Gjengi sidene på serveren for alle i stedet.
4. Sjekk at robots.txt svarer normalt. En stubb på robots.txt er verre enn en sperre, fordi den ser ut som et svar.

Én ting til: hvis du blokkerer etter navn, husk at gruppene i robots.txt erstatter hverandre. En egen gruppe for OAI-SearchBot overstyrer hele *-gruppen for den boten (RFC 9309 §2.2.1). Det er en vanlig og dyr misforståelse.

Slik ser du at det ble bedre

Kjør de tre curl-linjene igjen. Målet er tre svar med samme statuskode og byteantall innenfor noen få prosent av hverandre — eller, hvis du bevisst har valgt å stenge noen ute, at det skjer med en ærlig 403 og ikke med et 200-svar på 60 byte.

Hvor tallene kommer fra

Tallene for dnb.no og platekompaniet.no er våre egne, målt 8. august 2026 med vanlige GET-forespørsler, reprodusert to ganger med timers mellomrom og på to IP-stakker. Begge er låst som fasit i skannerens validitetstest. Skanneren sender også sitt eget Signature-Agent-kjennetegn på slike målinger, slik at nettstedseieren kan finne oss igjen i loggen; vi målte at det ikke endret svaret på noen av nettstedene.

Vi måler hva nettstedet ditt svarer. Vi måler ikke hva leverandøren selv fikk servert.