Hva llms.txt ikke gjør

Det korte svaret: llms.txt er en fil du legger ut, ikke noe noen henter. I en måling fra mai 2026 fikk 97 % av publiserte llms.txt-filer null forespørsler. Googles John Mueller har vært like tydelig: det er «rent spekulativt … ingen av AI-systemene bruker det».

Vi oppdager fortsatt filen når vi skanner, og vi rapporterer den som informasjon. Vi gir ingen poeng for den, og vi trekker ingen fra hvis den mangler. En score som belønner at en fil finnes, belønner kulten rundt filen og ikke arbeidet.

Det gjelder ikke bare llms.txt

Hele sjangeren ser lik ut når man måler den i stedet for å lese om den:

• /.well-known/api-catalog (RFC 9727): av 74 domener vi undersøkte, svarte 68 med HTML og status 200 — altså en «myk 404», ikke en katalog.
• A2A Agent Cards: 65 av 22 341 verter serverte en (0,29 %), og bare 10 av dem var i tråd med spesifikasjonen.
• /.well-known/mcp.json er folklore. Ingen spesifikasjon definerer den adressen.
• I vår egen gjennomgang av 135 norske nettsteder fant vi null gyldige svar på ai-plugin.json og mcp.json. Hver eneste 200 var et SPA-skall.

Av alle protokollene for agenthandel som faktisk lar seg oppdage utenfra, fant vi ett gyldig manifest i hele utvalget: boozt.com, versjon 2026-04-08. Det er ikke et argument for å skynde seg.

Den delen som faktisk kan skade deg

Her er fellen. Hvis nettstedet ditt svarer 200 med HTML på hvilken som helst adresse — som en SPA gjør uten videre — så påstår du at du har endepunkter du ikke har.

Det er ikke teoretisk. I en tidligere kjøring rapporterte vi 28 av 135 nettsteder som at de tilbød endepunkter for agenthandel. Det gjorde de ikke. De svarte bare 200 på alt. Blant dem var et forsikringsselskap, en klinikk og Ticketmaster. Vi rettet det ved å be om en tulleadresse først, og bare tro på et endepunkt hvis svaret faktisk lar seg tolke som det adressen lover.

Men verktøy som ikke gjør det, finnes fortsatt. Og en agent som prøver et endepunkt du «har» og får HTML tilbake, kommer ikke tilbake.

Slik sjekker du

Be om en adresse som garantert ikke finnes:

curl -s -o /dev/null -w "%{http_code}\n" https://dinbutikk.no/.well-known/finnes-ikke-12345

Svaret skal være 404. Er det 200, lyver nettstedet ditt om alt under /.well-known/, og det bør rettes uansett hva du mener om agenter.

Så ser du hva du faktisk publiserer:

for p in llms.txt robots.txt .well-known/security.txt; do
  printf "%s " "$p"
  curl -s -o /dev/null -w "%{http_code} %{content_type} %{size_download}\n" "https://dinbutikk.no/$p"
done

Hva du bør gjøre i stedet

Rekkefølgen er ikke tilfeldig. Alt her er ting som blir hentet, i motsetning til filene over.

1. Sørg for at robots.txt ikke stenger ute assistentene som svarer på spørsmål akkurat nå. Å stenge ute crawlere som samler treningsdata er en egen og legitim avgjørelse. 8 av 135 nettsteder i utvalget vårt sperret for søke- og live-assistenter, sannsynligvis uten å mene det. Husk at grupper i robots.txt erstatter hverandre: en egen gruppe for ett botnavn overstyrer hele *-gruppen for den boten (RFC 9309 §2.2.1).
2. Hold sitemap.xml ekte og oppdatert. Den blir hentet. I 46 av 135 skanninger måtte vi avbryte gjennomgangen av sitemap før vi var ferdige — enten fordi den var enorm eller fordi den ble strupt.
3. Gjengi listene, prisene og lagerstatusen på serveren. Det er der de tre andre artiklene her ligger, og det er der gevinsten er.
4. Publiser gjerne llms.txt likevel. Den koster ingenting og skader ikke. Bare ikke tro at du har gjort noe.

En siste advarsel om verktøy: Cloudflares egen ai-rules-sjekk krever i skrivende stund at du sperrer for Claude-Web og anthropic-ai — to kjennetegn som for lengst er tatt ut av bruk — samtidig som den ikke nevner et eneste av Anthropics gjeldende kjennetegn, eller PerplexityBot. Et nettsted kan altså bestå den sjekken og likevel være usynlig for Claude. Det er verdt å huske hver gang en sjekkliste sier grønt.

Hvor tallene kommer fra

97 %-tallet for llms.txt, tallene for api-catalog og A2A Agent Cards, og Mueller-sitatet er ikke våre målinger. De er hentet fra ekstern standardresearch fra mai og august 2026, oppsummert i docs/roadmap.md. Alt annet er vårt: null gyldige svar på ai-plugin.json og mcp.json i 135 nettsteder, ett gyldig UCP-manifest, 28 nettsteder feilrapportert av vår egen tidligere kjøring, 8 nettsteder som sperrer for søke- og live-assistenter, og 46 avbrutte sitemap-gjennomganger.

Vi måler om en assistent som kommer fram til nettstedet ditt, får brukt det. Vi måler ikke om assistentene finner fram til deg i det hele tatt — det avgjøres i stor grad utenfor nettstedet, og et verktøy som påstår noe annet, gjetter.