Websites werden zunehmend nicht mehr nur von Menschen besucht, sondern auch von KI-Systemen und KI-Agenten gelesen und ausgewertet.
Für Menschen gestaltete Webseiten enthalten dabei allerdings viele Elemente, die für ein KI-System wenig hilfreich sind: Navigationen, Footer, Werbung, Skripte und Layout-Markup. All das kostet Kontext, ohne zusätzliche inhaltliche Information zu liefern.
Genau hier setzt die llms.txt an.
Woher kommt die Idee der llms.txt?
Die llms.txt wurde im September 2024 von Jeremy Howard vorgeschlagen und unter llmstxt.org veröffentlicht.
Die Grundidee: Eine Website stellt zusätzlich zu ihren normalen HTML-Seiten eine einfache Markdown-Datei unter /llms.txt bereit. Diese Datei enthält eine kompakte, gezielt für KI-Systeme aufbereitete Übersicht der wichtigsten Inhalte – mit kurzen Beschreibungen und Links zu den jeweils relevanten Seiten.