Markt + Trends | World Wide Web | iX

Code in robots.txt und ai.txt soll KI-Crawler aussperren

Um KI-Crawlern das Sammeln von Trainingsdaten zu verbieten, gibt es bisher keinen anerkannten Standard. OpenAI will sich künftig an die klassische robots.txt halten.

Der Website-Crawler von OpenAI soll den 30 Jahre alten Standard Robot Exclusion beachten, also die Einträge in der Datei robots.txt im Wurzelverzeichnis von Webservern. Damit können Websitebetreiber verhindern, dass OpenAI Inhalte zum Training seiner Sprachmodelle verwendet. Um den Bot mit dem User Agent Token GPTBot von seinen Webseiten fernzuhalten, geht man wie bei anderen Crawlern vor: Einer Zeile mit dem User Agent folgen eine oder mehrere Allow/Disallow-Einträge für die komplette Site oder bestimmte Verzeichnisse. OpenAI veröffentlichte ebenfalls die IP-Bereiche, von denen aus der Crawler auf Websites zugreift, sodass sie sich in den Access-Logs identifizieren lassen.

Die Datei robots.txt ist eine der ältesten Möglichkeiten, den Zugriff auf Websites einzuschränken. Sie ist einfach und transparent, hängt aber davon ab, dass Anbieter der Crawler sich freiwillig an die Konventionen halten, und erfordert pro Crawler einen eigenen Eintrag. Die Datei muss also aktiv gepflegt werden und Bots verschiedener Anbieter setzen die Anweisungen unterschiedlich um oder beachten manche nicht. Google hat deshalb eine Initiative gestartet, robots.txt abzulösen und neue Spezifikationen für das KI-Zeitalter zu entwickeln, und dafür eine klassische Mailingliste für Diskussionen ins Leben gerufen.