User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
Die robots.txt ist eine Textdatei, die im Stammverzeichnis einer Domain abgelegt wird12. Sie ermöglicht es Webseitenbetreibern, den Zugriff von Suchmaschinen auf die Website zu steuern12. Mit dieser Datei kann das Durchsuchen einer Webseite durch Suchmaschinen-Bots, auch Crawling genannt, gezielt gesteuert werden3.
Webseitenbetreiber können in der robots.txt festlegen, welche Bereiche ihrer Website von bestimmten oder allen Suchrobotern durchsucht werden dürfen und welche ignoriert werden sollen12. Die Angaben in der robots.txt beziehen sich auf den gesamten Verzeichnisbaum1.
Es ist wichtig zu beachten, dass die robots.txt von Suchmaschinen lediglich als Richtlinie verstanden wird. Ein bestimmtes Crawling-Verhalten kann durch Angaben in der robots.txt nicht erzwungen werden1. Große Suchmaschinenanbieter wie Google und Bing geben an, entsprechende Anweisungen zu befolgen2. Sicher ausgeschlossen werden kann ein Zugriff auf Webseitenbereiche jedoch nur durch einen Passwortschutz1.
Die Hauptfunktion der robots.txt besteht darin, das Scannen von Seiten und Ressourcendateien zu verhindern, damit das Crawl-Budget effizienter eingesetzt werden kann4.