robots.txt soll KI-Maschinen am Durchsuchen der site hindern
User-agent: GPTBotAllow: /directory-1/Disallow: /directory-2/ Die robots.txt ist eine Textdatei, die im Stammverzeichnis einer Domain abgelegt wird12. Sie ermöglicht es Webseitenbetreibern, den Zugriff von Suchmaschinen auf die Website zu steuern12. Mit…