Die robots.txt ist eine kleine nützliche Datei, die du auf deinem Hauptverzeichnis hochladen kannst. So kannst du Bots versuchen vorzuschreiben, welche Seiten aufgerufen werden sollen und welche nicht. robots.txt – Suchmaschinen Anweisungen weiterlesen →