User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/plugins/
Allow: /wp-admin/admin-ajax.php
# robots.txt für eine Website
#
# Die Raute # zu Beginn der Zeile
# sagt, dass es sich um einen
# Kommentar handelt und Bots
# diesen Bereich nicht
# berücksichtigen sollen.
#
User-agent: *
# alle Bots befolgen diese Anweisung,
# bis ein neuer User-agent genannt wird
#
Sitemap: https://remove-laserzentrum.de/page-sitemap.xml
# Hinterlegt die Sitemap für
# Crawler und Bots
#
Disallow: /temp/
# der Ordner /temp/ wird für alle
# Bots gesperrt
#
User-agent: Googlebot
# Ab hier ist nur der Googlebot betroffen
#

User-agent: msnbot
Disallow: /.js$
# Der MSN Bot darf Javascripte
# nicht öffnen. Allerdings nur,
# wenn die Dateien mit .js enden.
# Befindet sich dahinter noch
# etwas, wie etwa bei
# skript.js?date=20191011, dann
# wird der MSN Bot die Datei
# durchsuchen.
# # ENDE