Hier ein Beispiel wie man mit WordPress ein robots.txt Datei erstellen lassen kann. Öffnet dazu eure funtions.php. Fügt diesen Code ein und ruft eure Domain auf. z.b. www.domain.de/robots.txt. Diese robots.txt dient nur als Beispiel. Ihr könnt diese nach eurem Bedarf modifizieren.