WordPress – robots.txt erstellen lassen

Hier ein Beispiel wie man mit WordPress ein robots.txt Datei erstellen lassen kann. Öffnet dazu eure funtions.php. Fügt diesen Code ein und ruft eure Domain auf. z.b. www.domain.de/robots.txt. Diese robots.txt dient nur als Beispiel. Ihr könnt diese nach eurem Bedarf modifizieren.

/**
 * Add to robots.txt
 * @since 1.0
 */

add_action('do_robots', 'roots_robots');

function roots_robots() {
	echo "Disallow: /cgi-bin\n";
	echo "Disallow: /wp-admin\n";
	echo "Disallow: /wp-includes\n";
	echo "Disallow: /wp-content/plugins\n";
	echo "Disallow: /plugins\n";
	echo "Disallow: /wp-content/cache\n";
	echo "Disallow: /wp-content/themes\n";
	echo "Disallow: /trackback\n";
	echo "Disallow: /feed\n";
	echo "Disallow: /comments\n";
	echo "Disallow: /category/*/*\n";
	echo "Disallow: */trackback\n";
	echo "Disallow: */feed\n";
	echo "Disallow: */comments\n";
	echo "Disallow: /*?*\n";
	echo "Disallow: /*?\n";
	
	/* PAGE SETTINGS */
	echo "Disallow: /contact\n";
	echo "Disallow: /impressum\n";
	//echo "Disallow: /sitemap\n";
	
	echo "Allow: /wp-content/uploads\n";
	echo "Allow: /assets";
}