為你的 WordPress 站點添加 robots.txt

稍微接觸過SEO的站長朋友都應該知道 robots協議(也稱為爬蟲協議、爬蟲規則、機器人協議等),也就是通常添加到網站根目錄的robots.txt 文件,它的作用在於告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,從而優化網站的收錄結果和權重。

如果你的網站根目錄還沒有 robots.txt,你可以創建一個,具體的寫法請參考 百度百科。下面是一個基本的 WordPress  robots協議:

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://example.com/sitemap.xml

下面主要介紹一下 WordPress 自動創建虛擬 robots.txt 功能。如果你的網站根目錄不存在真實的 robots.txt,那麼可以讓 WordPress 自動創建一個虛擬的 robots.txt (該文件不會真實存在,但是訪問 http://yoursite.com/robots.txt 時可以正常顯示)

將下面的代碼添加到主題的 functions.php 即可:

1
2
3
4
5
6
7
8
9
/**
 * 為你的 WordPress 站點添加 robots.txt
 * https://www.wpdaxue.com/add-robots-txt.html
 */
add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
	$output .= "Disallow: /user/"; // 禁止收錄鏈接中包含 /user/ 的頁面
	return $output;
}

/**
* 為你的 WordPress 站點添加 robots.txt
* https://www.wpdaxue.com/add-robots-txt.html
*/
add_filter( ‘robots_txt’, ‘robots_mod’, 10, 2 );
function robots_mod( $output, $public ) {
$output .= "Disallow: /user/"; // 禁止收錄鏈接中包含 /user/ 的頁面
return $output;
}

註:如果你想添加更多的規則,請復制上面代碼的第 7 行,然後修改一下即可。

訪問 http://yoursite.com/robots.txt  我們可以看到如下內容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /user/

也就是說,WordPress 默認已經添加瞭前 3 行規則瞭。

robots.txt 涉及到網站的收錄,所以請確保你明白它的書寫方法,保證每條規則都是正確無誤的!

發佈留言