利用Robots.txt優化你的WordPress站點

很多建站新手對robots.txt文件的重要作用不是很清楚,利用這篇文章普及一下WordPress站點robots.txt文件編寫知識。
Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
搜索引擎機器人訪問網站時,首先會尋找站點根目錄有沒有 robots.txt文件,如果有這個文件就根據文件的內容確定收錄范圍,如果沒有就按默認訪問以及收錄所有頁面。另外,當搜索蜘蛛發現不存在robots.txt文件時,會產生一個404錯誤日志在服務器上,從而增加服務器的負擔,因此為站點添加一個robots.txt文件還是很重要的。
知道Robots協議的作用后,下面具體說一下WordPress站點如何編寫robots.txt文件。
WordPress站點默認在瀏覽器中輸入:http://你的域名/robots.txt,會顯示如下內容:

  1. User-agent:?*
  2. Disallow:?/wp-admin/
  3. Disallow:?/wp-includes/

這是由WordPress自動生成的,意思是告訴搜索引擎不要抓取后臺程序文件。
但這是遠遠不夠的,比較完整的WordPress站點robots.txt文件內容如下:

  1. User-agent:?*
  2. Disallow:?/wp-admin/
  3. Disallow:?/wp-content/
  4. Disallow:?/wp-includes/
  5. Disallow:?/*/comment-page-*
  6. Disallow:?/*?replytocom=*
  7. Disallow:?/category/*/page/
  8. Disallow:?/tag/*/page/
  9. Disallow:?/*/trackback
  10. Disallow:?/feed
  11. Disallow:?/*/feed
  12. Disallow:?/comments/feed
  13. Disallow:?/?s=*
  14. Disallow:?/*/?s=*\
  15. Disallow:?/*?*
  16. Disallow:?/attachment/

使用方法:新建一個名稱為robots.txt文本文件,將上面的內容放進去,然后上傳到網站根目錄即可。

下面分別解釋一下各項的作用:
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺程序文件頁面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取評論分頁等相關鏈接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類和標簽的分頁。
4、Disallow: /*/trackback
禁止搜索引擎抓取收錄trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收錄feed鏈接,feed只用于訂閱本站,與搜索引擎無關。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內搜索結果
7、Disallow: /*?*
禁止搜索抓取動態頁面
8、Disallow: /attachment/
禁止搜索引擎抓取附件頁面,比如毫無意義的圖片附件頁面。
上面只是些基本的寫法,當然還有很多,不過夠用了。

米粒在線
  • 本文由 發表于 2017年3月8日18:38:23
  • 轉載請務必保留本文鏈接:http://www.yeahapk.com/44933.html
百科知道

無良運營商劫持網頁:教你干掉小窗、非法廣告

在中國,網頁劫持可謂是非常常見的現象。上網看著看著,突然就能被傳送到不知所謂的頁面,鋪滿各種“屠龍寶刀點擊就送”、“充值XX元就可獲得流量大禮包”之類的內容。就算不是頁面跳轉,網頁也有可能被插入額外的...
匿名

發表評論

匿名網友 填寫信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: