網站建設完成後，有時(shí)候可(kě)能因爲robots設置不合理(lǐ)、DNS未更改及緩存未更新、IP錯誤等原因而影(yǐng)響收錄。因此在網站建設完成後一定要用(yòng)百度抓取診斷偵測一下(xià)。
抓取診斷使用(yòng)說明(míng)
什(shén)麽是抓取異常
百度蜘蛛無法正常抓取網頁，就是抓取異常。
抓取異常的(de)原因有哪些
一、網站異常
1、dns異常
當Baiduspider無法解析您網站的(de)IP時(shí)，會出現DNS異常。可(kě)能是您的(de)網站IP地址錯誤，或者域名服務商把Baiduspider封禁。請使用(yòng)WHOIS或者host查詢自己網站IP地址是否正确且可(kě)解析，如果不正确或無法解析，請與域名注冊商聯系，更新您的(de)IP地址。
2、連接超時(shí)
抓取請求連接超時(shí)，可(kě)能原因服務器過載，網絡不穩定
3、抓取超時(shí)
抓取請求連接建立後，下(xià)載頁面速度過慢(màn)，導緻超時(shí)，可(kě)能原因服務器過載，帶寬不足
4、連接錯誤
無法連接或者連接建立後對(duì)方服務器拒絕
二、鏈接異常
1、訪問被拒絕
爬蟲發起抓取，httpcode返回碼是403
2、找不到頁面
爬蟲發起抓取，httpcode返回碼是404
3、服務器錯誤
爬蟲發起抓取，httpcode返回碼是5XX
4、其他(tā)錯誤
爬蟲發起抓取，httpcode返回碼是4XX，不包括403和(hé)404
抓取診斷使用(yòng)說明(míng)
1、抓取診斷工具，可(kě)以讓站長(cháng)從百度蜘蛛的(de)視角查看抓取内容，自助診斷百度蜘蛛看到的(de)内容和(hé)預期是否一緻。
2、每個(gè)站點每周可(kě)使用(yòng)70次，抓取結果隻展現百度蜘蛛可(kě)見的(de)前200KB内容。
3、抓取診斷可(kě)能受到網絡影(yǐng)響造成抓取失敗，如遇到抓取失敗情況，可(kě)重新檢測，并自查網站是否可(kě)正常訪問。