抓取異常的原因有哪些
- 威海百度搜索資源平臺 威海百度搜索資源平臺
- 1758
一、網(wǎng)站異常
1、dns異常
當(dāng)Baiduspider無法解析您網(wǎng)站的IP時，會出現(xiàn)DNS異常。可能是您的網(wǎng)站IP地址錯誤，或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者host查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯(lián)系，更新您的IP地址。
2、連接超時
抓取請求連接超時，可能原因服務(wù)器過載，網(wǎng)絡(luò)不穩(wěn)定
3、抓取超時
抓取請求連接建立后，下載頁面速度過慢，導(dǎo)致超時，可能原因服務(wù)器過載，帶寬不足
4、連接錯誤
無法連接或者連接建立后對方服務(wù)器拒絕
二、鏈接異常
1、訪問被拒絕
爬蟲發(fā)起抓取，httpcode返回碼是403
2、找不到頁面
爬蟲發(fā)起抓取，httpcode返回碼是404
3、服務(wù)器錯誤
爬蟲發(fā)起抓取，httpcode返回碼是5XX
4、其他錯誤
爬蟲發(fā)起抓取，httpcode返回碼是4XX，不包括403和404
來源：百度搜索資源平臺 百度搜索學(xué)堂
Public @ 2018-09-22 16:02:23
