搜狗搜索蜘蛛爬蟲抓取
- 威海Spider 威海sogou spider
- 1299
sogou spider User-Agent字段是什么？
PC端UA為
Sogou web spider
Sogou inst spider
Sogou spider
無線端UA為
Sogou wap spider
請注意，根據標準，ua區分大小寫。
搜狗spider的IP有哪些？
搜狗暫不對外提供搜狗spider IP列表，但您可以通過DNS反查IP的方式判斷某只spider是否來自搜狗搜索引擎。根據不同平臺有不同的驗證方法。
linux平臺：
命令為host ip,如下圖。搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均為冒充。
在windows平臺或者IBM OS/2平臺：
命令為nslookup ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均為冒充。
mac os平臺：
命令為dig ip，搜狗spider的hostname以 *.sogou.com格式命名，非 *.sogou.com均為冒充。
sogou spider 如何反應我網站上頁面的更新？
sogou spider 會根據網頁的重要性和歷史變化情況來動態調整更新時間，更新已經抓取過的頁面。
搜狗spider的抓取頻次是怎樣的？
sogou spider 對于同一個 IP 地址的服務器主機，只建立一個連接，抓取間隔速度控制在幾秒一次。一個網頁被收錄后，最快也要過幾天以后才會去更新。如果持續不斷地抓取您的網站，請注意您的網站上的網頁是否每次訪問都產生新的鏈接。
如果您認為 sogou spider 對于您的網站抓取過快，請與我們聯系，并最好能提供訪問日志中sogou spider 訪問的部分，而不要直接將搜狗spider的ua封禁。
sogou spider 喜歡收錄什么樣的頁面
內容優良而獨特的頁面。如果您的頁面內容和互聯網上已存在的其他頁面有高度的相似性，可能不會被 sogou spider 收錄。
鏈接層次較淺的頁面。過深的鏈接層次，尤其是動態網頁的鏈接，會被丟棄而不收錄。
如果是動態網頁，請控制參數的數量和URL的長度。搜狗更偏好收錄靜態網頁。重定向次數越多的頁面，越有可能被 sogou spider 丟棄。
來源：搜狗資源平臺
