sogou spider遵守互聯網meta robots協議。您可以利用網頁meta的設置，使搜狗顯示只對該網頁建索引，但并不在搜索結果中顯示該網頁的快照。
和robots的更新一樣，因為搜索引擎索引數據庫的更新需要時間，雖然您已經在網頁中通過meta禁止了搜狗在搜索結果中顯示該網頁的快照，但搜狗搜索引擎數據庫中如果已經建立了網頁索引信息，可能需要二至四周才會在線上生效。
百度Spider在2017年3月同時推出渲染UA在移動端和PC端進行內測（《百度Spider新增渲染UA抓取公告》），內測期間分析了多個抓取量異常的case，均非渲染UA造成。本周百度Spider渲染UA在移動端全流量上線，PC端還未全部覆蓋。特提醒PC站長，截止目前，對搜索引擎和用戶有價值的內容，還是盡量不要使用JS加載的方式，以免造成不能索引等損失。來源：百度搜索資源平臺
做網站優化的過程中很重要的一點，就是網站日志的分析。通過來訪記錄的日志文件我們能了解到網站出現的很多問題。以網站日志上的百度蜘蛛IP為例：123.125.68.*這個蜘蛛每每來，另外來的少，示意網站大概要進入沙盒了，或被者降權。220.181.68.*天天這個IP段只增不減很有大概進沙盒或K站。220.181.7.*、123.125.66.*代表百度蜘蛛IP拜訪，預備抓取你工具。121.14.89
內容優良而獨特的頁面。如果您的頁面內容和互聯網上已存在的其他頁面有高度的相似性，可能不會被 sogou spider 收錄。鏈接層次較淺的頁面。過深的鏈接層次，尤其是動態網頁的鏈接，會被丟棄而不收錄。如果是動態網頁，請控制參數的數量和URL的長度。搜狗更偏好收錄靜態網頁。重定向次數越多的頁面，越有可能被 sogou spider 丟棄。來源：搜狗資源平臺
sogou spider 支持 robots 協議，您可以在網站的根目錄放置 robots.txt。robots.txt 的規則請參閱 http://www.robotstxt.org/。需要注意的是，最新更新的 robots.txt 可能需要幾個星期才能體現出效果來，另外，被您禁止 sogou spider 收錄的網頁將不能在搜狗搜索引擎上檢索到。
