情況一網頁已不存在
如果網頁已不存在，請確保服務器返回 404（未找到）。這樣可讓搜狗知道該網頁已不存在，無需再在搜索結果中顯示。
情況二網頁仍存在
請使用 robots.txt 阻止 sogou spider 進行抓取。請注意，在通常情況下，即使您已通過 robots.txt 禁止抓取某個網址，但如果我們在其他網站中發現該網址，仍會將相應網頁編入索引。這里需要說明一點，如果頁面變死鏈了，并且設置了robots.txt，那么搜狗的spider就不會再來更新，也就不知道這個頁面變死鏈。
情況三刪除非 HTML 格式的文件
如果要從搜索結果中刪除非 HTML 格式的文件（例如可下載的 PDF），則您或網站站長應確保從服務器中刪除該文件。
來源：搜狗資源平臺
1、信息抓取迅速。在大數據時代，網絡產生的信息浩如煙海，令人無所適從，難以得到自己需要的信息資源。在搜索引擎技術的幫助下，利用關鍵詞、高級語法等檢索方式就可以快速捕捉到相關度極高的匹配信息。2、深入開展信息挖掘。搜索引擎在捕獲用戶需求的信息的同時，還能對檢索的信息加以一定維度的分析，以引導其對信息的使用與認識。例如，用戶可以根據檢索到的信息條目判斷檢索對象的熱度，還可以根據檢索到的信息分布給出高相
情況一網頁已不存在如果網頁已不存在，請確保服務器返回 404（未找到）。這樣可讓搜狗知道該網頁已不存在，無需再在搜索結果中顯示。情況二網頁仍存在請使用 robots.txt 阻止 sogou spider 進行抓取。請注意，在通常情況下，即使您已通過 robots.txt 禁止抓取某個網址，但如果我們在其他網站中發現該網址，仍會將相應網頁編入索引。這里需要說明一點，如果頁面變死鏈了，并且設置了ro
如果您是網站擁有者，則需要在驗證網站所有權后申請刪除整個網站或目錄。為確保永久刪除您的目錄或網站，請使用 robots.txt 阻止抓取工具訪問該目錄（如果要刪除的是網站，則應阻止抓取工具訪問您的整個網站）。我們建議您在請求刪除目錄前或請求刪除后不久執行該操作。否則，您的內容稍后可能會重新顯示在搜索結果中。僅返回 404 HTTP 狀態代碼還不夠，因為可能出現這樣一種情況：即某個目錄返回了 404
