Matt Cutts談大爸爸數據中心，補充材料網頁及收錄網頁數下降
在大爸爸數據中心更新結束后，很多站長發現被收錄的網頁數急劇下降。有時候能從幾萬頁降到幾頁，而且補充材料網頁越來越多。
很多人一直在問，為什么Matt Cutts對這個問題一直不做評論？今天Matt Cutts發了一個很長的帖子，一次性回答大爸爸更新之后的一些問題。帖子很長，下面揀要點翻譯一下。
首先Matt Cutts給那些不想讀這么長帖子的人兩點小結。第一，Google的爬行和索引部門有足夠的機器。收錄網頁數下降并不是因為Google沒地方存了。第二，Google繼續認真聽取站長們的反饋。
大爸爸更新3月份已經結束
在12月爬行/索引部門已經準備好開始大爸爸更新。大爸爸指的是爬行和一部分索引軟件的更新（這是第一次聽說稍微具體點兒的關于大爸爸到底是什么的信息）。
1月上旬，Matt Cutts給出一個正在運行大爸爸數據中心的IP地址，要求站長們提供反饋。
2月份，大爸爸數據中心在更多數據中心使用。
3月份，很多站長開始投訴他們的網頁沒有被大爸爸收錄，并且有越來越多的補充材料網頁。
3月13 號，Google Guy (一位匿名Google員工)在站長世界論壇征求具體的例子。
在看了這些例子網站之后，我可以在幾分鐘之內，就看出問題在哪兒。這些在大爸爸數據中心里面有問題的網站，是那些我們的算法對這個網站的反向鏈接和導出鏈接的信任度都很低的網站。比如說大量交換鏈接，連向垃圾網站，買賣鏈接。
大爸爸和補充材料結果無關。所以當大爸爸不收錄一個網站的網頁的時候，補充引擎就可能收錄更多的網頁。
我和爬行/索引部門一起調節了算法的門檻，以收錄更多這種網站。3月22號，我發了一個帖子，告訴大家我們正在收錄更多的網頁。
3月29號，大爸爸更新完全完成，舊系統關閉，從那之后所有的爬行都是由大爸爸控制的。
考慮到程序編碼更新的數量，我覺得大爸爸更新是很成功的，只有兩個投訴。第一個就是前面提到的，信任度比較低的網站的網頁被爬行和收錄的比較少，我們對此作出了反應，很快開始收錄更多的網頁。另一個投訴是Google Adsense爬行的網頁開始出現在搜索結果中，實際上這是爬行緩存代理的設計。
關于大爸爸就這些了。大爸爸從12月份開始出現到3月份完全完成。在完成大爸爸之后，我們把注意力更多的轉向了對補充材料結果的更新。下面將會談到比較具體的時間表。在這同時，有一種說法是我們的機器都滿了。從我個人的角度 看，我們當然有足夠的機器來爬行和索引網頁。
補充材料結果更新
4月初，我們開始向用戶顯示更新過的補充材料結果。
4月13 號，有人開始談論被收錄的網頁減少了。
4月24號，Google Guy希望人們提供細節。
我看了這些反饋，并沒有看出什么重要的規律。我把這些例子交給了爬行/索引部門，他們也沒看出什么規律。網站地圖部門也進行了研究，結論是和網站地圖也沒什么關系。負責補充材料結果更新的部門，檢查了這些反饋意見。5月5號，他們發現使用”site:”指令(注:這個指令會列出所有被收錄的網頁)，并不返回補充材料結果，他們在當天就解決了這個問題。后來他們又發現了site指令無法工作于由分字符鏈接的域名，很快也解決了。
Google Guy在5月8號希望站長們提供更多信息。
這些就是我所知道的補充材料結果的問題和已經解決了的問題。下面舉一些具體的例子，看為什么有的網站被收錄的網頁數急劇減少。
一個.tv關于某一個國家房地產的網站。5月3號，這個網站的管理員說他的網站從兩萬頁降到了300頁。我看過以后，用”site:”指令已經可以返回31200頁。所以這個域名應該沒有問題了。
一個5月11號的例子，站長只提供了網址，沒有其他文字和解釋。這也是一個房地產網站，有387頁被收錄。但是在網頁底部你可以看到這些鏈接到鈴聲下載，SEO比賽，魚油網站等等，我想我找到了問題。如果你想讓你的網站更多頁被收錄的話，你得多考慮你的鏈接的質量。對索引進行了修改以后，我們處理交換鏈接和買賣鏈接的能力都提高了。
再看一個5月4號的例子，又是一個房地產網站。站長說被收錄的網頁數從一萬降到了80，我看了一下這個網站，這回看到的是鏈接向貸款按揭網站，信用卡網站，運動器械網站等。和上面的一樣，如果你做很多交換鏈接，現在新的蜘蛛有不同的爬行優先考慮，你就不要奇怪了。
再看一個健康保養的目錄網站，看起來是個不錯的網站，也沒鏈接向不好的網站，但是整個域名只有6個導入鏈接。這么少的導入鏈接，我想Google蜘蛛只能爬行比較少的網頁。
總體上來說，我檢查的幾個網站在這幾天都有了更多的被收錄的網頁。做很多交換鏈接的網站，可能發現爬行次數少了。如果你的導入鏈接太少，被爬行的也會比較少。
我的評論：看來大爸爸完成之后，Google確實減少了對很多網站的爬行和收錄。原因主要在于鏈接的質量。做大量交換鏈接，買賣鏈接，鏈接向垃圾網站，鏈接向無關網站，受影響會比較大。Google發現受影響的網站太多之后，也做了調整。
但是就我目前所看，被收錄的網頁數非常不穩定。不同數據中心之間的數據很可能還不同步，而且哪些網站會被當作補充材料的選擇算法，還有很大問題。
來源：SEO每天一貼 Zac 昝輝
