網(wǎng)站收錄怪象： 那些關(guān)于收錄的秘密
- 威海了解搜索引擎 威海網(wǎng)站收錄
- 1977
SEO之路上難免會(huì)碰到一些奇葩的事情，比如網(wǎng)站改版了還收錄舊的URL地址、測試網(wǎng)址無緣無故就被收錄了導(dǎo)致正式網(wǎng)址不被收錄、換了IP結(jié)果導(dǎo)致百度收錄不更新了等等，大多數(shù)的時(shí)候大家都把問題的原因歸結(jié)于百度，百度實(shí)在有些冤枉，中國服裝網(wǎng)seo負(fù)責(zé)人飛鷹正義在工程師的指點(diǎn)下為大家揭開這奧秘。
在開始前先簡單的給大家講解一點(diǎn)小知識(shí)：
域名和IP相當(dāng)于站點(diǎn)的名字和身份證，IP相當(dāng)于現(xiàn)如今的身份證，但是身份證IP地址很難記，所以就產(chǎn)生了域名。這里不是給大家普及歷史知識(shí)，只是現(xiàn)在大多數(shù)情況下都采用域名來訪問所以導(dǎo)致大家忽略了一個(gè)事實(shí)：最終尋址的是身份證號(hào)碼也就是IP，不是域名！來看個(gè)域名解析的簡化過程圖
通過這里大家應(yīng)該明白一些了吧？域名只是方便我們記憶，而真正的尋址的應(yīng)該是IP！大家都知道域名DNS服務(wù)器在全球有N個(gè)節(jié)點(diǎn)，我們新域名剛解析的時(shí)候常會(huì)碰到某些區(qū)域因?yàn)镈NS數(shù)據(jù)同步慢而導(dǎo)致訪問不了的情況，而老域名換IP的時(shí)候也會(huì)碰到用戶訪問的還是老IP的想象。這你都知道？別急你還有不知道的！
然而我們的搜索引擎蜘蛛大多數(shù)分布式抓取，自身都建有DNS，一來解決抓取的時(shí)候的效率，不必每次都要解析IP后抓取，二來我們站點(diǎn)的主體表現(xiàn)形式都是域名，而不是IP，所以帶著我們的域名host頭去訪問我們的老IP還是會(huì)訪問的到，因此就會(huì)導(dǎo)致我們開頭提到的一些奇葩怪象。說完基本概念，我們?cè)賮碓敿?xì)分析一下這幾個(gè)怪象的具體成因！
一、網(wǎng)站改版了還收錄舊的URL地址
這個(gè)問題其實(shí)跟上面的基礎(chǔ)沒啥太大關(guān)系，但每天在百度站長社區(qū)問的人實(shí)在是太多了，也算是收錄的一大奇葩現(xiàn)象，所以在這里還是拿出來叨一下。
很多站長網(wǎng)站改版了啟用了新的URL結(jié)構(gòu)，也在站長平臺(tái)進(jìn)行了改版提交，但是還是出現(xiàn)收錄舊的URL，遇到這個(gè)問題首先我們還是從站點(diǎn)自身的問題找起：
1.是否已經(jīng)去除所有舊地址入口？
這是個(gè)嚴(yán)肅的問題，很多朋友因?yàn)檎军c(diǎn)大、結(jié)構(gòu)復(fù)雜、改版不徹底導(dǎo)致并沒有去除所有入口頁面，導(dǎo)致新內(nèi)容產(chǎn)生的同時(shí)在一些角落里還是產(chǎn)生了老的入口，只要鏈接地址還是老的就有可能被收錄。所以要改版要換URL必須徹頭徹尾的把所有鏈接替換為新的URL。為了加速生效新的鏈接除了站點(diǎn)自身鏈接外盡可能修改一下外部的鏈接，例如友情鏈接。
2.老的URL是否做了301到新的URL上？
老的URL是否真的是301到新的URL上面？我也遇到一些奇葩的朋友使用js之類的技術(shù)，看起來好像也是跳轉(zhuǎn)，也像那么回事，但其實(shí)根本不是一回事！
3. 關(guān)于百度方面
在做好1和2的基礎(chǔ)上，即使百度收錄了舊的鏈接，也不必?fù)?dān)心，因?yàn)榘俣葘?duì)跳轉(zhuǎn)屬性的站點(diǎn)和鏈接識(shí)別和確認(rèn)需要一定的時(shí)間，而且只要是穩(wěn)定的跳轉(zhuǎn)，最終都會(huì)轉(zhuǎn)換成新鏈接的流量，當(dāng)然記得通過網(wǎng)站改版工具及時(shí)提交改版規(guī)則。
二、測試網(wǎng)址無緣無故就被收錄了導(dǎo)致了正式網(wǎng)址不被收錄
這里我建議大家以后測試的時(shí)候盡量環(huán)境保證本地或者在特定測試環(huán)境下才能訪問，否則現(xiàn)在的各種瀏覽器可能會(huì)把地址透露出去，也有不小心把地址拿去搜索等渠道導(dǎo)致被搜索引擎收錄那么對(duì)你的站點(diǎn)上線影響還是蠻大的。
1.沒有關(guān)閉測試服務(wù)器
上面普及知識(shí)有提到過，大家換IP或者換URL地址的時(shí)候因?yàn)槔系姆?wù)器沒有關(guān)閉，而搜索引擎緩存了IP，導(dǎo)致搜索引擎還是可以訪問到這些頁面；
2.沒有刪除IIS綁定
還有一些朋友換了IP地址，但是并沒有在老的IP上的網(wǎng)頁服務(wù)器上刪除網(wǎng)站綁定，導(dǎo)致搜索引擎帶HOST頭訪問該IP的時(shí)候能夠訪問到舊的內(nèi)容；
一般情況下搜索引擎緩存的時(shí)候較長，或者因cdn等因素導(dǎo)致IP同步失敗的都會(huì)導(dǎo)致上述情況發(fā)生，更換ip以后，可以通過抓取診斷工具測試一下百度是否能夠正確抓取，如果解析到的ip有誤，可點(diǎn)擊抓取診斷詳情中的“報(bào)錯(cuò)”，通知百度更新您站點(diǎn)的ip。
三、換IP后導(dǎo)致百度不收錄
上面提到搜索引擎會(huì)緩存IP，百度在換IP的時(shí)候也說過盡量保證老服務(wù)器一段時(shí)間內(nèi)可以訪問，為什么要這樣？因?yàn)榉?wù)器真的需要時(shí)間去同步內(nèi)容同步IP，而且直接斷了老的服務(wù)器很容易導(dǎo)致短時(shí)間突發(fā)404，因此會(huì)給站點(diǎn)造成不可預(yù)估的問題；
換IP后不收錄原因也是這樣，因?yàn)閾Q了新服務(wù)器數(shù)據(jù)遷移后導(dǎo)致老服務(wù)器的內(nèi)容并沒有更新，所以這個(gè)時(shí)候其實(shí)是百度根本抓取不到你的更新。因此需要通過上面的方式盡快告訴百度，您站點(diǎn)ip的變動(dòng)，減少站點(diǎn)流量損失。
結(jié)束語：
其實(shí)收錄奇葩問題很多，我列舉了大部分可能遇到的一些奇葩問題，大部分情況下都是站長存在的一些誤區(qū)所導(dǎo)致的。
至此文章雖然結(jié)束但是討論可以繼續(xù)，大家可以到[學(xué)堂同學(xué)匯] 《網(wǎng)站收錄怪象： 那些關(guān)于收錄的秘密》討論帖，與作者飛鷹正義進(jìn)行探討。
來源：百度搜索資源平臺(tái) 百度搜索學(xué)堂
