如何保證網(wǎng)站長期的SEO健康度
4月底的北京移動(dòng)化培訓(xùn)后，我們認(rèn)識(shí)了藝龍SEO負(fù)責(zé)人劉明，他認(rèn)為很多SEOer是只看整體數(shù)據(jù)判斷網(wǎng)站是否有問題，而站點(diǎn)應(yīng)該做的是每周出具一份詳細(xì)科學(xué)的體檢報(bào)告，能最早從很多細(xì)節(jié)指標(biāo)上發(fā)現(xiàn)問題——學(xué)堂感覺這個(gè)內(nèi)容非常有價(jià)值，于是請(qǐng)劉明做了分享：
本篇文章的意義之一，很多站長對(duì)自己網(wǎng)站健康狀況沒有頭緒：
在百度舉辦的活動(dòng)上，有不少的站長會(huì)向百度工作人員提出一些根本無法回答的問題：收錄掉了，怎么辦？抓取掉了，怎么辦？流量掉了，怎么辦？排名掉了，怎么辦？收錄不及時(shí)，怎么辦？
這些問題太籠統(tǒng)了，即使把百度所有后臺(tái)數(shù)據(jù)完全開放，也無法解答。提問的人肯定是連網(wǎng)站的基本結(jié)構(gòu)都沒有清晰的認(rèn)識(shí)。好的問題是怎樣的？耐心看完就有答案了。
本篇文章的意義之二，產(chǎn)品改版對(duì)SEO造成毀滅性打擊
SEO最嚴(yán)重的問題，往往不是SEO問題，而是產(chǎn)品問題，或技術(shù)問題。有些大型網(wǎng)站每次大改版都是這樣的：
1，會(huì)更換一套URL pattern。
2，由于數(shù)據(jù)的不兼容，舊版本pattern無法301到最新版。
3，即使數(shù)據(jù)兼容，也忘了做301。
我問過一個(gè)產(chǎn)品經(jīng)理，這個(gè)產(chǎn)品的URL換過多少pattern， 答案是3到4個(gè)。但是我從web.archive.org上看，最少8個(gè)。平均每年換一個(gè)。稍微有一點(diǎn)搜索引擎基本常識(shí)的人應(yīng)該能意識(shí)到，這種網(wǎng)站是典型的no zuo no die。
本篇文章的意義之三，長期的迭代開發(fā)流程中，SEO的需求可能被逐步改錯(cuò)
在產(chǎn)品，技術(shù)和測試的思維中，往往是沒有URL的清晰定義的，只要頁面能訪問，內(nèi)容是對(duì)的就合格了.以下幾種URL都是被認(rèn)為沒問題的，更不要提SEO的其他基本規(guī)范了。也就是說，事實(shí)上除了SEO沒有人關(guān)心這些東西，每個(gè)開發(fā)環(huán)節(jié)都可能遺漏或者搞錯(cuò)一些東西：
1，http://www.a.com/product(category)/
2，http://www.a.com/product.html/
3，http://www.a.com/product/？channel=123&category=abc&brand=def&tracking=other_website
曾經(jīng)有一個(gè)產(chǎn)品，本來谷歌收錄量達(dá)到了3000萬，百度收錄2000萬，流量也不錯(cuò)，精力挪到別的產(chǎn)品上去了。 過了1個(gè)月發(fā)現(xiàn)流量有所下滑，以為是季節(jié)因素，沒有在意，又過了2個(gè)月，流量下降非常多。仔細(xì)檢查了一下發(fā)現(xiàn)一個(gè)驚人的變化。
1，本來收錄的地址是http://www.a.com/product/item100.html
2，在沒有被告知的情況下，被技術(shù)同事加了一個(gè)301跳轉(zhuǎn)，到http://www.a.com/search/？product=a&item=100
3，其中/search/目錄在robots.txt中是Disallow的
4，在隨后的2周內(nèi)，收錄量最低降到了300萬左右。
我希望能有個(gè)系統(tǒng)自動(dòng)的幫我梳理這些問題，讓我不再每天擔(dān)憂SEO的需求又不知道被誰弄掉了，如果有問題，能讓開發(fā)測試的同事馬上就收到警報(bào)，讓“擦屁股”的事情不再占用我太多時(shí)間。
內(nèi)容思維導(dǎo)圖，元信息，頁面單元測試，蜘蛛日志監(jiān)控
鑒于前邊幾點(diǎn)，我的解決方案是：
? 內(nèi)容思維導(dǎo)圖
? 元信息
? 頁面單元測試
? 蜘蛛日志監(jiān)控
這些方案5年前就構(gòu)思好了，并且小規(guī)模試用，但是由于復(fù)雜度和開發(fā)成本較高，到過很多坑。直到最近兩年才逐步啟用。絕對(duì)不適用于小公司，請(qǐng)廣大SEO從業(yè)者慎重決策。
? 內(nèi)容思維導(dǎo)圖
從產(chǎn)品的角度看是這樣由各類功能組成的，有合理流程關(guān)系的(流程不展開討論)，符合用戶體驗(yàn)的，但可能不符合搜索引擎體驗(yàn)：
從SEO的角度看，網(wǎng)站的結(jié)構(gòu)是這樣由各類用戶搜索需求組成的，也是有合理層級(jí)關(guān)系的：
不同的網(wǎng)站會(huì)有截然不同的思維導(dǎo)圖，因?yàn)樗赡芑救Q于技術(shù)架構(gòu)。因此建議SEO從業(yè)者深入了解網(wǎng)站的技術(shù)架構(gòu)之后再來繪制導(dǎo)圖。具體的細(xì)節(jié)暫不展開。但是最起碼自己要保證這幾點(diǎn)：
1，網(wǎng)站有哪些內(nèi)容節(jié)點(diǎn)
2，哪些命中了用戶的需求
3，哪些是毫無檢索意義的
4，缺少哪些節(jié)點(diǎn)
5，應(yīng)該如何部署層級(jí)關(guān)系
思維導(dǎo)圖絕對(duì)不是一勞永逸的，每當(dāng)產(chǎn)品有新的pattern上線，或者舊的pattern下線，需要及時(shí)更新。每當(dāng)你發(fā)現(xiàn)新的用戶搜索習(xí)慣，也應(yīng)該更新，并且推送給產(chǎn)品同事知道。
? 元信息
我這里說的不是， 而是一切SEO相關(guān)的，有規(guī)律的(最好是可以用正則表達(dá)的)，可量化的信息。包括：標(biāo)題，關(guān)鍵詞，描述，H1，等等。
從SEO的角度看，某網(wǎng)站的URL是這樣的，符合“思維導(dǎo)圖”層次的：
首頁： www.example.com/
首頁-頻道1： www.example.com/channel/
首頁-頻道1-維度1： www.example.com/channel/abc/
首頁-頻道1-維度1-維度2： www.example.com/channel/abc/xyz/
首頁-頻道1-詳細(xì)頁： www.example.com/channel/item12345/
從產(chǎn)品，開發(fā)，測試的角度看URL可能是這樣無序的：
? www.example.com/channel/？category=abc&brand=xyz&tracking=other_website
? www.example.com/channel/？item=12345
如果下一版改成這樣也沒問題的：
www.example.com/？channel=123&category=abc&brand=def&tracking=other_website
如果沒有清晰的規(guī)則定義，幾乎是無法知道現(xiàn)在的網(wǎng)站還是不是你優(yōu)化過的那個(gè)樣子的。 根據(jù)SEO內(nèi)容思維導(dǎo)圖，我們得到如下的元信息表格(僅列出幾個(gè)字段給大家參考)：
? 頁面單元測試
這個(gè)“單元測試”是借用了一個(gè)研發(fā)的術(shù)語，原本是測試某一個(gè)函數(shù)或類的。我是用來測試SEO的一個(gè)具體的細(xì)節(jié)定義。工具也是借用了“Rspec”來二次開發(fā)的。這個(gè)模塊可以分為兩個(gè)環(huán)境來運(yùn)行，production和testing。
其中production的測試，我們叫“回歸測試”，目的是保證之前已經(jīng)上線的SEO需求，依然好好的呆在那里，如果報(bào)警需要及時(shí)修復(fù)。
testing環(huán)境中，是為了給研發(fā)人員做類似TDD(測試驅(qū)動(dòng)開發(fā))用的。它包含了production的回歸測試也包含了testing中新的需求，可以被當(dāng)做是需求文檔。只要研發(fā)人員把這個(gè)測試都跑通，就說明你的需求完成了。當(dāng)這些需求上線后，把測試合并到production一起做回歸測試，這樣就圓滿了。
測試的內(nèi)容可以涵蓋：元信息中的所有細(xì)節(jié)，已知鏈接的錨文本， 站內(nèi)URL， 站外URL， 面包屑， alt， 響應(yīng)時(shí)間， 頁面尺寸，等等。
? 蜘蛛日志監(jiān)控
有了“元信息”的定義。做蜘蛛日志監(jiān)控易如反掌。親身經(jīng)歷的一些現(xiàn)象：
1，全站85%的訪問，response code都是301。
2，蜘蛛抓取量的50%都是抓異步請(qǐng)求(ajax，iframe)的URL。
3，某些類別的頁面平均響應(yīng)時(shí)間超過10秒/次。
4，response code 200的訪問中60%的請(qǐng)求都不是SEO需要的URL。
附圖僅展示一些字段給大家做參考：
針對(duì)本文開頭的問題，比較靠譜的提問方式是， “我的某某pattern頁面每天抓取量多少，其中response200的有多少，平均響應(yīng)時(shí)間是多少，主要的內(nèi)容，SEO元素都正常，沒有作弊的行為，但是這個(gè)pattern最近抓取掉了，收錄掉了”。 其實(shí)能問這種問題的人，也基本不用提這類問題了。大多數(shù)的問題只要足夠細(xì)化，就已經(jīng)迎刃而解了。
各位同學(xué)還有什么問題問劉明的么？歡迎來到【學(xué)堂同學(xué)匯】討論專帖進(jìn)行留言討論。
來源：百度搜索資源平臺(tái) 百度搜索學(xué)堂
