我今天來給大家詳細講解下，先了解幾個概念
1、robots只是禁止抓取，不是禁止收錄
2、另外還有nofollow的作用不是不抓取這個鏈接，是不從這個鏈接傳遞權重
了解這2個概念后，我們再來討論怎么處理這類收錄問題：
robots寫正確的同時，不要在任何一家收錄的網站發外鏈，友鏈，也不要主動提交百度，這樣才可以保證不被搜索引擎收錄，為什么呢？
大家百度查一下淘寶，如圖：
按照道理淘寶寫了robots怎么還是收錄，因為有大量的鏈接指向淘寶官網，而且這些外鏈可能權重都比較高，
全部都禁止了，依然收錄了1億多條鏈接
看到這里，是不是有感而發，我們怎么從百度導流到你的淘寶店！（來源：夫唯seo特訓營）
動態URL是什么動態URL就是動態頁面，動態鏈接，即指在URL中出現“?” 這樣的參數符號，并以aspx、asp、jsp、php、perl、cgi為后綴的url。動態URL有什么特點1、在建設反向鏈接過程中，因為動態URL的非永久性，所以它不如靜態URL有優勢。2、動態URL較之靜態的URL不利于搜索引擎抓取。3、動態網址的生成是采集數據庫的內容，所以不能保證網頁內容的穩定性和鏈接的永久性，所以很
數據庫驅動的網站需要將URL靜態化，一直以來都是SEO最基本的要求，可以算是個常識性的東西。現在恐怕也沒有不是數據庫驅動的網站了吧。近幾年SEO行業一致認為，URL中帶2-3個問號不是問題，搜索引擎通常都能收錄，尤其是權重高點的域名，更多幾個問號也不是問題。但無論如何一般還是建議URL靜態化。2008年9月份，Google站長博客發表了一篇討論動態網址還是靜態網址的帖子，卻顛覆了這個說法。在這篇帖
Robots META標簽中沒有大小寫之分，name=”Robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=”BaiduSpider”。 content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。INDEX 指令告訴搜索機器人抓取該頁面；FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去；Robots Me
User-agent: *Disallow: .jpg$jpg可以代替為gif，png 等等...
