robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。
來源：360站長平臺
蜘蛛黑洞：蜘蛛黑洞指的是網(wǎng)站通過極低的成本運營，制造出大量和內(nèi)容相識但參數(shù)不同的動態(tài)URL ，像一個無限循環(huán)的“黑洞”將蜘蛛困住，蜘蛛花費太多的時間在網(wǎng)站，浪費了大量資源抓取的網(wǎng)頁為無效網(wǎng)頁。如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象，盡快的處理好，蜘蛛黑洞不利于網(wǎng)站的收錄，也會影響搜索引擎對網(wǎng)站的評分。如何使用Robots避免蜘蛛黑洞？如何利用Robots避免蜘蛛黑洞操作：普通的篩選結(jié)果頁基本都是使用靜態(tài)鏈接
控制頁面的抓取、索引是SEO優(yōu)化網(wǎng)站結(jié)構(gòu)時經(jīng)常需要用到的技術(shù)。常見的工具包括：robots文件頁面的noindex標簽鏈接的nofollow屬性頁面的301轉(zhuǎn)向頁面的canonical標簽等這幾個工具各有各的特定應用場景，但都是用于控制網(wǎng)站內(nèi)部結(jié)構(gòu)，之間容易混淆，還經(jīng)常需要配合使用，SEO們必須準確理解這幾個工具的機制和原理，不然很容易出錯。這篇貼子討論robots文件。Robots文件的作用ro
Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。9月11日，百度搜索robots全新升級。升級后robots將優(yōu)化對網(wǎng)站視頻URL收錄抓取情況。僅當您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立robots.txt文件。如您
robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示："<field>:<optional space><value><optionalspace>"在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常
