Robots.txt 是一個網站管理員可通過在站點根目錄中放置一個名為robots.txt的文件來讓搜索引擎（及其爬蟲）知道該如何來收錄并處理某些目錄或頁面，并使索引過程更加有效更加規范。 Robots.txt 的作用是向搜索引擎解釋網站中哪些目錄和文件希望被搜索引擎收錄、哪些不希望收錄，以避免搜索引擎抓取到網站誤差的內容。如果 robots.txt 被恰當地設置，可以有效提高收錄質量和網站索引效率，從而表現出良好的搜索引擎優化效果。
Nofollow標簽的應用場景有以下幾種： 1. 防止鏈接垃圾郵件：網站管理員不希望搜索引擎將鏈接視為站點權威的一部分，以避免被鏈接垃圾郵件所濫用。 2. 不推薦的鏈接：網站管理員認為某個鏈接不適合站點的主題或內容，但仍然希望保留該鏈接。 3. 遵守廣告政策：網站所承載的廣告鏈接應該包含Nofollow標簽。 4. 提高頁面權重：對于站外鏈接，若鏈接是通過付費廣告，或是首頁推薦等方式獲得的，可以
什么是robots.txt文件?搜索引擎機器人通過鏈接抵達互聯網上的每個網頁，并抓取網頁信息。搜索引擎機器人在訪問一個網站時，會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄，我們可以通過設置robots.txt文件告知搜索引擎機器人。如果網站上沒有禁止搜索引擎收錄的內容，則不用設置robots.txt文件，或設置為空。robots
robots.txt文件的格式為： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬蟲的名稱，[URL path]指代禁止訪問的URL路徑。在文件中可以定義多條User-agent和Disallow規則，每一條規則占一行，每一對規則之間要有一個空行。示例： User-agent: *
Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。9月11日，百度搜索robots全新升級。升級后robots將優化對網站視頻URL收錄抓取情況。僅當您的網站包含不希望被視頻搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。如您
