| 什么是robots文件？
Robots是站點與spider溝通的重要渠道，是網站與搜索引擎爬蟲之間的協議，告知哪些可抓取哪些不允許。
| 為什么要做robots文件？
網站上總有一些頁面是禁止蜘蛛抓取的。例如：搜索頁面、篩選頁面、后臺登錄地址等。
| 如何制作 robots文件？
編寫robots.txt文件并上傳到網站根目錄。
| 制作 robots.txt注意事項
● 所有搜索引擎則用星號表示
● Allow（允許）和Disallow（不允許）優先級
● 至少屏蔽一個，可以屏蔽：搜索結果頁面/404頁面
● 記得將sitemap放到Robots文件中
● 可以陸續放入更多，而不是一次性決定所有
● 網站后臺地址/圖片地址/下載文件地址/錯誤鏈接（搜外網）
1. 什么是301跳轉？ 301跳轉是一種HTTP狀態碼，表示永久性重定向。它告訴搜索引擎和用戶請求的頁面已經永久性移動到了另一個URL地址。當用戶訪問舊的URL時，服務器會自動將其重定向到新的URL。 2. 為什么需要使用301跳轉？ 使用301跳轉可以幫助網站解決重復內容的問題，提高網站的排名和用戶體驗。當一個頁面更改了URL或者被刪除時，使用301跳轉可以告知搜索引擎和用戶該頁面已經被
301轉向是指在網站代碼中設置一個永久重定向，將一個網頁的URL地址重定向到另一個URL地址。301轉向的作用包括： 1. 改變URL結構時，將舊URL地址重定向到新URL地址，以保持搜索引擎的收錄和排名。 2. 合并或重構網站時，將原來的網頁重定向到新的網頁，以避免404錯誤頁面的出現，同時保留原來網頁的SEO價值。 3. 修復破損的鏈接，將錯誤的URL重定向到正確的URL地址。 設置3
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
Robots.txt文件應放在網站的根目錄下。
