robots.txt 是一個標準，它通過提供一些規則，告訴搜索引擎爬蟲哪些網頁可以被爬取，哪些網頁不應該被爬取。但是，一些搜索引擎爬蟲可能會忽略這些規則，直接抓取它們想要的網頁。 此外， robots.txt 文件的存在只是一個建議而不是命令。在一些情況下，搜索引擎爬蟲可能會收錄被 robots.txt 文件所屏蔽的網頁，這有可能是因為發布這個網頁的人想要讓它被收錄，也有可能是因為機器人誤解了 robots.txt 文件。 因此，網站所有者仍然需要使用其他策略，如更新網頁的元標記和標題標簽，以及在頁面上指示搜索引擎不索引。
? 移動Sitemap協議是一種網頁搜索引擎爬蟲技術，用于提交移動應用平臺的URL。它將搜索引擎索引器仔細地把手機瀏覽器訪問URL索引到搜索結果中。 提交移動Sitemap協議方法： 1.使用移動應用程序開發工具，將您的移動應用程序部署到可搜索平臺，比如Apple App Store、Google Play for Android等。 2.在您的應用程序的網頁端部署XML文件，即您的移動S
Apache為Apache Server設置 404錯誤頁面的方法很簡單，只需：(1)在.htaccess文件中加入如下內容：ErrorDocument 404 /notfound.php，將.htaccess文件上傳到網站根目錄。(2)制作一個404頁面，隨便您設計，命名為notfound.php，同樣上傳到網站根目錄。注意：（1）.切記不要將404錯誤轉向到網站主頁，否則可能會出現主頁在搜索引
設置搜索robots協議的后果針對短視頻類內容，視頻搜索將不再索引、展現網站的視頻資源，歷史已索引部分會從搜索中屏蔽。若設置部分目錄不希望被收錄 ，該目錄下內容將從搜索中屏蔽，其余內容在搜索中則以正常結果展示。來源：百度搜索資源平臺
robots.txt概念如果我們網站內有某些特殊的文件不讓搜索引擎收錄，那怎么辦？答案是：使用一個叫做robots.txt的文件。robots.txt文件告訴搜索引擎本網站哪些文件是允許搜索引擎蜘蛛抓取，哪些不允許抓取。搜索引擎蜘蛛訪問網站任何文件之前，需先訪問robots.txt文件，然后抓取robots.txt文件允許的路徑，跳過其禁止的路徑。總結：robots.txt是一個簡單的.txt文件
