1、禁止索引 /wp-admin：用于管理wordpress網(wǎng)站的控制面板，不允許百度收錄，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高訪問速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-content：WordPress的插件文件和上傳的文件，很多需要用戶登錄才能訪問，不允許百度收錄，增加wordpress網(wǎng)站的優(yōu)化效果。 User-agent: * Disallow: /wp-content/
robots.txt文件的格式為： User-agent: [user-agent-name] Disallow: [URL path] 其中，[user-agent-name]指代搜索引擎爬蟲的名稱，[URL path]指代禁止訪問的URL路徑。在文件中可以定義多條User-agent和Disallow規(guī)則，每一條規(guī)則占一行，每一對規(guī)則之間要有一個空行。示例： User-agent: *
Apache服務(wù)器上創(chuàng)建404頁面： 1. 創(chuàng)建一個新文本文件，命名為404.html（注意，擴(kuò)展名必須為html）。 2. 打開這個文件，并添加如下代碼： 404頁面不在這里 抱歉，您正在尋找的頁面不在這里 請嘗試檢查您輸入的URL或聯(lián)系網(wǎng)站管理員。 3. 保存文件并將其上傳到您的網(wǎng)站根目錄下的相
1、禁止索引 /wp-admin：用于管理wordpress網(wǎng)站的控制面板，不允許百度收錄，避免流量分散。 User-agent: * Disallow: /wp-admin/ 2、禁止索引/wp-includes：WordPress中的核心文件，利用文件禁止百度爬行，提高訪問速度。 User-agent: * Disallow: /wp-includes/ 3、禁止索引/wp-c
筆者在百度站長平臺檢測自己的博客時，出于優(yōu)化的慣性，對博客的Rbots進(jìn)行了檢測，進(jìn)而在百度搜索了WordPress博客robots的寫法設(shè)置問題，看了很多wordpress高手對robots優(yōu)化設(shè)置后，終于有所領(lǐng)悟，在此也分享給一些wordpress新手看看如何去善用robots.txt對wordpress博客進(jìn)行優(yōu)化。一、先來普及下robots.txt的概念：robots.txt(統(tǒng)一小寫)是
