360搜索對Robots協議的擴展
360搜索根據站長們的反饋，會陸續推出擴展的Robots協議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率，減少站長們維護Robots協議文件的技術成本。
360搜索首個擴展命令是：indexpage，站長們可以使用此命令告知360搜索哪些網頁經常更新。360搜索會根據站長的指示以及自己的算法，智能調整爬蟲抓取頻率，實現對您網站新內容的更高頻率抓取。
在命令中可以使用*、$等通配符。
示例：
使用通配符的
Indexpage: http://bbs.360safe.com/forum-*-1.html$
Indexpage: http://ent.sina.com.cn/*/roll.html
不用通配符的：
Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml
Indexpage: http://roll.tech.sina.com.cn/it/index.shtml
Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml
Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml
Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml
Public @ 2019-02-15 16:09:33
