感谢您使用360搜索。为了实现对网站更好的收录，我们在此公布360搜索对robots协议的支持和扩展说明，以便站长们了解，实现对网站内容更高效、智能的收录。
简介
360搜索对robots协议的支持
360搜索支持robots协议的主要命令，以下为具体说明：
1. user-agent360搜索各产品的爬虫user-agent为：
- 网页搜索 360spider
- 图片搜索 360spider-image
- 视频搜索 360spider-video
2. allow
站长可通过allow命令指定建议收录的文件、目录 。
3. disallow站长可通过disallow命令指定不建议收录的文件、目录。
360搜索对robots协议的扩展
360搜索根据站长们的反馈，会陆续推出扩展的robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护robots协议文件的技术成本。
360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。
在命令中可以使用*、$等通配符。
示例：
使用通配符的
indexpage: http://bbs.360safe.com/forum-*-1.html$
indexpage: http://ent.sina.com.cn/*/roll.html
不用通配符的：
indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml
indexpage: http://roll.tech.sina.com.cn/it/index.shtml
indexpage: http://roll.tech.sina.com.cn/tele/index.shtml
indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml
indexpage: http://roll.tech.sina.com.cn/elec/index.shtml
对robots协议的善意使用
robots协议是一个搜索引擎和网站之间的善意协议，我们鼓励站长们也以善意的方式使用这一协议，尽量提供准确的信息，除非有充足理由，不使用robots协议屏蔽某些特定搜索引擎爬虫。
360搜索愿和站长们一起，共建一个更健康、公平、透明的搜索引擎生态系统。