Robots

　　1. robots.txt可能告诉百度您站的哪些页面可能被抓取，哪些页面不行能被抓取。

　　2. 您可能通过Robots器械来创筑、校验、更新您的robots.txt文献，或查看您站robots.txt文献正在百度生效的环境。

　　3. Robots器械目前支撑48k的文献实质检测，请包管您的robots.txt文献不要过大，目次最长不抢先250个字符。