“如何禁用百度抓取”的相关文章

robots用正则表达式可以禁用抓取吗

robots.txt 只支持两个特殊字符： 0-n个字符（n表示任意个） $ 表示链接结束位置，如 Disallow: .jpg$ 表示以.jpg结束的链接屏蔽抓取并不支持正则表达式。