robots 怎么让搜索引擎只抓取主页和 html?

教程与解决方案问答分类: 搜索引擎相关robots 怎么让搜索引擎只抓取主页和 html?
0
TTT 提问于 2月 以前

robots.txt 怎么写,让搜索引擎只抓取主页和 html 结尾的内容,不要收录php和图片??

1 个回答
0
Fuyeor MaruguFuyeor 管理员 回答于 2月 以前

这样写:

User-agent: *
# * 表示匹配所有搜索引擎
Allow: /$
# 收录主页
Allow: /*.html$
# 收录以 .html 结尾的文件。 * 为通配符,$ 为结束符。
Disallow: /
#其他内容不要收录

你的回答

1 + 5 =