立即注册 找回密码
搜索
热搜: 活动 交友 discuz
查看: 233|回复: 0

Robots

[复制链接]

309

主题

309

帖子

975

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
975
发表于 2020-3-17 15:02:38 | 显示全部楼层 |阅读模式
  1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。
  2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
  3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表