首页 > 技术 > 机器人

robot 扫地机器人丨机器人英语为什么叫robot

人阅读 2023-06-17 05:28:06

【robot 扫地机器人丨机器人英语为什么叫robot】lot物联网小编为你整理了的相关内容,希望能为你解答。

有一天主管说你去了解下Robot.txt吧,当时一愣,这是个什么?原谅我不懂技术的懵逼脸,哈哈,然后就去研究了下,以下是研究结果,给跟我一样不懂技术的人看,哈哈~~

Robot英文直译是机器人,在搜索引擎优化SEO中经常翻译为:探测器。 当然,也可以叫crawler(爬行器),spider(蜘蛛)。个人觉得Spider是最好理解的,你可以想象下你的网站就是一个蜘蛛网,而这个Spider就可以通过这个网络去爬取信息,你可以通过设置Robot.txt来限制Spider的爬行范围。

Robots 三个语法和两个通配符

1,User-agent: 搜索引擎的spider代号 (定义所有搜索引擎),

2,Disallow: 输入数据夹或文件名的路径 (用来定义禁止蜘蛛爬取的页面或目录)

Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

Disallow: /admin (禁止蜘蛛爬取admin目录)

Disallow: /ABC.html (禁止蜘蛛爬去abc.html页面)

Disallow: /help.html (禁止蜘蛛爬去help.html页面)

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

Allow: /admin/ABC.html(允许蜘蛛爬去admin目录中的abc.html页面)

4、通配符 “$”

$ 通配符:匹配URL结尾的字符

5、通配符 “*”

* 通配符:匹配0个或多个任意字符

以上内容为【robot 扫地机器人丨机器人英语为什么叫robot】的相关内容,更多相关内容关注lot物联网。

LOT物联网

iot产品 iot技术 iot应用 iot工程

Powered By LOT物联网  闽ICP备2024036174号-1

联系邮箱:support1012@126.com