聚焦网络爬虫又称主题网络爬虫。（)

关于网络爬虫协议文件robots.txt，说法错误的是:

A一个网站可以放多个不同robots文件

Brobots文件不可以用xml格式命名

Cdisallow用来描述不希望被访问到的一个URL

Drobots文件可以放在任何位置

A.Web服务器/插件防护

B.HTTP访问控制

C.爬虫防护

D.非法下载限制

A.位置分析能力

B.个人身份识别能力

C.网络爬虫技术抓取公开能力

D.市场竞争支撑

关于网络爬虫协议文件robots.txt，说法正确的是：

Arobots.txt是搜索引擎中访问网站的时候要查看的第一个文件

Brobots.txt文件告诉蜘蛛程序在服务器上哪些文件不要被收录

Crobots文件不可以用xml格式命名

D一个网站可以放多个不同robots文件

A.系统日志采集

B.互联网数据采集(如通过网络爬虫或公开API来获取)

C.App移动端数据采集

D.对人像、车辆、街景等进行现场拍摄

A.是指对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫

B.能够在一定程度上保证所爬行的页面是尽可能新的页面

C.只会在需要的时候爬行新产生或发生更新的页面

D.数据下载量和时间及空间上的耗费都较大