什么是爬虫:

爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页,并把数据抓取下来,然后使用一定规则提取有价值的数据

通用爬虫和聚焦爬虫:

通用爬虫:是搜索引擎抓取系统的重要组成部分(百度,谷歌)。主要将互联网上的网页全部下载到本地,形成一个镜像

聚焦爬虫:面向特定需求的一种网络爬虫程序,在进行网页抓取的时候会对内容进行筛选和处理,保证抓取与需求相关的网页信息