python爬虫有什么用

python爬虫有什么用？让我们一起了解一下吧！

python爬虫即网络爬虫，网络爬虫是一种程序，主要用于搜索引擎，它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引到数据库中，然后跳到另一个网站。

python爬虫的作用有

1、python爬虫可以按照规则去进行抓取网站上的有价值的信息；

2、可以使用python爬虫去抓取信息并且下载到本地。

拓展爬虫分类

从爬取对象来看，爬虫可以分为通用爬虫和聚焦爬虫两类。

通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为搜索引擎和大型 Web 服务提供商采集数据。

聚焦网络爬虫（Focused Crawler），是指选择性地爬取那些与预先定义好的主题相关页面的网络爬虫。

今天的分享就是这些，希望能帮助到大家！