我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被 抓取下来了。
通俗来讲网络爬虫软件是做什么的，爬虫就是利用代码编写的程序或脚本，帮助你对互联网海量信息进行过滤、筛选，批量自动抓取网站中你想获取的信息，并对其进行整理排序。
网络爬虫又被成为网络蜘蛛，如果将互联网比喻成一个蜘蛛网，那么这个程序或脚本，就是在网上爬来爬去的蜘蛛。归结为一句话就是进行互联网信息的自动化检索网络爬虫软件是做什么的，其实就是获取数据的一种手段。
如今，我们已经进入到一个大数据的时代，大数据中最重要的数据来源，很多都是依赖爬虫技术实现的。日常使用最多的搜索引擎，其实就是一个非常庞大的爬虫系统。
虽然爬虫能带来大量的数据资源，但是编写爬虫代码还是有一些行业规范是需要遵守的，如果不遵守，严重者可能会触犯法律。
本文到此结束，希望对大家有所帮助！