很多人说爬虫就是像虫子一样在网面上爬来爬去对吧？其实这名字是字面意思加行业习惯形成的。所谓爬虫就是程序自动在网页间走动收集信息，而"虫"这个字既形象又好记，就像蜘蛛侠的蜘蛛网一样，用小字来代表微型程序特别合适。现在网上每天有几十亿网页需要处理，手动操作根本不可能，所以得用这种"虫子"来帮忙。

为什么叫这个名子呢？首先得看发展历程。1990年代搜索引擎刚兴起时，谷歌创始人拉里·佩奇就提到要"给网页做索引"，当时的技术就是让程序像虫子一样在链接间爬行。根据互联网档案馆数据，1998年雅虎网站就有超过2000个网页，但人工维护成本太高，必须用自动化工具。后来术语固定下来，"网络爬虫"这个名称就传开了。现在据统计，全球每天有超过50亿个网页被爬虫访问，相当于每秒有2000个网页被扫描。这种"虫子"式的移动方式成本低效率高，所以沿用至今。最近有个新变化，有些公司把爬虫改名叫"数据采集器"，但老用户还是习惯叫"爬虫"，就像叫"蚊子"一样自然。