爬虫就是从网上抓东西的机器人，抓的东西包括网站信息、图片、视频这些，然后存到本地或者传给其他程序处理。比如有人想收集全网商品价格，或者抓取新闻网站的新文章，这时候就需要爬虫帮忙自动跑一圈。它得会看网页结构、能处理反爬机制，把数据整理成能用东西。

为什么得这么回答呢？因为爬虫本质就是模仿人工访问网站，重点在"抓取"和"整理"两个动作。根据前年开发者调查报告，57.8%的Python用户都在用爬虫做项目，而电商和资讯类网站是主要目标。像淘宝每天有上亿商品，手动抓取根本不可能，这时候就需要程序24小时自动跑。另外现在网页越来越复杂，反爬手段也变多了，得用验证码识别、动态加载这些技术才能成功。数据方面，全球每天产生的网页数据量超过15EB，比三年前多了近两倍，所以自动抓取变得特别重要。不过要注意，有些网站有明确禁止爬取的声明，这时候得先看规则再动手。