1、零 基础阶段

从一个编程小白系统入门，开始上手爬虫，爬虫出了必要的一些理论知识以外其实更多的就是实操。那么主流网站数据抓取的能力也就是这个阶段要学习的内容。

爬虫所需的计算机网络/前端/正则//xpath/CSS选择器等基础知识;实现静态网页，动态网页两大主流网页类型数据抓取;模拟登陆、应对反爬、识别验证码等难点详细讲解;多线程，多进程等工作常见应用场景难题讲解。

(1)准备工作

首先就是下载Python，可以下载较新的版本的。其次就是需要准备运行环境，可以选择PyChram;

(2)教程

尽量找到合适自己的教程，尽量是配套课程资料源码都有的那种。但是切记自己要敲一遍代码，再对着源码找到自己的问题。

2、主流框架

爬虫的框架主要是Scrapy实现海量数据抓取，从原生的爬虫到框架能力，这是一个提升的阶段，如果自己可以开发一套分布式爬虫系统，基本上符合python爬虫的岗位了。可以高 效的获取到海量数据，并且可以做外包。

这个阶段的主要学习内容：Scrapy框架知识讲解spider/FormRequest/CrawlSpider等;从单机爬虫到分布式爬虫系统讲解;Scrapy突破反爬虫的限制以及Scrapy原理;Scrapy的更多特性包括sscrapy信号、自定义中间件;已有的海量数据结合Elasticsearch打造搜索引擎。

这里大家不要觉得很难，学会基础的scrapy的使用是很快的，因为很多的demo，但是对于实际爬虫来说不简单，因为会出现robots.txt禁止爬虫的原因。

所以基础爬虫很简单，是反爬虫就没那么容易。

3、实际爬虫

深入APP数据抓取也是提升自己爬虫的能力，应对APP的数据抓取和数据可视化的能力，这就拓展了自己的业务能力，增强了在市场中的竞争力。

所以抓取是一步，可视化是另外一部分。

学习重点：学会主流抓包工具Fiddler/Mitmproxy的应用;4种App数据抓取实战，学练结合深入掌握App爬虫技巧;基于Docker打造多任务抓取系统，提升工作效率;掌握Pyecharts库基础，绘制基本图形，地图等实现数据可视化。

其实爬虫可以应用在很多领域，爬虫也是数据分析市场调研的主要步骤。更进阶的就是机器学习，原始数据的挖掘