1.从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

2.网络爬虫(又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

Python学习路线

国内Python人才缺口部分领域如人工智能、大数据开发人才稀缺，年薪二十万都招不到人。据职友集数据显示，与Python有关的招聘职位共30851条，分别来自47家招聘网站。但是岗位的缺乏并不意味着企业对于其专业知识的掌握就降低了要求，所以只有扎实的Python编程技术才能场上占据一席之地。

通过学习Python课程，可以掌握以下编程和相关技术：

Python语言基础;Python语言;Python全栈工程师前端;

Python全栈工程师后端;Python全栈工程师后端;

Linux基础;Linux运维自动化开发;Python数据分析;

Python大数据;Python机器学习。

1-python基础及

2-数据库与版本控制等

3-前端与移动端开发

4-数据爬虫

5-web服务器开发

6-shell和自动化运维等