首先我们要知道什么是爬虫？爬虫就是一个自动抓取网页数据的程序，是搜索引擎的重要组成部分。通过计算机程序在网络不断通过定制的入口网址去提取网页的链接，并根据这些链接再度抓取提取更深的其它未知的链接，以此下去,最终获取想要的内容。
接下来我们就要思考如何用爬虫抓取网页数据：
1.首先要明确网页的三大特征：
1）每一个网页都有唯一统一资源定位符（URL）来进行定位；
2）网页使用超文本标记语言（HTML）来描述页面信息；
3）网页使用超文本传输协议（HTTP/HTTPS）协议来传输HTML数据。
2.建立爬虫的设计思路：
1）首先确定需要爬取的网页URL地址；
2）通过HTTP/HTTP协议来获取对应的HTML页面；
3）提取HTML页面里有用的数据：
a.如果是需要的数据，就保存起来。
b.如果是页面里的其他URL，那就继续执行第二步。
比如我们想爬去新浪资讯整站数据内容，观察到新浪首页上方有很多分类，例如新闻、财经、科技、体育、娱乐、汽车，每一个分类下又分很多子类，例如新闻下又分为军事、社会、国际。因此，首先要从新浪的首页开始，找到各个大类的URL链接，再在大类下找到小类的URL链接，最后找到每个新闻页面的URL，按需求爬取文本后者，这就是爬取一整个资源站的思路。
3.爬虫的方式
可以做爬虫的语言有很多，如PHP、Java、C/C++、Python等等...
但目前Python凭借其语法优美、代码简洁、开发效率高、支持的模块多，相关的HTTP请求模块和HTML解析模块非常丰富成为了最广泛使用的方式，其有强大的爬虫Scrapy以及成熟高效的scrapy-redis分布式策略。此外，利用python调用其他借口也是非常方便。