0x00 前言

网络爬虫（Web crawler），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站，以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容，以便程序做下一步的处理。

在WEB2.0时代，动态网页盛行起来。那么爬虫就应该能在页面内爬到这些有javascript生成的链接。当然动态解析页面只是爬虫的一个技术点。下面，我将按照如下顺序分享下面的这些内容的一些个人经验（编程语言为Python）。

1，爬虫架构。

2，页面下载与解析。

3，URL去重方法。

4，URL相似性算法。

5，并发操作。

6，数据存储

7，动态爬虫源码分享。

8，参考文章

0x01 爬虫架构

谈到爬虫架构，不得不提的是Scrapy的爬虫架构。Scrapy，是Python开发的一个快速,高层次的爬虫框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。

上图是Scrapy的架构图，绿线是数据流向，首先从初始URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，需要保存的数据则会被送到Item Pipeline，那是对数据进行后期处理。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。因此在开发爬虫的时候，最好也先规划好各种模块。我的做法是单独规划下载模块，爬行模块，调度模块，数据存储模块。

0x02 页面下载与解析

页面下载

页面下载分为静态和动态两种下载方式。

传统爬虫利用的是静态下载方式，静态下载的优势是下载过程快，但是页面只是一个枯燥的html，因此页面链接分析中获取的只是< a >标签的href属性或者高手可以自己分析js，form之类的标签捕获一些链接。在python中可以利用urllib2模块或requests模块实现功能。动态爬虫在web2.0时代则有特殊的优势，由于网页会使用javascript处理，网页内容通过Ajax异步获取。所以，动态爬虫需要分析经过javascript处理和ajax获取内容后的页面。目前简单的解决方法是通过基于webkit的模块直接处理。PYQT4、Splinter和Selenium这三个模块都可以达到目的。对于爬虫而言，浏览器界面是不需要的，因此使用一个headless browser是非常划算的，HtmlUnit和phantomjs都是可以使用的headless browser。

以上这段代码是访问新浪网主站。通过对比静态抓取页面和动态抓取页面的长度和对比静态抓取页面和动态抓取页面内抓取的链接个数。

在静态抓取中，页面的长度是563838，页面内抓取的链接数量只有166个。而在动态抓取中，页面的长度增长到了695991，而链接数达到了1422，有了近10倍的提升。

抓链接表达式

正则：re.compile("href=\"([^\"]*)\"")

Xpath：xpath('//*[@href]')

页面解析

页面解析是实现抓取页面内链接和抓取特定数据的模块，页面解析主要是对字符串的处理，而html是一种特殊的字符串，在Python中re、beautifulsoup、HTMLParser、lxml等模块都可以解决问题。对于链接，主要抓取a标签下的href属性，还有其他一些标签的src属性。

0x03 URL去重

URL去重是爬虫运行中一项关键的步骤，由于运行中的爬虫主要阻塞在网络交互中，因此避免重复的网络交互至关重要。爬虫一般会将待抓取的URL放在一个队列中，从抓取后的网页中提取到新的URL，在他们被放入队列之前，首先要确定这些新的URL没有被抓取过，如果之前已经抓取过了，就不再放入队列了。

Hash表

利用hash表做去重操作一般是最容易想到的方法，因为hash表查询的时间复杂度是O(1)，而且在hash表足够大的情况下，hash冲突的概率就变得很小，因此URL是否重复的判断准确性就非常高。利用hash表去重的这个做法是一个比较简单的解决方法。但是普通hash表也有明显的缺陷，在考虑内存的情况下，使用一张大的hash表是不妥的。Python中可以使用字典这一数据结构。

URL压缩

如果hash表中，当每个节点储存的是一个str形式的具体URL，是非常占用内存的，如果把这个URL进行压缩成一个int型变量，内存占用程度上便有了3倍以上的缩小。因此可以利用Python的hashlib模块来进行URL压缩。思路：把hash表的节点的数据结构设置为集合，集合内储存压缩后的URL。

Bloom Filter

Bloom Filter是通过极少的错误换取了存储空间的极大节省。Bloom Filter 是通过一组k 个定义在n 个输入key 上的Hash Function，将上述n 个key 映射到m 位上的数据容器。

上图很清楚的说明了Bloom Filter的优势，在可控的容器长度内，所有hash函数对同一个元素计算的hash值都为1时，就判断这个元素存在。 Python中hashlib，自带多种hash函数，有MD5，sha1，sha224，sha256，sha384，sha512。代码中还可以进行加盐处理，还是很方便的。 Bloom Filter也会产生冲突的情况，具体内容查看文章结尾的参考文章。

在Python编程过程中，可以使用jaybaird提供的BloomFilter接口，或者自己造轮子。

小细节

有个小细节，在建立hash表的时候选择容器很重要。hash表占用空间太大是个很不爽的问题，因此针对爬虫去重，下列方法可以解决一些问题。