淘宝IP地址库采集

发表于 分类于 阅读次数： 本文字数： 1.3k 阅读时长 ≈ 5 分钟

简述

当初选择做这么一个项目，不是为了拷贝一份库自己做服务，也不是为了其他目的，只是单纯的熟悉关于http和mysql方面的知识。
下面言归正传。

淘宝IP地址库简介

此地址库可以根据用户提供的IP地址，快速查询出该IP地址所在的地理信息和地理相关的信息，包括国家、省、市和运营商。用户也可以主动提交信息来纠错。

主要优势表现为：
（1）地域
覆盖度：94.54% 精确到市级
准确度：96.5% 精确到市级
（2）运营商
覆盖度：93.8%
准确度：暂无统计数据
（3）查询速度
10qps
注：阿里同机房内网，实测速度为4qps左右。
（4）接口
符合REST规范，方便扩展；
使用JSON作为数据格式，方便使用；

基础数据结构

下面介绍一下，需要使用到的一些基础数据项，以及来源。
首先，我们来分析一下淘宝IP地址库的返回数据，

{
“code” : 0,                              // 请求成功/失败
"data" : {
“country” : “\u4e2d\u56fd”,     // 国家
"country_id" : “CN”,                // 国家代码
"area" : “\u534e\u5317”,         // 地区
"area_id" : “100000”,               // 地区代码
"region" : “\u5317\u4eac\u5e02”,   // 省（自治区、直辖市、特别行政区）
“region_id” : “110000”,                  // 省代码
"city" : “\u5317\u4eac\u5e02”,       // 市（地区、自治州、盟及国家直辖市所属市辖区和县）
“city_id” : “110000”,                      // 市代码
"county" : “”,                               // 县（市辖区、县级市、旗）
“county_id” : “-1”,                        // 县代码
"isp" : “\u4e2d\u56fd\u79d1\u6280\u7f51”,   // 运营商
"isp_id" : “1000114”,                                    // 运营商代码
"ip" : “210.75.225.254”                                 // ipv4/ipv6
}
}

其中：
国家与国家代码，由联合国统计局统一制定。详见：http://zh.wikipedia.org/wiki/ISO_3166-1
地区、省、市、县以及相应的代码，由中华人民共和国国家统计局统一制定，详见：http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116_501070.html

运营商与运营商代码，由国际电联电信标准化部门统一制定，不过已经很久没有维护，不可用。到目前为止，本人也没有找到一份完整的编码表，希望知晓者告知。暂且就以淘宝IP地址库中编码为准。

国家IP地址段，由互联网IP地址分配中心统一管理，在此附上中文版的地址段信息，详见程默的博客，在此表示感谢：http://ipblock.chacuo.net/

数据库设计

数据项及命名

国家 country
地区 region
省（自治区、直辖市、特别行政区） province
市（地区、自治州、盟及国家直辖市所属市辖区和县） city
县（市辖区、县级市、旗） county
镇（乡、城镇） town
村（村庄） village
运营商 isp
IP ip

IP表

国家代码 2个字节 CHAR(2)
县代码 6位整形 UINT(20)
村代码 12位整形 UINT(40)
运营商代码 7位整形 UINT(24)
IP地址 4个字节 UINT(32)

国家表

二位字母 2个字节 CHAR(2)
三位字母 3个字节 CHAR(3)
三位数字 3位整形 UINT(10)
ISO英文用名 48个字节 CHAR(48)
中文用名 48个字节 CHAR(48)

地区表

代码 1位整形 UINT(4)
名称 4个字节 CHAR(4)

县（市辖区、县级市、旗）表

代码 6位整形 UINT(20)
名称 48个字节 CHAR(48)

村（村庄）表

代码 12位整形 UINT(40)
名称 48个字节 CHAR(48)

运营商表

代码 7位整形 UINT(24)
名称 48个字节 CHAR(48)

数据采集

IP运营商信息来源于各个运营商，IP所属地域信息来源于CNNIC，不过这些信息不太容易拿到完整的。
所以，此处就以淘宝IP地址库为来源。

实现方案

使用 nodejs + python 实现，nodejs主要实现网络交互集中的部分，python主要实现网页抓取。数据库使用常见的 mysql。

国家代码抓取

使用 python 实现从 http://zh.wikipedia.org/wiki/ISO_3166-1 地址抓取代码信息，并保存文本country.txt。当然，也可以直接手动拷贝粘贴到文本中。
使用 nodejs 按行读取上一步抓取到的文本，做处理，使用 node-mysql 写入数据库。

县代码抓取

使用 python 实现从 http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116_501070.html 地址抓取代码信息，并保存文本cncounty.txt。当然，也可以直接手动拷贝粘贴到文本中。
使用 nodejs 按行读取上一步抓取到的文本，做处理，使用 node-mysql 写入数据库。

国内IP段抓取

使用 python 实现从 http://ipblock.chacuo.net/ 地址抓取IP段信息，并保存文本cnip.txt。当然，也可以直接手动拷贝粘贴到文本中。

IP地址信息查询

使用 nodejs 读取 cnip.txt 文本，每次解析10000个IP，使用 http 模块从淘宝IP地址库查询结果，并使用 node-mysql 写入数据库。
由于在 nodejs 中 http 处理和 mysql 处理都是异步操作，所以，增加一个缓冲区，保存http请求结果。笔者使用了经典的生产者消费者模型来处理这个问题。

结果

为了保证请求的稳定，使用阿里云服务器运行此系统。
实际运行时，每秒可以稳定的请求到5个IP信息，中国目前（截止2014年1月）拥有3.3亿IP，完成全部请求大约需要2.98天。
完成全部存储，数据库大小为22.3GB。