做爬虫时，遇到访问太频繁IP被封是难以避免的，我们经常会碰到网站针对IP地址封锁的反爬虫策略。而本地单个IP是不足以进行大规模爬取，并且自己并不想购买付费代理，那么，构建一个IP代理池是非常有必要的。但只要有大量可用的代理IP资源，问题自然迎刃而解。

但不得不说，确实有一些很好的代理ip。在github上，这是一项非常困难的工作。大多数，你完成后，发现爬虫爬不动，免费代理无法使用ip，大部分ip故障太快!可以看出免费IP质量参差不齐，不仅资源少、速度慢，而且失效快，满足不了快速密集抓取的需求。那我们该怎么搭建代理ip服务器呢?

我们该怎么搭建代理ip服务器呢?

1、免费得到ip代理

首先，最简单的方法是根据服务器打开的端口进行判断。假如服务器的端口如80.3389.3306.22，那么表明服务器还在运行其它服务，并且挂断的可能性不大。若为政府或学校服务器，则比较稳定。可以肯定地是打开其他端口的。

互联数据向众多互联网知名企业提供服务代理服务器，对提高爬虫的抓取效率提供帮助，支持API批量使用，支持多线程高并发使用。动静态ip服务300+城市，每天更新免费ip，登录官方免费送5000ip，手机ip，游戏ip，电脑ip，各种ip都有等服务，支持免费测试：http://www.hkt4.com/cloud/hk.html

2、直接通过调用API接口获取IP使用

从代理IP服务商那里购买IP池，登录后台管理，可以生成API接口，将API接口对接到程序代码中，通过调用API接口获取代理IP来使用。不过API接口一般都有最小调用频率，比如10秒一次，1秒1次，1秒10次等，在调用API接口的时候，需要遵守这个规则。

3、建立本地IP池，无间隔获取IP使用

1)首先获取代理平台提供的代理服务器资源，建议购买短效代理，购买后在后台获取API地址并设置IP白名单等参数。

2)将获取到的代理服务器写入squid配置文件，解析网站提供的代理服务器，按照一定规则写入/etc/squid/squid.conf

3)重新配置squid，写入配置文件之后重新加载最新的文件，不会造成中断

4)自动更新，重复1-3，由于网站提供的代理存活时间只有1-30分钟(由套餐决定)，所以需要每隔一段时间重新获取一批新IP。

因为直接从代理IP服务商的API接口获取IP有最小调用频率，而有些程序已经开发好了，需要无间隔获取IP。那么可以建立本地IP池，从代理IP服务商的API接口有间隔地获取IP，然后经过验证放入本地IP池，然后通过本地IP池的API接口，就可以实现无间隔获取代理IP进行工作了。

4、检查本地IP池里的有效代理IP的数量

当低于某个数值时，发出警告，要及时增加IP库存;检查本地IP池有哪些地区的代理IP，若没有则需要进行增加。可根据自身业务需求设置检查条件。

将本地IP池里的代理IP提取出来使用，可根据业务需求提取符合要求的代理IP来使用，比如1秒提取多少个IP，提取某个地方的代理IP，提取剩余存活时间多少秒的代理IP等。

5、使用动态转发，自动切换代理IP

代理ip的存活率越高，越稳定。你得先抓到再计算。有人嫌维护代理IP池比较麻烦，于是选择使用动态转发，设置固定的IP和端口为代理服务器，每次请求可以随机切换IP。