代理 IP 筛选,由于网络上获取的代理不尽人意,所以写了个程序对代理进行筛选。
个人感觉代理的时效性,所以没有进行持久化设计。分布式进行持久化设计比较好
go get -u -v github.com/haozibi/ProxyPool
注意: 可以参考 proxy/web.66ip.cn.go
和 proxy/web.test.go
编写专属获取代码获取更多待筛选的代理 IP
package main
import (
"github.com/haozibi/ProxyPool/proxy"
gg "github.com/haozibi/gglog"
)
func main() {
// 设置代理测试网站
err := proxy.SetTestUrl("http://www.weibo.com")
if err != nil {
panic(err)
}
// 开始测试代理
proxy.StartProxy()
for {
gg.Infoln("get ==>", proxy.GetProxy())
}
}
代理 IP 测试暂时只支持 http://
,不支持 https://
只是测试网站,请不要滥用!
- 66ip.cn http://m.66ip.cn/index.html