【开源】Http(s)采集验证吸附工具(多线程验证)

sq03

线程模块采用老汉式的 CreateIExprSrvObj ，当然，还有其他大神的一些代码。多谢前辈们开源！

祝大家国庆快乐 ~~！

白菜作品，求不喷


这个东西的作用呢，就是采集指定网站扫描过并公开的Http(s)代理,并验证

支持多线程验证Http(s)代理

具体看图和源码吧，小学语文没学好，表达不是很好~~~~~~

支持开放网络API接口 (程序菜单-->开放接口说明)


----------------------------------------OpenAPI----------------------------------------
注意事项：
* 1、请求的URL为：http://ip(域名):端口/api.jk,如 http://127.0.0.1:8888/api.jk
* 2、所有的请求必须携带设置的密匙（Getpwd）
* 3、所有的参数位置都是固定的
* 4、所有的被提交的字符都应为小写


模块：info - 返回程序当前的配置与信息
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&info


模块：getip - 获取列表中的代理服务器
参数量：4
例：http://192.168.0.108:8/api.jk?sq03&getip&指定Lvid&获取数量&指定成功率&返回IP归属地
* 1、指定Lvid = 获取列表中的指定行IP
* 2、获取数量 = 要获取的IP数量 (如果设置了Lvid则此处失效)
* 3、指定成功率 = 筛选成功率,值为 0-100
* 4、返回IP归属地 = 是否返回IP归属地 , 值为 0(不返回),1(返回)


模块：getcount - 获取当前列表的代理服务器总数量
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&getcount


模块：setgetipapi - 设置根据IP获取IP地址的接口
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&setgetipapi&接口数字编号(默认=0)
* 0=淘宝 ; 1=新浪 ; 2=百度 ; 3=IP138 ; 4=聚合数据 ; 5=纯真IP库(本地)


模块：setrefpage - 设置默认采集代理页数
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&setrefpage&页数


模块：settype - 设置上流代理服务器采集接口
参数量：9
例：http://192.168.0.108:8/api.jk?sq03&settype&0&0&0&0&0&0&0&0&0
* 第一个0的位置 = 西刺国内高匿
* 第二个0的位置 = 西刺国外高匿
* 第三个0的位置 = 西刺国内普通
* 第四个0的位置 = 西刺国外普通
* 第五个0的位置 = 66IP代理
* 第六个0的位置 = 快代理国内高匿
* 第七个0的位置 = 快代理国内普通
* 第八个0的位置 = 快代理国外高匿
* 第九个0的位置 = 快代理国外普通


模块：resetport - 设置并重启服务端口
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&resetport&8888


模块：sethttps - 设置Https校验方式与接口
参数量：3
例：http://192.168.0.108:8/api.jk?sq03&sethttps&接口拼音&URL地址&特征字符串
例2：http://192.168.0.108:8/api.jk?sq03&sethttps&baidu&&
* 接口拼音 = weibo (微博)
* 接口拼音 = baidu (百度)
* 接口拼音 = taobao(淘宝)
* 接口拼音 = zdy (自定义URL与特征字符)


模块：sethttp - 设置Http校验方式与接口
参数量：3
例：http://192.168.0.108:8/api.jk?sq03&sethttps&接口拼音&URL地址&特征字符串
例2：http://192.168.0.108:8/api.jk?sq03&sethttps&zdy&http://www.changba.com&changba.com
* 接口拼音 = sina (新浪)
* 接口拼音 = ip138 (百度)
* 接口拼音 = chinaz (中国站长)
* 接口拼音 = zdy (自定义URL与特征字符)


模块：gettesturlinfo - 获取当前http与Https验证的地址和验证字符串
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&gettesturlinfo



模块：settestouttime - 设置验证超时时间
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&settestouttime&毫秒数


模块：settestthread - 设置验证线程
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&settestthread&线程数


模块：setrefreshtime - 设置代理刷新频率
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&setrefreshtime&秒数


模块：settesttimes - 设置重验频率
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&settesttimes&秒数


模块：setsucratio - 设置代理过滤成功率
参数量：3
例：http://192.168.0.108:8/api.jk?sq03&setsucratio&开关&验证次数&成功率
* 开关 = 0(关) 或 1(开)


模块：resethistory - 重置验证历史
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&resethistory


模块：startget - 启动自动更新
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&startget


模块：stopget - 停止自动更新
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&stopget


模块：starttest - 启动自动重验
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&starttest


模块：stoptest - 停止自动重验
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&stoptest


模块：callgetalllv - 重置列表数据到内存块(每个内存块储存200行,共1000块)
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&callgetalllv


模块：getmemnum - 获取已占用内存块数
参数量：0
例：http://192.168.0.108:8/api.jk?sq03&getmemnum


模块：getalllv - 获取内存块中的数据
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&getalllv&指定的内存块数
* 指定的内存块数如果为0则获取所有，其他则按1-1000填写


模块：addip - 手动添加ip
参数量：1
例：http://192.168.0.108:8/api.jk?sq03&addip&IP地址:端口|IP地址:端口|
* 多个IP用 "|" 隔开


‘===========================================================丧心病狂的分割线==




运行界面：




设置界面：





源码：： jkProxy.rar (98.23 KB, 下载次数: 764)

2016-10-1 23:35 上传

点击文件名下载附件     刮一刮

Mradxz

哎 浏览器 打开 开放接口说明 显示 无法显示该网页 但是用 burp 模拟收发包 却正常
我的是 win7 ie9

sq03

Mradxz 发表于 2016-10-4 11:48
哎 浏览器 打开 开放接口说明 显示 无法显示该网页 但是用 burp 模拟收发包 却正常
我的是 win7 ie9

有虚拟网卡 ？或者，开了免费 wifi 啥的 ？ 我开了 360 wifi 也会出现这样的情况，关掉wifi再启动下就好了，你可以自己修改下。

sq03

@acme_pjz 这个很杂，很山寨，很不稳定 。我是之前做采集这块有要用到代理，所以按照自己的需求写了这个东西粗来~  

Mradxz

sq03 发表于 2016-10-4 12:55
有虚拟网卡 ？或者，开了免费 wifi 啥的 ？ 我开了 360 wifi 也会出现这样的情况，关掉wifi再启动下就好了 ...

额 只有一个有线网卡 http报文也收发正常
但是 浏览器显示不出来

bycw2007

vb搞多线程真不稳定

sq03

bycw2007 发表于 2016-10-4 23:24
vb搞多线程真不稳定

也还行，我开了 20 线程在服务器上稳定运行了一个多月了。

gujin162

向楼主学习!向楼主致敬!

rise

http://www.vbforums.com/showthread.php?821637-VB6-Threading-Examples-using-the-vbRichClient5-ThreadHandler

rise

http://www.vbforums.com/showthread.php?796579-VB6-Threading-using-the-small-DirectCOM-dll-HelperLib&p=4991011&viewfull=1#post4991011