如何采集需要验证码登录的网站
如何采集需要验证码登录的网站
今天在用迅雷下载资源的时候突然想到一个问题,就是采集需要验证码登录的网站的问题,普通的采集方式都不能获得cookies,所以对于此类网站普通采集方法都无效了。但是迅雷可以获取cookies,于是一个新的采集需要验证码登录的网站的方法出来了。
首先注册登录你所需要采集的网站,比如[url]http://www.kejianxiazai.com/[/url] ,然后用迅雷的批量下载需要采集的页面,批量规则为 [url]http://www.kejianxiazai.com/[/url](*)a1a1.html ,然后把登录后的网页全部都下载下来,放到一个目录里面,然后把它们上传到你的网站的根目录,最后用你的采集系统来采集自己网站的这个目录里面的有规则的html文件即可。
本方法操作起来没有一键采集那么方便就是,欢迎大家拍砖!
搜索更多相关主题的帖子:
采集 验证码 登录 迅雷 课件下载论坛