1、针对这100个URL,按照是否同源进行合并,同源的URL则放入一个目标,并将这些URL作为这个源的起始URL。
2、针对每个目标进行爬取(默认并发5个目标),针对每个目标的起始URL采用浏览器点击抓包(默认每个目标最多开5个浏览器)+HTML解析的方式获取URL,浏览器点击在后台运行,没有界面,这里的浏览器点只是在点击后将发出去的请求URL记录,但并不真正发出去请求。
3、将前两步收集到的URL作为种子,进行传统的爬取,这里的爬取主要采用了webmagic框架,并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配,匹配到黑名单则跳过,下载到的每个页面提取出来的URL会进行子域名白名单匹配,匹配到白名单则会放入爬取队列。
4、针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测,目前还在考虑再加入一些其他的检测工具。
5、此外也提供了目录扫描功能,在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。