# theHarvester -h Usage: theharvester options -d: Domain to search or company name{搜小网站用域名,搜大网站可用公司名} -b: Data source (google,bing,bingapi,pgp,linkedin,google-profiles,people123,jigsaw,all){收集信息的来源} -s: Start in result number X (default 0) -v: Verify host name via dns resolution and search for virtual hosts{通过DNS解析验证主机名 & 搜寻虚拟主机} -f: Save the results into an HTML and XML file{将结果保存为HTML和XML文件} -n: Perform a DNS reverse query on all ranges discovered -c: Perform a DNS brute force for the domain name -t: Perform a DNS TLD expansion discovery -e: Use this DNS server{手动指定DNS服务器,默认的是8.8.8.8和194.168.0.100} -l: Limit the number of results to work with(bing goes from 50 to 50 results, -h: use SHODAN database to query discovered hosts, google 100 to 100, and pgp doesn't use this option){限制结果数量,如果在用了-l选项之后添加-h选项,则是对已发现的主机进行SHODAN数据库查询,需要有自己的shodan的API_key}
Examples: ./theharvester.py -d microsoft.com -l 500 -b google ./theharvester.py -d microsoft.com -b pgp ./theharvester.py -d microsoft -l 200 -b linkedin
请注意:使用有前提,就是你的Google搜索是正常的,所以,自己看着办吧。
实际测试的例子:
# theHarvester -d baidu.com -l 100 -b google # theHarvester -d 163.com -l 100 -b google # theHarvester -d tencent.com -l 100 -b google # theHarvester -d tencent.com -h -b google
***********************************************************
* *
* | |_| |__ ___ / /__ _ _ ____ _____ ___| |_ ___ _ __ *
* | __| ‘_ / _ / /_/ / _` | ‘__ / / _ / __| __/ _ ‘__| *
* | |_| | | | __/ / __ / (_| | | V / __/__ || __/ | *
* __|_| |_|___| / /_/ __,_|_| _/ ___||___/_____|_| *
* *
* TheHarvester Ver. 2.2a *
* Coded by Christian Martorella *
* Edge-Security Research *
* [email protected] *
***********************************************************
……
You need an API key in order to use SHODAN database. You can get one here: http://www.shodanhq.com/
……
[+] Shodan results:
===================
先去http://www.shodanhq.com/注册一个账号,然后你可以看到http://www.shodanhq.com/home 页面的右侧有进行API_key申请的地方,你可以去注册一个然后生成自己的API_key(申请了之后直接就可以在右侧看到你的API_key)
然后,你需要编辑在theHarvester目录的discovery子目录下的shodansearch.py这个文件,在该文件的第7行,填入你自己的API_key,再运行就可以使用集成的shodan这个神器了。
下面是从Freebuf上找来的theHarvester的介绍:
theHarvester是一个社会工程学工具,它通过搜索引擎、PGP服务器以及SHODAN数据库收集用户的email,子域名,主机,雇员名,开放端口和banner信息。
这款工具可以帮助渗透测试工作者在渗透测试的早期阶段对目标进行互联网资料采集,同时也可以帮助人们了解自己的个人信息在网络上是否存在。
v2.2a的版本特性:
- 延时请求
- 所有源搜索
- 虚拟主机确认
- 主动枚举 (DNS enumeration, Reverse lookups, TLD expansion)
- 集成SHODAN数据库
- 可存储为XML和HTML文件
- 基本图表展示
- 源更新
给个直接点的下载地址:https://theharvester.googlecode.com/files/theHarvester-2.2a.tar.gz
才发现昨天Freebuf上有人给出了个修改版的theHarvester上来{社会工程学神器-theHarvester修改版},听作者说是因为Google被墙的原因所以添加百度搜索引擎,修改了直接bing获取不到vhost的问题。PS:因为可以直接Google,所以我就暂时不用了,还是先用原版的吧。
《 “信息收集工具theHarvester v2.2a” 》 有 19 条评论
子域名的艺术
http://www.91ri.org/17001.html
https://blog.sweepatic.com/art-of-subdomain-enumeration/
`
Zone transfer (域传送)(dig @ns.example.com example=.com AXFR)
Google Dorking (site:example.com)
Rapid7 DNS dataset
Subject Alternative Name
Censys.io
Crt.sh
Sublist3r
theHarvester
Smart DNS Brute-Forcer (SDBF)
`
论二级域名收集的各种姿势
https://mp.weixin.qq.com/s/ardCYdZzaSjvSIZiFraWGA
AQUATONE – 子域名枚举、探测工具
http://michenriksen.com/blog/aquatone-tool-for-domain-flyovers/
http://www.freebuf.com/sectool/137806.html
DNSsearch 一个子域名枚举工具(Golang)
https://github.com/evilsocket/dnssearch
domain_analyzer – 一个可以搜寻域名的各类信息并分析安全问题的工具
https://github.com/eldraco/domain_analyzer
DNS域传送漏洞(一、二)
http://www.lijiejie.com/dns-zone-transfer-1/
http://www.lijiejie.com/dns-zone-transfer-2/
挖洞技巧:Web和APP方面的信息收集
https://www.anquanke.com/post/id/96602
`
Web方面的信息收集
0x01 利用搜索引擎收集
0x02 域名信息收集
0x04 巧用各大平台
0x05 测试过程中收集
App方面的信息收集
0x01 利用不同App市场
0x02 本地App域名提取
0x03 手机端的免Root抓包工具
`
Enumeration sub domains(枚举子域名,基于AsyncIO+AioDNS将比传统多进程/多线程/gevent模式快一半以上)
https://github.com/FeeiCN/ESD
参考:
https://github.com/aboul3la/Sublist3r
https://github.com/TheRook/subbrute
https://github.com/lijiejie/subDomainsBrute
lazyrecon – 渗透测试前期情报自动化收集工具
https://github.com/nahamsec/lazyrecon
子域名收集方法一览
http://10degres.net/subdomain-enumeration/
渗透技巧之资产探测与信息收集
https://mp.weixin.qq.com/s/bGAnZ7RASEN8IiyI4E8nog
子域名接管的二次利用(该blog里面还有一些其它和子域名相关的安全思路和介绍)
https://0xpatrik.com/second-order-bugs/
渗透测试前期信息收集技巧
https://bugbountytuts.files.wordpress.com/2018/02/dirty-recon.pdf
发现目标的IP地址(Discovery IP Address of the target)
https://github.com/j3ssie/IPOsint
`
# 如何使用?
./ip-osint.py -t company_name
# 用到的资源
Whois
Ripe
Arin
Hurricane
Censys
securitytrails
`
从URL、目录、文件中收集有用的信息(Hamburglar — collect useful information from urls, directories, and files)
https://github.com/needmorecowbell/Hamburglar
check-list version 1.0.1
https://iaq.pw/archives/117
`
0x00 信息搜集
域名信息
IP信息
资产信息
0x01 资产识别
正向识别
反向识别
0x02 漏洞检测
对0x01的资产进行poc验证
0x03 漏洞利用(后渗透)
对0x02的验证后的漏洞,进行进一步渗透
权限维持
权限提升
0x04 全网扫描和漏洞管理
指纹管理
poc管理
扫描验证
0x05 缓解措施和总结
缓解措施和修复建议
思路总结和经验归纳
`
Stop Using Python for Subdomain Enumeration
https://paper.tuisec.win/detail/e546de1367dc640
https://sec.alexflor.es/post/subdomain_enum/
`
结论:
fernmelder 约用时 3.5 分钟,接下来是 Amass 用时 6 分钟,而 subbrute 耗时远超过前两者。
总的来说,我可能会继续使用 Amass ,因为它还提供了很多其它的工具,尽管 fernmelder 的速度更快,老式的界面也更合我意。
`
https://github.com/TheRook/subbrute
https://github.com/stealth/fernmelder
https://github.com/OWASP/Amass
https://github.com/danielmiessler/SecLists
全球网络公司IP地址、IP地址段、互联网公司AS号码
http://as.chacuo.net/company
http://as.chacuo.net/companyview/s_alibaba
`
以下数据来自国际as系统分配号码,所有公司来自全球互联网排名公司,目前列举的公司都是大型互联网公司,了解这些公司的IP地址段,以及as号,对于网络维护人员有意义的。
以下来自互联网数据分配结构,提供 alibabaIP地址、阿里巴巴IP地址段、alibabaAS自治系统号码、阿里巴巴AS自治系统号码。 数据每天会定时更新,与中心同步,准确率极高!
`
资产收集的一些设想与实践.md
https://x.hacking8.com/post-355.html
`
W12Scan在当初设计的时候就有“资产”的概念,就是将数据库中的数据按照一定规则提取出来,同时根据提取的一些信息展示一些图表啥的。后面又觉得,一些漏洞信息,基础信息都要设计一个字段来存储,太浪费了,所以模仿threakbook引入了标签的概念,一些基础信息Server,Title,CMS的都可以当作为一个标签,漏洞信息也可以当作一个标签,而标签可以由程序自动添加也可以由我们自己添加。
`
https://github.com/w-digital-scanner/w12scan