2020v6自学笔记之信息收集

信息收集

信息收集-CDN 绕过

CDN 的全称是 Content Delivery Network，即内容分发网络。CDN 是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所
需内容，降低网络拥塞，提高用户访问响应速度和命中率。但在安全测试过
程中，若目标存在 CDN 服务，将会影响到后续的安全测试过程。

什么是CDN？
 1.服务器会设置多个CDN节点，用户访问时会就近给，这样就会提高用户访问速率。
 2.因此造成在做安全测试时，目标有可能只是一台CDN节点而并不是目标网站服务器，所以必须找到目标真实ip
-----------------------------------------------------------------------------------------
如何判断目标存在 CDN 服务？
	1.CDN服务需要花钱，好的技术代价就高
	2.CDN服务会与网络提供商按地区进行开放，国外，全国等等	开的越多成本越大
利用多节点技术进行请求返回判断
利用超级ping判断：
	ping目标网站如果ip都一样说明没有cdn
	ping目标网站如果ip都不一样，那么说明有cdn节点		接下来进行绕过
-------------------------------------------------------------------------------
CDN 对于安全测试有那些影响？
 1.CDN本身是为了提高用户访问速率的，但是会对安全测试有困难
 2.CDN节点就是目标网站给运营商的缓存，缓存跟真实的网站区别很大，相反我们对它进行漏洞利用、后门控制    等等，其实针对的就是缓存而不是真实目标，所以说对后续的安全测试有困难
 3.CDN节点不能与服务器同步更新
------------------------------------------------------------------------------------------
目前常见的 CDN 绕过技术有哪些？
======================================================================================
子域名查询
一般网站管理员会将主站设置cdn服务但是子站就不会(成本问题)，因此推算子站就有可能是主站真实ip地址
eg.		主站：www.xiaodi8.com
		子域名：bbs.xiaodi8.com		news.xiaodi8.com
		而子域名的三种可能性：1.同服务器	2.同网段	3.不同服务器
		这里将如果目标是同服务器或同网段时，利用nmap端口扫描子站	查看那些开了80等等网站服务
======================================================================================
邮件服务查询
一些正规企业都会有自己的邮箱服务器，既然是内部访问就不会做cdn
访问网站属于正向请求，你请求网站
而邮件服务属于反向请求，它找你，就不会使用cdn了，就可以推测出真实ip
======================================================================================
国外地址请求
https://get-site-ip.com/			第三方网站
http://tools.ipip.net/cdn.php		免费的国外ping
经济上，一些国内网站为了节约成本，不会将cdn节点放到国外去，cdn节点针对与用户群体
直接用国外地址ping请求该网站
============================================================================
遗留文件，扫描全网
遗留文件：网站本地遗留文件信息泄露phpinfo.php文件
扫描全网：
	因为不可能全世界它都有cdn节点
	以上方法不行时的究极方法，利用网络工具进行全网扫描，再通过返回结果判断真实ip
========================================================================
黑暗引擎搜索特定文件
利用黑暗引擎搜索特定文件进行对比找出真实ip
网站标题
网站ico图标文件
===========================================================
dns 历史记录，以量打量
dns历史记录：查询之前的dns解析记录
一量打量：
	CDN就是流量，当流量用完了就是它的真实ip
	就是我们常说的ddos攻击,不推荐使用，违法
==============================================
CDN 真实 IP 地址获取后绑定指向地址
更改本地 HOSTS 解析指向文件
本地dns解析优先级最高
    +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
	判断真实ip方法
		1.讲人情味，查看备案号看是那个地方的	
		2.技术手段，利用本地hosts文件使用本地dns解析，看对应的ip能否正常服务该网站，可以就是它了
	+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
======================================
获取到ip之后应多验证几次确保准确性
------------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

演示案例

利用子域名请求获取真实 IP
xueersi 子域名上面的小技巧
www.xueersi.com	与 xueersi.com	从内容上访问是一样，但是从域名解析上不一样！！！
cdn往往会设置一个，例如：	网站基本都这样设置
* 		xiaodi8.com		ip		这里就会暴露真实ip		也就是xiaodi8.com的解析就是真实ip
www		xiaodi8.com		ip		如果在这里做cdn
-------------------------------------------------------------------------------
sp910 DNS 历史记录=第三方接口（接口查询）
-------------------------------------------
m.sp910 子域名小技巧/采集/国外请求（同类型访问）
--------------------------------------------
mozhe 邮件源码测试对比第三方查询（地区分析）
通过注册邮箱账号，发送的验证码邮箱，查看邮箱源码，找出真实ip
记得开头的ip是邮箱服务器商的不是目标的，是经过邮箱服务商发过来的,在中间带着网站名字(真实ip)
验证是否是真实ip：
	先使用第三方接口查一下，如果ip对应不上，或出现多个，接着
	查ip所在地址，对应网站所在地址
    +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
	判断真实ip方法
		1.讲人情味，查看备案号看是那个地方的	
		2.技术手段，利用本地hosts文件使用本地dns解析，看对应的ip能否正常服务该网站，可以就是它了
	+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
------------------------------------------------------------------------------------------
v23gg 黑暗引擎（fofa等等 搜指定 hash 文件）
cdn节点上都是缓存文件因此，网站特有的文件比如 ico文件是没有的
通过脚本转换目标网站上ico文件hash值，使用黑暗引擎搜索到的可能就是目标真实ip
再通过验证方式：公司地址或本地hosts文件，确认真实ip\
eg. http.favicon.hash:1659037586
	icon_hash="1659037586"
--------------------------------------------------------------------------------------
扫全网
fuckcdn，w8fuckcdn，zmap 等
#Python2 开发别搞错了执行环境
#安装 mmh3 失败记得先安装下这个Microsoft Visual C++ 14.0
import mmh3
import requests
response = requests.get('http://www.xx.com/favicon.ico')
favicon = response.content.encode('base64')
hash = mmh3.hash(favicon)
print 'http.favicon.hash:'+str(hash)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

涉及资源

搜索引擎

https://www.fofa.info等等

dns历史记录 仅供参考

https://x.threatbook.cn

超级ping 判断是否有cdn

http://ping.chinaz.com

第三方平台获取真实ip 需要多次验证，确保准确性

https://www.get-site-ip.com/

https://asm.ca.com/en/ping.php

全局扫描工具

https://github.com/Tai7sy/fuckcdn

https://github.com/boy-hack/w8fuckcdn

案例

https://mp.weixin.qq.com/s?__biz=MzA5MzQ3MDE1NQ==&mid=2653939118&idx=1&sn=945b81344d9c89431a8c413ff633fc3a&chksm=8b86290abcf1a01cdc00711339884602b5bb474111d3aff2d465182702715087e22c852c158f&token=268417143&lang=zh_CN#rd

---

网站架构,搭建分析,WAF识别

在安全测试中，信息收集是非常重要的一个环节，此环节的信息将影响到后续的成功几率，掌握信息的多少将决定发现漏洞机会大小，换言之决定着是否能完成目标的测试任务。也可以很直接的跟大家说：渗透测试的思路就是从信息收集这里开始，你与大牛的差距也是从这里开始的！

申明：涉及的网络真实目标只做技术分析，不做非法操作！
CMS 识别技术
源码获取技术
架构信息获取
站点搭建分析
	- 搭建程序查找方法：1.网站最下方以及特殊的英文 2.访问rebots.txt文件第一行就是
	- 同一个网站存在多个站点，多套站点搭建程序
	- 多套网站搭建程序获取，漏洞发现几率越大
	- 目标越大，几率越大，测试范围越大
	- 意思就是说，在同一服务器的多个不同搭建程序的站点，只要其中一个出现安全问题，同样也会导致网站	出现安全问题
搭建习惯-目录型站点
------------------------------------------------------------------------------------------
目录型站点：
	- 在目标网站主站下子目录中存在另外一套网站搭建程序
	- 同一个网站存在多个站点，多套站点搭建程序
	- 多套网站搭建程序获取，漏洞发现几率越大
	- eg. 一个网站管理员想把它搭建成新闻类网站又想有论坛，就会将论坛镶嵌在子目录中，造成同一网站两	  套搭建程序，也就说出现了两个测试目标
	- 意思就是说，在同一服务器的多个不同搭建程序的站点，只要其中一个出现安全问题，同样也会导致网站	出现安全问题
-------------------------------------------------------------------------------------------
搭建习惯-端口类站点
端口型站点：
	- 目标网站以端口划分应用功能
	- 对其网站端口扫描，特殊的端口进行访问测试
	- eg. 一个网站80端口是用来做主站点，而8080(也可以是其他端口)做后台管理系统
	- 意思就是说，在同一服务器的多个不同搭建程序的站点，只要其中一个出现安全问题，同样也会导致网站	出现安全问题
搭建习惯-子域名站点
-------------------------------------------------------------------------------------------
子域名型站点分两种情况：
1.同服务器
2.不同服务器(不同服务器又分两种情况)：
	(1)同网段：内网 
	(2)不同网段：收集其他站点信息，多多少少有些联系
*******************************************************************
	- 目标网站以域名形式划分站点	注意子域名网站可能与主站并不是同一服务器
	- 子域名类型网站需要判断是否在同一个服务器
	- 使用ping命令检测目标域名ip，看子站与主站是否同一ip(同一服务器)
	- eg. 一个网站一级域名是主站点，二级域名是另一个站点，只要是同一服务器，搭建程序不一样，就有了	  多个目标测试
-------------------------------------------------------------------------------------------
搭建习惯-类似域名站点
类型域名型站点(分两种情况)：
	1.网站域名后缀不同，该网站有多个域名，都和主站相关内容(在同一服务器)
	2.网站域名前缀不同，该网站名字可能不同，但是是同一个网站（多个站点）
	eg. 
	应用场景：
	- SRC挖掘漏洞时经常用到，大型正规网站可能会有对个不一样后缀域名，可能存在多套程序
	- 非法网站也可能前缀不同，但是程序源码就是一套
----------------------------------------------------------------------------------------
搭建习惯-旁注,C 段站点
旁注：同服务器不同站点
C段：同网段不同服务器不同站点
旁注站点：
	- 一个或多个网站放在一台服务器上面，其中一个是你的目标
C段站点：
	- 一个网站下面存在一个或多个站点，通过扫描网站ip的C段测试
****************************************************************
eg.	
	旁注：同服务器不同站点
	前提条件，多个站点服务器
	192.168.1.100
	www.a.com	在a站点上站点找到漏洞。拿到权限，在对b站点实施对目标检测
	www.b.com	在b站点上未找到漏洞，通过查询技术找到a站点
	.........
	独立站点服务器
	C段：同网段不同服务器不同站点
	192.168.1.100
	www.a.com		在100这台服务器上找到两个站点，但是没找到漏洞
	www.b.com		通过C段扫描1-254。找到内网其他服务站点
	.........
	192.168.1.101
	www.c.com		在101这台服务器上找到两个找到，并找到漏洞
	www.d.com		进行漏洞利用，拿到权限，提权，进行内网渗透，拿到100服务器系统权限
	.........
******************************************************************
旁注站点查询：https://webscan.cc/
-----------------------------------------------------------------------------------------
搭建习惯-搭建软件特征站点
搭建软件特征站点：
	- phpstudy搭建软件
		- 通过抓包分析 server: apache 2.4.1等等	特征分析是phpstudy搭建
		eg. phpstudy自带的myadmin默认密码等等
	- lanmap框架搭建
	- 宝塔	宝塔默认端口8888	可以去掉http头访问
	......
	- 判断网站是否用搭建软件搭建
		1.判断指纹头
		2.常见搭建软件方式	$server: 搭建平台	搜索方式可能判断
         3.nmap扫描版本信息
         4.搜索引擎搜索相关的中间件
		eg. 
	- 搭建软件本地开源可以下载下来自己测试
	- 如果这些软件有安全性问题就会导致网站安全问题
WAF 防护分析
什么是 WAF 应用?
Web应用防护系统（也称为：网站应用级入侵防御系统。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。
WAF分两种：1.软件形式  2.硬件形式 (常用于企业内部)
如何快速识别 WAF？
WAF识别：
	1.手测	可能会找到但是waf类型并不知道	抓包 	x-power...: waf 2.0
	2.软件扫描	wafw00f
识别 WAF 对于安全测试的意义？
在测试网站时如果该网站有waf应用，扫描，漏洞利用等等都不会被拦截，也可以了解原理，有可能绕过
在测试网站前，必须查看该网站是否有waf应用，不然会被waf拦截，拉黑ip访问不了
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102

演示案例

sti.blcu-bbs-目录型站点分析
web.0516jz-8080-端口类站点分析
goodlift-www.bbs-子域名两套 CMS 
jmlsd-cn.com.net 等-各种常用域名后缀 
weipan-qqyewu-查询靶场同服务器站点 
weipan-phpstudy-查询特定软件中间件等 
wafw00f-shodan(X-Powered-By: WAF)-https://147.92.47.12
1
2
3
4
5
6
7

资源链接

网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统

https://www.webscan.cc/

https://github.com/EnableSecurity/wafw00f

---

信息收集-APP 及其他资产

在安全测试中，若 WEB 无法取得进展或无 WEB 的情况下，我们需要借助 APP 或其他资产在进行信息收集，从而开展后续渗透，那么其中的信息收集就尤为重要，这里我们用案例讲解试试如何！

APP 提取及抓包及后续配合
某 APK 一键提取反编译
	漏一个大洞程序提取app内存在的web地址，但是提取的信息并不完整，后续要跟着burpsuite抓包使用
利用 burp 历史抓更多 URL
	使用burpsuite代理抓包，history功能下获取更多web信息，需要注意使用web测试时要将数据包进行替	 换，使网站能够正常通讯
----------------------------------------------------------------------------
某 IP 无 WEB 框架下的第三方测试
各种端口一顿乱扫-思路
各种接口一顿乱扫-思路
接口部分一顿测试-思路
	#使用搜索引擎对其ip直接扫描，找出有内容的网页
	#使用namp扫描目标ip版本信息
-----------------------------------------------------------------------------
群友 WEB 授权测试下的服务测试
目标网站 	xxx.com
#注意分析目标网站是什么类型站点
 目录型站点
 (1)从网站上查找，并没有找到
 #端口站点
 (1)对其目标ip进行端口扫描，先用搜索引擎搜索ip
 (2)查看端口上是否有多个站点
 #子域名站点
 (1)通过在线域名查询工具	搜索域名
 (2)通过子域名查询工具进行爆破
 #旁注或C段站点
 旁注站点
 (1)通过旁注在线查询工具进行扫描
 C段站点
 (1)通过扫描目标ip网络段进行查找
 (2)通过C段在线查询工具进行扫描
 #类似域名
 接口查询
 (1)通过查询网站备案信息得到相关类似域名
 ----------------------------------------------------------------------------------
 从黑暗搜索引擎获取的信息
 从域名扫描收集信息
 (1)通过黑暗搜索引擎搜索域名 eg. xxx.com
 (2)通过搜索的域名，对比ip与域名，发现了一个同网段不同服务器的站点
 (3)推测该站点是一个登录的站点，用户中心
注意一些网站打不开，是因为一些云服务器会做一些流量检测，检测出你在对这个网站进行攻击或有危害的	   时候就会屏蔽你的ip拉黑。可以使用代理检测是否是流量拦截了
*************************************************************************************
 从端口扫描收集信息
 (1)对其目标ip进行端口扫描，先用搜索引擎搜索ip
 (2)查看目标服务器端口上存在的一些第三方服务平台
 (3)再用nmap进行端口版本信息扫描	
 注意搜索引擎的扫描并不全面，所以最后一定要用namp再扫一遍 
 通过收集信息，找到存在的攻击点(可以攻击的层面)，通过测试攻击点的可能性，找到薄弱点，拿下目标
 *************************************************************************************
 从搜索目标网站特定标题，关键字等等收集信息
 (1)百度、谷歌
 (2)谷歌语法
 (3)黑暗搜索引擎搜索特定关键字
 --------------------------------------------------------------------------------------
 收集攻击的层面信息(多个目标性网站)，整理数据，依次分析几个目标ip信息，端口信息，网站信息，cms信息，网站搭建软件信息，第三方服务平台信息，网站框架信息等等
 --------------------------------------------------------------------------------------
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

演示案例

 eg.例如这里目标：xxx.com	
 目前了解这是一个xx网站，而xx网站多用类似域名方式搭建，可以确定目标有多个网站域名信息等
 1.打开目标网站手工测试，看看有没有敏感的信息
 测试目标主站使用了伪静态处理，无法看到文件访问路径
 https://www.xxx.com/ProductCategory/Baby
 ==============================================
 2.使用黑暗搜索引擎域名进行收集信息
 fofa搜索
 #宁愿误报也不能遗漏
 #信息越多，漏洞几率越大
 	域名/网站				ip			   系统	 	端口
 	xx.xxx.com 	xxx.xx.xx	ubuntu	    22
	pos.api.xxx.com   xxx.xx.xx	nginx/1.14.0 (Ubuntu)	这是一个应用接口
		- 通过pos...com这个接口域名ip扫描发现了一个站点
	    - #https://pos.admin.xxx.com		
	https://client.api.xxx.com	xxx.xx.xx	nginx/1.14.0 (Ubuntu)
		- test.xxx.net			类似域名
	https://trace.xxx.cn	xxx.xx.xx		8888	可能是宝塔
	https://mo.xxx.com/#/login xxx.xx.xx	nginx/1.14.0 (Ubuntu)	21
		- http://xxx.xx.xx/#/	得乐云
		- https://r.xxx.cn/#/	类似域名站点
		- https://xxx.xxx.com/#/	
	apimain.xxx.com	xxx.xx.xx	3389
	www.xxx.com	xxx.xx.xx	nginx/1.14.0 (Ubuntu)	22
		- https://xxx.xx.xx	发现页面重定向
		- xxx.xx.xx:81 		页面重定向
		- xxx.xx.xx:82
		- http://xxx.xx.xx:82/	端口型站点	设置了重定向
		- https://xxx.xx.xx:8083 服务正在运行
		- mt.xxx.net			又发现了个域名
		- https://m.xxx.com	重定向
	wsl.xxx.com	xxx.xx.xx	nginx		22	443
	dly.xxx.com	xxx.xx.xx
		- xxx.com			wordpress
		- www.xxx.net	 DedeCMS
			- http://www.xxx.net/plus/search.php?kwtype=0&keyword=%27
		- xxx.xx.com		403禁止访问
		- www.xxx.com	ThinkPHP V5.0.24 { 十年磨一剑-为API开发设计的高性能框架 }
		- https://m.xxx.cn/ EmpireCMS
	files.xxx.com	xxx.xx.xx
		- xxx-static.xxx.com	页面空白
		- xxx-static.xxx.com	页面空白	直接开扫
		- https://static.xxx.com	目录信息泄露
	=======================================================================
	zoomeye搜索
	https://xxx.xx.xx/#/login	xxx.xx.xx	443		得乐后台登录
	https://xxx.xx.xx/#/login
	xxx.xx.xx
	xxx.xx.xx:82
	www.xxx.com
	 	- http://www.xxx.com/about.asp?ld=36%27	D盾拦截	注入
	 xxx.com
	 https://dly.xxx.com/#/login
	 =======================================================================
	 百度搜索
	 https://www.maigoo.com/brand/71969.html
	 http://xxx.cn/
	 谷歌搜索
	 http://www.xxx.xyz/
	 http://www.xxx.com/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60

涉及资源

网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统

站长工具 - 站长之家 (chinaz.com)

首页 - 网络空间测绘,网络安全,漏洞分析,动态测绘,钟馗之眼,时空测绘,赛博测绘 - ZoomEye(“钟馗之眼”)网络空间搜索引擎

Download the Free Nmap Security Scanner for Linux/Mac/Windows

---

信息收集-资产监控拓展

Github 监控
CVE：漏洞序列
RCE：远程命令执行漏洞
ctcms：资产信息，网站源码
------------------------
便于收集整理最新 exp 或 poc
github监控系统		github-cve
服务器使用	screen	作业管理命令	创建多个窗口进行后台运行
screen -S 作业名		//创建作业系统
screen -ls 			  //查看作业
screen -r 作业id		//连接作业
--------------------------------------------------------
便于发现相关测试目标的资产
ctcms：一些网站搭建源码(收费平台)，可以监控github获取
--------------------------------------------------------
各种子域名查询
#DNS,备案,证书
#全球节点请求 cdn
枚举爆破或解析子域名对应
便于发现管理员相关的注册信息

黑暗引擎相关搜索
fofa，shodan，zoomeye

微信公众号接口获取
#内部群内部应用内部接口
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

演示案例

• 监控最新的 EXP 发布及其他

#注意格式
# Title: wechat push CVE-2020 
# Date: 2020-5-9 
# Exploit Author: weixiao9188 
# Version: 4.0 
# Tested on: Linux,windows 
# cd /root/sh/git/ && nohup python3 /root/sh/git/git.py & 
# coding:UTF-8 
import requests 
import json 
import time 
import os 
import pandas as pd 
time_sleep = 60 #每隔 20 秒爬取一次 
while(True): 
    headers1 = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.81 Safari/537.36 Edg/104.0.1293.47" }
    #判断文件是否存在
    datas = []
    response1=None
    response2=None
    if os.path.exists("olddata.csv"):
        #如果文件存在则每次爬取 10 个
        df = pd.read_csv("olddata.csv", header=None)
        datas = df.where(df.notnull(),None).values.tolist()#将提取出来的数据中的 nan 转化为 None
        requests.packages.urllib3.disable_warnings()
        response1=requests.get(url="https://api.github.com/search/repositoriesq=CVE-2022&sort=updated&per_page=10",headers=headers1,verify=False)
        response2=requests.get(url="https://api.github.com/search/repositoriesq=ctcms&ssort=updated&per_page=10",headers=headers1,verify=False)



    else:
        #不存在爬取全部
        datas = []
        requests.packages.urllib3.disable_warnings()
        response1 = requests.get(url="https://api.github.com/search/repositories?q=CVE-2022&sort=updated&order=desc",headers=headers1,verify=False)
        response2 = requests.get(url="https://api.github.com/search/repositories?q=ctcms&ssort=updated&order=desc",headers=headers1,verify=False)
 
    data1 = json.loads(response1.text)
    data2 = json.loads(response2.text)
    for j in [data1["items"],data2["items"]]:
        for i in j:
            s = {"name":i['name'],"html":i['html_url'],"description":i['description']}
            s1 =[i['name'],i['html_url'],i['description']]
            if s1 not in datas:
                #print(s1)
                #print(datas)
                params = {
                "text":s["name"],
                "desp":"链接："+str(s["html"])+"\n简介"+str(s["description"])
                }
                print("当前推送为："+str(s)+"\n")
                #print(params)
                requests.packages.urllib3.disable_warnings()
                requests.get("https://sctapi.ftqq.com/SCT165063TDaJ51QgbmXXvBYFo6Goy4GPQ.send",params=params,headers=headers1,timeout=10,verify=False)
                time.sleep(3)#以防推送太多
                print("推送完成\n")
                datas.append(s1)
            else:
                pass
                print("数据已经存在")
pd.DataFrame(datas).to_csv("olddata.csv",header=None,index=None)
time.sleep(time_sleep)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62

• 黑暗引擎实现域名端口信息收集

  1.实现快速搜索该网站相关子域信息
  2.实现快速搜索该网站端口开放信息，并不全面
  3.实现快速搜索该网站资产信息
  4.当出现其他国家网站时学会分别
  5.使用左栏筛选功能进行筛选
  1
  2
  3
  4
  5

• 全自动域名收集枚举优秀脚本使用

  teemo(提莫)
  域名收集及枚举工具
  提莫(teemo)是个侦察兵，域名的收集如同渗透和漏洞挖掘的侦察，故命名为提莫（Teemo）！
  #注意使用该程序使，最大化收集信息需要：
  1.配置搜索引擎api接口key值	在config.py中配置
  2.有一些信息需要翻墙才能查询	 挂个代理
  1
  2
  3
  4
  5
  6

• SRC目标中的信息收集全覆盖

  补天SRC平台
  注意漏洞范围：如若没有规定说不接受子域名，就是接受子域名网站上漏洞	*.xxx.com等等都是接受
  1
  2

• 利用其他第三方接口获取更多信息

  telegram通讯软件		信息泄露
  cdn检测反查出真实ip	http://tools.ipip.net/cdn.php
  通过dns解析找到最早之前ip解析记录	https://securitytrails.com/domain/www.baidu.com/history/a
  查cdn和子域名接口	https://dnsdb.io/zh-cn/
  通过http证书查子域名相关信息	https://crt.sh/
  1
  2
  3
  4
  5

  涉及资源

  cdn检测

  http://tools.ipip.net/cdn.php

  https://securitytrails.com/domain/www.baidu.com/history/a

  子域名查找

  https://dnsdb.io/zh-cn/

  https://crt.sh

  bit4woo/teemo: A Domain Name & Email Address Collection Tool (github.com)