【安全工具】Httpx信息收集

---

前言

1. HTTPX 是一个功能强大的 HTTP 客户端工具，用于执行各种网络任务，例如发现 Web 应用程序漏洞、探测域名和端口等。它使用了 retryablehttp 库来运行多个探测器，旨在通过增加线程数来提高结果的可靠性。
2. HTTPX 支持多种 HTTP 请求方法，可以使用自定义标头和数据，并且可以设置请求超时时间、重试次数和批处理大小等选项。此外，HTTPX 还支持代理、SSL 和身份验证，并且可以查找和打印链接、横幅和技术指纹等信息。
3. HTTPX 还内置了 Wappalyzer 技术检测集成，可以自动识别网站所使用的 CMS 和 Web 服务器，并且可以保存输出为 JSON 格式，方便进一步处理。HTTPX 还有许多其他有用的参数和选项，可以帮助您更好地执行各种网络任务。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、下载

Gethub：https://github.com/projectdiscovery/httpx
我们直接用编译好的exe文件：

二、使用步骤

1.帮助文档

httpx.exe -h

标志：
输入：
-l，-list string      包含要处理的主机列表的输入文件
-rr，-request string  包含原始请求的文件
-u，-target string[]  要探测的目标主机

探测器：
-sc，-status-code     显示响应的状态码
-cl，-content-length  显示响应的内容长度
-ct，-content-type    显示响应的内容类型
-location             显示重定向位置
-favicon              显示 /favicon.ico 文件的 mmh3 哈希值
-hash string          显示响应体散列值（支持的算法：md5，mmh3，simhash，sha1，sha256，sha512）
-jarm                 显示 jarm 指纹哈希值
-rt，-response-time   显示响应时间
-lc，-line-count      显示响应体行数
-wc，-word-count      显示响应体单词数
-title                显示页面标题
-server, -web-server  显示服务器名称
-td, -tech-detect     基于 wappalyzer 数据集显示正在使用的技术
-method               显示 HTTP 请求方法
-websocket            显示使用 websocket 的服务器
-ip                   显示主机 IP
-cname                显示主机 CNAME
-asn                  显示主机 ASN 信息
-cdn                  显示正在使用的 CDN
-probe                显示探针状态

无头：
-ss，-screenshot       启用使用 headless 浏览器保存页面截图
-system-chrome         启用使用本地安装的 Chrome 进行截屏

匹配器：
-mc，-match-code string            匹配具有指定状态码的响应（例如：-mc 200,302）
-ml，-match-length string          匹配具有指定内容长度的响应（例如：-ml 100,102）
-mlc，-match-line-count string     匹配具有指定行数的响应体（例如：-mlc 423,532）
-mwc，-match-word-count string     匹配具有指定单词数的响应体（例如：-mwc 43,55）
-mfc，-match-favicon string[]      匹配具有指定 favicon 哈希值的响应（例如：-mfc 1494302000）
-ms，-match-string string          匹配具有指定字符串的响应（例如：-ms admin）
-mr，-match-regex string           匹配具有指定正则表达式的响应（例如：-mr admin）
-mcdn，-match-cdn string[]         匹配使用指定 CDN 提供商的主机（例如：cloudfront、fastly、google、leaseweb）
-mrt，-match-response-time string  匹配指定响应时间的响应，单位为秒（例如：-mrt '< 1'）
-mdc，-match-condition string      使用 DSL 表达式条件匹配响应

提取器：
-er，-extract-regex string[]   显示与匹配的正则表达式相匹配的响应内容
-ep，-extract-preset string[]  显示由预定义的正则表达式（url、ipv4、mail）匹配的响应内容
-fc，-filter-code string     过滤具有指定状态码的响应（例如：-fc 403,401）
-fl，-filter-length string          过滤具有指定内容长度的响应（例如：-fl 23,33）
-flc，-filter-line-count string     过滤响应体具有指定行数的响应（例如：-flc 423,532）
-fw，-filter-word string[]          过滤包含指定单词的响应体（例如：-fw admin,password）
-fcdn，-filter-cdn string[]         过滤使用指定 CDN 提供商的主机（例如：cloudfront、fastly、google、leaseweb）
-frt，-filter-response-time string  过滤指定响应时间的响应，单位为秒（例如：-frt '>2'）
-fdc，-filter-condition string      使用 DSL 表达式条件过滤响应。

速率限制：
-t，-threads int              要使用的线程数 (默认值为 50)
-rl，-rate-limit int          每秒发送的最大请求数 (默认值为 150)
-rlm，-rate-limit-minute int  每分钟发送的最大请求数

杂项：
-pa，-probe-all-ips        探测与同一主机关联的所有 IP
-p，-ports string[]        要探测的端口 (nmap 语法: 如 http:1,2-10,11,https:80)
-path string               要探测的路径或路径列表（逗号分隔的文件）
-tls-probe                 在提取的 TLS 域名上发送 http 探针 (dns_name)
-csp-probe                 在提取的 CSP 域上发送 http 探针
-tls-grab                  执行 TLS(SSL) 数据抓取
-pipeline                  探测和显示支持 HTTP1.1 管道的服务器
-http2                     探测和显示支持 HTTP2 的服务器
-vhost                     探测并显示支持 VHOST 的服务器
-ldv，-list-dsl-variables  列出支持 dsl 匹配器/过滤器的 json 输出字段键名

更新：
-up，-update                 将 httpx 更新到最新版本
-duc，-disable-update-check  禁用 httpx 的自动更新检查

输出：
-o，-output string                  要写入输出结果的文件
-sr，-store-response                将 http 响应存储到输出目录
-srd，-store-response-dir string    将 http 响应存储到自定义目录
-csv                                以 csv 格式存储输出
-csvo，-csv-output-encoding string  定义输出编码
-json                               以 JSONL(ines) 格式存储输出
-irr，-include-response             在 JSON 输出中包含 http 请求/响应 (-json only)
-irrb，-include-response-base64     在 JSON 输出中包含 base64 编码的 http 请求/响应 (-json only)
-include-chain                      在 JSON 输出中包含重定向 http 链 (-json only)
-store-chain                        在响应中包含 http 重定向链 (-sr only)

配置：
-r，-resolvers string[]       自定义解析器列表 (文件或逗号分隔)
-allow string[]               允许处理的 IP/CIDR 列表 (文件或逗号分隔)
-deny string[]                拒绝处理的 IP/CIDR 列表 (文件或逗号分隔)
-sni, -sni-name string        自定义 TLS SNI 名称
-random-agent                 启用随机 User-Agent 使用 (默认为 true)
-H, -header string[]          自定义要发送的 http 请求头
-http-proxy, -proxy string    要使用的 http 代理 (例如 http://127.0.0.1:8080)
-unsafe                       发送跳过 golang 规范化的原始请求
-resume                       使用 resume.cfg 恢复扫描
-fr, -follow-redirects        跟踪 http 重定向
-maxr, -max-redirects int     每个主机要跟踪的最大重定向数量 (默认值为 10)
-fhr, -follow-host-redirects  在同一主机上跟踪重定向
-vhost-input                  获取一个 vhosts 列表作为输入
-x string                     要探测的请求方法，使用 'all' 探测所有 HTTP 方法
-body string                  在 http 请求中包含 post body
-s, -stream                   流模式 - 开始详细说明输入目标而不进行排序
-sd, -skip-dedupe             禁用去重输入项（仅与流模式一起使用）
-ldp, -leave-default-ports    在 host header 中保留默认的 http/https 端口 (例如 http://host:80 - https://host:443
-ztls                         使用 ztls 库，并自动回退到 tls13 的标准库
-no-decode                    避免解码响应体

调试：
-health-check, -hc        运行诊断检查
-debug                    在 cli 中显示请求/响应内容
-debug-req                在 cli 中显示请求内容
-debug-resp               在 cli 中显示响应内容
-version                  显示 httpx 版本
-stats                    显示扫描统计信息
-profile-mem string       可选的 httpx 内存配置文件转储文件
-silent                   静默模式
-v, -verbose              详细模式
-si, -stats-interval int  在显示统计更新之间等待的秒数 (默认值为 5)
-nc, -no-color            禁用 cli 输出中的颜色

优化：
-nf, -no-fallback                  显示探测的协议 (HTTPS 和 HTTP)
-nfs, -no-fallback-scheme          使用输入中指定的协议方案进行探测
-maxhr, -max-host-error int        跳过剩余路径/ s 前每个主机的最大错误计数 (默认值为 30)
-ec, -exclude-cdn                  跳过 CDNs 的完整端口扫描 (仅检查 80、443)
-retries int                       重试次数
-timeout int                       超时时间，单位为秒 (默认值为 10)
-delay duration                    每个 http 请求之间的持续时间 (例如:200ms，1s) (默认值为-1ns)
-rsts, -response-size-to-save int  要保存的最大响应体字节数 (默认值为 2147483647)
-rstr, -response-size-to-read int  要读取的最大响应体字节数 (默认值为 2147483647)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135

2.常用命令

探测网址的基本信息：.\httpx.exe -u https://www.example.com
1

从文件中扫描多个网址：.\httpx.exe -l targets.txt
1

使用自定义请求头进行扫描：.\httpx.exe -u https://www.example.com -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
1

禁止重定向并设置超时：./httpx -u http://sdfadsf.com  -timeout 10
1

显示 Web 服务器和 CDN 信息：.\httpx.exe -u https://baidu.com -cdn -web-server
1

根据指定的状态码过滤响应：.\httpx.exe -l .\url.txt -fc 403,404
1

启用随机 User-Agent 并避免解码响应体：httpx -url https://www.example.com -random-agent -no-decode
1

常用组合命令：

批量探测
.\httpx.exe -l .\url.txt -cdn -web-server -fc 404,500 -o output.txt -random-agent -timeout 10 
1
2

批量二：探测成功的url输出
.\httpx.exe -l .\url.txt -cdn  -fc 404,500,400,403 -o output.txt -random-agent -timeout 10 
1
2

httpx可以使用代理进行扫描这里不在演示

---

总结

1. 准备目标列表：在使用 Httpx 工具之前，请确保您有一个包含所有目标网址的列表或文件。这可以是手动创建的文本文件或从其他源生成的文本文件。
   选择扫描模式：Httpx 提供了两种扫描模式：stream 和 standard。其中 stream 模式可用于未排序的大型目标列表。使用 standard 模式进行有序扫描以获得更好的结果。
2. 启用多线程：为了加快扫描速度并节省时间，可以使用 -threads 参数设置要使用的线程数。
3. 过滤响应结果：使用 -fc、-fs 和 -fe 参数，可以根据状态码、字符串和正则表达式来过滤响应结果。
4. 探测 CDN 和 Web 服务器：使用 -cdn 和 -web-server 参数进行探测。
5. 使用自定义请求头：使用 -H 参数添加自定义请求头进行扫描。
6. 禁止跟随重定向：使用 -no-follow-redirects 来禁止跟随重定向。
7. 使用代理：在某些情况下，您可能需要使用代理来扫描目标网址。使用 -proxy 参数指定要使用的代理地址。
8. 启用随机 User-Agent：使用 -random-agent 命令启用随机 User-Agent 来避免被识别并提高扫描成功率。
9. 尝试避免解码响应体：使用 -no-decode 命令可以避免对响应体进行解码，并快速地扫描目标网站。