kali web渗透使用代理、爬行器和爬虫

背景

Kali Linux是一款专门用于网络安全测试和渗透测试的操作系统，它提供了广泛的工具和功能来进行各种类型的渗透测试。在进行Web渗透测试时，代理、爬行器和爬虫是常用的工具和技术。

1. 代理 (Proxy)：代理可以充当客户端与服务器之间的中间层，转发请求和响应。在Web渗透测试中，代理服务器可用于捕获和分析HTTP、HTTPS等网络流量，以便检测漏洞、查找攻击点和分析应用程序的安全性。常用的代理工具包括Burp Suite、OWASP ZAP等。

2. 爬行器 (Crawler)：爬行器是一种自动化工具，用于遍历和检索网站上的链接和内容。在Web渗透测试中，爬行器可以帮助发现隐藏的页面、敏感文件、目录遍历漏洞等。它们可以用于收集目标网站的结构信息，并帮助识别潜在的漏洞和攻击面。常用的爬行器工具包括Wget、Scrapy等。

3. 爬虫 (Spider)：爬虫是一种自动化程序，用于从Web中收集信息。与爬行器不同，爬虫更注重于收集、提取和处理网页上的结构化数据。在Web渗透测试中，爬虫可以用于收集目标网站的敏感信息、漏洞详情、用户数据等，以帮助评估目标系统的安全性。常用的爬虫工具包括Scrapy、Beautiful Soup等。

3.1使用DirBuster寻找敏感文件和目录

DirBuster是一款安全工具，通过暴力或者表单进行来发现Web服务器中现有文件和目录。我
们将在文中使用它来搜索特定的文件和目录列表。

实验准备：我们要使用-一个文本文件，其中包含我们要用DirBuster来查找的文件列表。创建-一个包含以 下
内容的文本文件dir_ _dictionary.txt

实战演练：

DirBuster是- -款使用Java语言写的应用程序，它可以从Kali的主菜单或在终端使用dirbuster
命令来使用。以下是使用它所需的步骤:
1.找到Applications |03-Web Application Analysis | Web Crawlers & DirectoryBruteforcing |
Dirbuster。(注: 按照这个路径在Kali可能无法找到，但是你可以在终端下输入dirbuster命令打
开这个软件)
2.在DirBuster窗口中，将目标URL设置为靶机htt://192.168.56.11/
3.将线程数设置为20，以获得不错的测试速度。
4.选择基于列表的暴力破解，然后单击“浏览"。
5.在浏览窗口中，选择我们刚刚创建的文件( dir_ _dictionary.txt)
6.取消选中Be Recursive (递归)选项。
7.对于这个配置，我们将其余选项保留为默认值。.
8.点击Start (开始)。
9.如果我们转到结果选项卡，我们将看到DirBuster在我们的字典中找到了至少两个文件夹:
cgi-bin和gtd-php。响应码200表示文件或目录存在并且可以被读取。Phpmyadmin 是一一个基于Web的mysql数据库，查找- 一个带有tis名称的目录告诉我们服务器中有-一个数据库管理系统
(DBMS)，它可能包含有关应用程序及其用户的相关信息。
10.搜索结果生成一份报告(Report)，并将报告文件提交。

3.2ZAP查找敏感文件和目录

OWASPZed Attack Proxy (ZAP)是一种非常通用的web安全测试工具。它具有代理、被动和主.
动漏洞扫描器、模糊器、爬行器、HTTP请求发送器和其他一-些有趣的特性。在这个小节中，我们将使用最近添加的强制浏览，这是在ZAP中DirBuster的实现。

实验准备：

为了使这个程序工作，我们需要使用ZAP作为我们的Web浏览器的代理。
1.从Kali Linux菜单启动OWASP ZAP,然后选择Applications | 03 - Web Application Analysis| owasp-zap或者打开终端并输入owasp-zap命令。
2.接下来，我们将更改ZAP的代理设置。默认情况下， 它使用端口8080,
这是可以的，但是如果我们让ZAP和Burp Suite同时运行，则会干扰Burp Suite等其他代理。在ZAP中，转到Tools|Options|LocalProxies并将端口更改8088                                                          3.现在，在Firefox中，转到主菜单并导航到Preferences | Advanced | Network; 在
Connection中，单击Settings。                                                                                                          4.选择手动代理配置，并将HTTP代理设置为127.0.0.1,将端口设置为8088。选中该选项以对所有协议使用相同的代理，然后单击0K:                                                                                                      5.我们还可以使用FoxyProxy 插件设置多个代理设置，切换他们只需点击一下                          （注:各个工具使用不同代理端口，避免冲突。zap 代理端口为8088，burp 代理端口8080,WebSca代理端口为8008）

实战演练：

现在我们已经配置了浏览器和代理，我们准备扫描服务器的存在的文件夹，使用以下步骤:
1.正确配置代理后，浏览到http://192.168.56.11/WackoPicko/
2.我们将看到ZAP通过显示我们刚访问过的主机的树结构来对此操作做出反应。
3.现在，在ZAP的左.上角面板(“站点”选项卡)中，在http:/192.168.56.11网站内右键单击
WackoPicko文件夹。然后， 在上下文菜单中，导航到Attack (攻击)|强制浏览 目录(和子目录), 
这将进行递归扫描
4.如果在底部面板中的list(列表)菜单没有选择列表文件，选择列表文件后再进行上述扫描。我们
将看到Forced Browse (强制浏览)选项卡上显示的扫描进度及其结果

3.3使用Burp Suite查看和修改请求

Burp Suite套件不仅是一个简单的web代理，它还是一个功能齐全的web应用程序测试
工具包。它有proxy (代理)、request repeater (请求中继)、fuzzer (模糊测试)、request
automation ( 自动化请求)、string encoderand decoder (字符串编解码)、vulnerability
scanners (漏洞扫描，在专业版)、plugins to etend its functionality (插件扩展)和其他非常
有用的功能。
实验准备：                                                                                                         

从应用程序菜单中启动Burp Suite,应用程序| 03 - Web Application Analy | Burp Suite, 
或者在终端输入命令burpsuite来启动。启动后还要设置浏览器使用8080的代理端口。

实战演练：

1.浏览OWASP板块，并练习Upload 2
(http://192.1 68.56.1 1/owaspbricks/upload-2).

2.请求拦截功能在Burp Suite中默认启用，如果没有拦截，转到Burp Suite | proxy |
Intercepton，点击下按钮，拦截打开

3.这里我们有一个文件上传表单，应该只能上传图片。我们来试着上传一个。点击浏览并
选择任何图像文件(PNG、 JPG或BMP) 

4.点击Open后，再点Upload, 验证文件.上传
5.现在我们看看如果我们上传不同类型的文件会发生什么，比如说，一个HTML文件

6.看起来，正如练习描述中提到的，服务器会验证.上传的文件类型。为了绕过这个限制,
我们在BurpSuite中启用请求拦截。

7.使用浏览器对HTML文件再一次提交。.
8.Burp将捕获到这个请求:
9.因为服务器只接收图像，我们可以改变content-type,欺骗服务器这是一个图片:
10.接下来，如果要继续拦截请求，可以单击Foeward 提交请求，如果不这样做，可以禁
用拦截。
11.可以发现上传成功了。如果我们滚动鼠标指针到“here"这里，会看到一个文件链接:
 

总结

在上述实战中，我们介绍了在Kali Linux上使用DirBuster、ZAP和Burp Suite进行敏感文件和目录的查找和修改请求的方法。

使用DirBuster，我们可以通过暴力破解或表单提交来发现Web服务器中的现有文件和目录。我们使用了一个自定义的文件列表来搜索特定的文件和目录。

使用ZAP，我们配置了浏览器和ZAP代理，并使用强制浏览功能来递归扫描目标服务器的目录和子目录。ZAP将显示扫描的进度和结果。

使用Burp Suite，我们配置了浏览器和Burp Suite代理，并使用请求拦截功能来查看和修改上传请求。我们可以通过修改Content-Type欺骗服务器，绕过文件类型的限制。