使用Python写出一个GUI可视化爬虫工具总结分享_带有gui的爬虫工具有哪些

软件介绍

软件运行时直接生成txt和csv两种文件。可选

操作流程：

手动输入关键词

页数

导入文件

执行

新建文件并且插入数据

先看一下软件成品吧（截至文章发布前）

样式可以用qss来编写

这款桌面端应用目前的功能包括但不限于：分词循环爬取搜索、导入文件爬取、软件设置、在线更新、任务/错误捕获输出、当前进度、自动更新代理等

使用技术及三方库

语言使用的是 Python39 用到的库包括但不限于 PyQt5、requests、BeautifulSoup、os、time、urllib、tldextract、random、psutil、chardet。 我就捡几个重点说说吧(仅限于个人理解)。

PyQt5： 这个库就是标题所写 GUI（Graphics User Interface），中文名称为图形用户界面，是计算机与其使用者之间的对话接口。我之前用的是 tk 界面实在是！太丑了！

psutil: 专门用来获取操作系统以及硬件相关的信息，比如：CPU、磁盘、网络、内存等等

requests: 如你所见，就是用来请求的

代码结构

序主要分为两个类：Spider 和 MainWindow。

Spider 类主要实现了以下几个方法：

• __init__方法：初始化Spider类的属性，包括关键词、页数、文件名、任务输出、进度输入和主窗口等。然后调用search_mobile_web方法开始爬取。

• run_getiCookie方法：用于获取cookie。

• convert_params方法：将参数转换为列表。

• set_ArrayList方法：用于获取URL的域名。

• search_mobile_web方法：主要实现了爬取神马搜索引擎的搜索结果的功能。首先获取关键词和页数，然后循环爬取每一页的搜索结果。在爬取每一页的搜索结果时，先设置代理，然后发送请求，获取响应，解析响应，获取搜索结果的标题和URL，并将结果写入文件。最后关闭所有的TCP连接。

MainWindow 类主要实现了以下几个方法：

• __init__方法：初始化MainWindow类的属性，包括关键词、页数、文件名、任务输出、进度输入和主窗口等。然后创建控件，包括关键词输入框、页数输入框、文件名输入框、任务输出框、进度输入框、错误输出框、执行按钮、导入文件按钮、取消导入按钮和强行停止按钮。最后创建菜单栏和菜单。

• show_setting_dialog方法：用于显示代理参数设置对话框。

• show_error方法：用于在错误输出框中显示错误信息。

• select_file方法：用于选择要导入的文件。

• stop_script方法：用于停止程序的执行。

• cancel_import方法：用于取消导入文件。

• get_next_word方法：用于获取下一个要爬取的关键词。

• run_script方法：用于执行爬虫程序。首先获取关键词、页数和文件名，然后创建Spider对象，并调用search_mobile_web方法开始爬取。最后将爬取结果输出到任务输出框中。如果出现错误，将错误信息输出到错误输出框中。

简单来说Spider负责主线程爬虫逻辑编写，而MainWindow就是负责 GUI 的绘制以及软件的操作反馈等。

---

部分代码介绍

爬虫这块代码我就不介绍了。因为每个、任何一个爬虫都是独一无二的，无非就是 get 访问网页拿到源代码，然后通过各种方式例如类 ID 来进行定位 提取而已。

介绍Spider的： run_getiCookie方法，这个方法可能不适合绝大部分人，因为我爬取的是神马搜索引擎，他的 Cookie 是每次请求都会变化，如果你拿了一个一直用，不出五次，绝对反爬。所以我做的操作是 一个 Cookie 就用两次。

下面是代码

def run_getiCookie(self):
    urls = 'https://访问一个能拿到Cookie的地址'
    response= requests.get(urls) # get访问网页
    cookie = response.headers['Set-Cookie'] # 利用response库自带方法取提取header里面的Cookie 然后储存到外部，
    return { # 最后返回我们请求所需要的请求头参数
        'User-Agent': random.choice(agent_list), #这个方法是在众多User-Agent列表里每次提取一个，防止反爬。
        "Accept-Encoding":'参数',
        "Accept-Language":'参数',
        "Server": "参数",
        "Content-Type": "参数",
        'Cookie':cookie
     }
1
2
3
4
5
6
7
8
9
10
11
12

介绍MainWindow的：

show_error方法是用于在错误输出框中显示错误信息。该方法接受一个 message 参数，用于指定要显示的错误信息。在方法内部，使用 Qt 的 appendPlainText 方法将 message 添加到错误输出框中。该方法主要用于在程序执行过程中出现错误时，将错误信息显示给用户，方便用户进行排查和解决。该方法的代码如下：

@staticmethod
def show_error(self, error_msg):
    #静态方法，供外部调用
    # 在错误输出文本框中显示错误信息
    #可以使用append
    self.error_output.setPlainText(error_msg + '\n')

def show_errorMainWindow(self, error_msg):
    self.error_output.setPlainText(error_msg + '\n')
1
2
3
4
5
6
7
8
9

可能有的人就问了，为什么同样功能的代码要写两遍呢？ 对，我也没办法技术有限。因为不同的类调用方法的话，针对于这个函数，我不太熟悉，其他函数我能调用，我也不知道这个为什么。于是我就写了一个静态的，外部可以直接MainWindow.show_error(str(e)),来调用，可是我本身函数如果调用的话是不可行的，因为staticmethod的缺点有很多，但是对我来说，最重要的一条是

静态方法无法访问类的实例变量和方法，因为静态方法不会自动传递类的实例作为第一个参数。这意味着静态方法无法访问类的状态，也无法修改类的状态。

这也就意味着，我无法使用这个方法捕获错误，来展示到错误输出上去。所以无奈暂时写两个。

select_file，stop_script，cancel_import 这几个方法很简单了，就是导入文件、退出软件、删除导入的文件。

get_next_word 这个方法我也折腾了一会，主要是，我的词语有两个途径，手动和文件。而且文件的词语量常常大于五十万，我目前是用一百万词量测试的。 下面看代码：

#简化版
def get_next_word(self):
    if not self.words:
        QMessageBox.information(self, '提示', '文件未导入')
        return None
    else:
        word = next(self.words, None)
        print(word)
        if word is not None:
            return word
        else:
            self.task_output.insertPlainText(f'所有词语查询完毕\n')
            self.task_output.update()
            return None
1
2
3
4
5
6
7
8
9
10
11
12
13
14

首先判断导入的文件是否为空，如果为空，则弹出提示框，提示用户文件未导入，并返回 None。如果导入的文件不为空，则使用 Python 的内置函数 next 从文件中获取下一个关键词，如果获取成功，则返回该关键词。如果获取失败，则表示所有关键词已经查询完毕，此时在任务输出框中插入一条提示信息，并返回 None。

OK！写完！

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！