大模型尝试（prompt与结果记录）_prompt的信息与ai大模型的训练数据不一致

尝试大模型 ，记录使用的prompt和获取的结果，以此一窥当前大模型的能力与缺陷
主要通过chatglm在线体验进行尝试

尝试询问技术概念

• 问题1：什么是LLM

LLM 是 Long Short-Term Memory 的缩写，是一种用于自然语言处理的深度学习模型。它由三个模块组成：输入模块、输出模块和记忆模块。输入模块用于接收输入序列，输出模块用于输出预测序列，而记忆模块则用于存储和更新输入序列的信息。
LLM 可以通过学习大量文本数据来掌握语言的语法、语义和上下文信息，从而能够较好地预测下一个词语或者句子。它广泛应用于机器翻译、文本摘要、问答系统等自然语言处理任务中，取得了很好的效果

• 问题2：那LLM和LSTM有什么不同

LLM 和 LSTM 都是深度学习模型，但它们在结构和功能上有所不同。
1.结构上： LLM 是基于 Transformer 模型进行修改的，Transformer 模型是一种基于自注意力机制的深度神经网络模型。而 LSTM 是一种基于循环神经网络的深度学习模型，它具有门控机制，可以更好地处理序列数据中的长期依赖关系。
2. 功能上： LLM 可以同时处理编码和解码的任务，比如机器翻译等双向语言任务，而 LSTM 则更适合处理单向序列数据，比如文本分类、文本生成等任务。
总的来说，LLM 更适合处理长文本序列数据，而 LSTM 更适合处理单向序列数据。

混淆了概念，不能很好的区分LLM和LSTM

• 问题3：我想学习使用ChatGLM，有哪些学习资料可以推荐呢？请给出资料的链接

ChatGLM 是一款基于 GLM 模型的自然语言处理工具，如果您想学习如何使用 ChatGLM，以下是一些可以推荐的学习资料：
1.ChatGLM 官方文档：https://www.chatglm.com/docs/
官方文档是学习 ChatGLM 的最佳资料之一，它提供了详细的使用方法和示例代码，帮助用户快速上手 ChatGLM。
2.ChatGLM 实战：https://www.chatglm.com/docs/zh-CN/实战/
ChatGLM 实战是一本介绍如何使用 ChatGLM 进行自然语言处理应用的书籍，它提供了大量的实战案例和代码示例，对于学习 ChatGLM 的用户来说非常实用。
3.GLM 模型原理：https://www.deeplearningbook.org/glms
GLM 模型原理是一篇介绍 GLM 模型原理和实现细节的论文，如果您对 GLM 模型感兴趣，可以阅读这篇论文来了解 GLM 模型的基本原理。
4.清华大学 NLP 课程：https://www.cs.清华大学.edu.cn/course/NLP2021/
清华大学 NLP 课程是一门介绍自然语言处理基础理论和实践的课程，它提供了丰富的自然语言处理知识和应用案例，对于学习 ChatGLM 的用户来说非常有帮助。
以上是一些可以推荐的学习资料，希望对您有所帮助。

这个回答看起来似乎没问题：但给出的链接都是无效的

尝试进行信息抽取

• 问题4：对文本进行实体抽取，可选实体包括：软件、组织机构，没有这两个实体则回答无
  案例1：Google 标签管理器是一种用于优化更新网站或移动应用程序上的测量代码和相关代码片段（统称为标签）的工具。Google 标签管理器 ID 指定了网站应使用的标签管理器容器。
  输出：软件:Google 标签管理器; 组织机构:无
  案例2：Ransomware显示了来自被感染受害者的一份提交，表明这起勒索软件即服务活动处于活跃状态。虽然目前对RaaS活动及推广方式知之甚少，但MalwareHunterTeam发现了一个加密器的样本，让我们可以快速了解它是如何运作的。
  输出：软件:无; 组织机构:MalwareHunterTeam
  案例3：我们进行的研究表明：Attention机制对于图匹配尤为重要
  输出：软件:无; 组织机构:无
  输入：我们进行的研究,旨在传达使用不安全的AIGC和LLM的开源项目也具有较差的安全态势

输出：软件：AIGC、LLM; 组织机构：无

• 问题4-plus:对文本进行实体抽取，可选实体包括：软件、组织机构，没有这两个实体则回答无
  案例1：Google 标签管理器是一种用于优化更新网站或移动应用程序上的测量代码和相关代码片段（统称为标签）的工具。Google 标签管理器 ID 指定了网站应使用的标签管理器容器。
  输出：软件:Google 标签管理器; 组织机构:无
  案例2：Ransomware显示了来自被感染受害者的一份提交，表明这起勒索软件即服务活动处于活跃状态。虽然目前对RaaS活动及推广方式知之甚少，但MalwareHunterTeam发现了一个加密器的样本，让我们可以快速了解它是如何运作的。
  输出：软件:无; 组织机构:MalwareHunterTeam
  案例3：我们进行的研究表明：Attention机制对于图匹配尤为重要
  输出：软件:无; 组织机构:无
  输入：我们进行的研究,旨在传达使用不安全的AIGC和LLM的开源项目也具有较差的安全态势

输出：软件：无；组织机构：无

• 问题5：对文本进行实体抽取，可选实体包括：软件、组织机构，没有这两个实体则回答无
  案例1：Google 标签管理器是一种用于优化更新网站或移动应用程序上的测量代码和相关代码片段（统称为标签）的工具。Google 标签管理器 ID 指定了网站应使用的标签管理器容器。
  输出：软件:Google 标签管理器; 组织机构:无
  案例2：Ransomware显示了来自被感染受害者的一份提交，表明这起勒索软件即服务活动处于活跃状态。虽然目前对RaaS活动及推广方式知之甚少，但MalwareHunterTeam发现了一个加密器的样本，让我们可以快速了解它是如何运作的。
  输出：软件:无; 组织机构:MalwareHunterTeam
  案例3：我们进行的研究表明：Attention机制对于图匹配尤为重要
  输出：软件:无; 组织机构:无
  输入：媒体8月3日称，汉堡王法国分公司因网站配置错误，导致凭据等信息泄露。6月1日，研究团队发现了属于汉堡王法国网站的可公开访问的环境文件(.env)，其中包含各种凭据，该文件托管在用于发布工作机会的子域上。尽管泄露的数据不足以完全控制网站，但它可以简化攻击者劫持网站的过程。目前，该公司已经解决了这个问题。2019年，由于类似的配置错误，法国分公司曾泄露了购买汉堡王的儿童的PII信息。

输出：软件：无；组织机构：汉堡王法国分公司

• 案例6：请根据以下context回答问题，直接输出答案即可，不用附带任何上下文。
  context:“我们进行的研究，旨在传达使用不安全的AIGC和LLM的开源项目也具有较差的安全态势”
  问题： context提到了哪些具体的软件？

AIGC 和 LLM

chatglm在线体验信息抽取的尝试效果尚可↑↑↑(虽然存在将技术概念如LLM混淆为软件实体的问题，但没有重大错误)
不过使用本地部署的chatglm2-6b进行测试时效果明显异常↓↓↓

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("/home/guozhi/project/ChatGLM2-6B/chatglm2-6b",trust_remote_code=True)
model = AutoModel.from_pretrained("/home/guozhi/project/ChatGLM2-6B/chatglm2-6b", trust_remote_code=True, device='cuda')
model = model.eval()
prompt="""对输入文本进行实体抽取，可选实体包括：软件、组织机构，没有这两个实体则回答无
案例1：Google 标签管理器是一种用于优化更新网站或移动应用程序上的测量代码和相关代码片段（统称为标签）的工具。Google 标签管理器 ID 指定了网站应使用的标签管理器容器。
输出：软件:Google 标签管理器; 组织机构:无
案例2：Ransomware显示了来自被感染受害者的一份提交，表明这起勒索软件即服务活动处于活跃状态。虽然目前对RaaS活动及推广方式知之甚少，但MalwareHunterTeam发现了一个加密器的样本，让我们可以快速了解它是如何运作的。
输出：软件:无; 组织机构:MalwareHunterTeam
案例3：我们进行的研究表明：Attention机制对于图匹配尤为重要
输出：软件:无; 组织机构:无
案例4：输入：媒体8月3日称，汉堡王法国分公司因网站配置错误，导致凭据等信息泄露。6月1日，研究团队发现了属于汉堡王法国网站的可公开访问的环境文件(.env)，其中包含各种凭据，该文件托管在用于发布工作机会的子域上。尽管泄露的数据不足以完全控制网站，但它可以简化攻击者劫持网站的过程。目前，该公司已经解决了这个问题。2019年，由于类似的配置错误，法国分公司曾泄露了购买汉堡王的儿童的PII信息。
输出：软件：无；组织机构：汉堡王法国分公司
输入：我们进行的研究,旨在传达使用不安全的AIGC和LLM的开源项目也具有较差的安全态势"""
response, history = model.chat(tokenizer, prompt, history=[])
print(response)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

输出：软件：无；组织机构：我们进行的研究

prompt ="""请根据以下context回答问题，直接输出答案即可，不用附带任何上下文。
        context:"我们进行的研究，旨在传达使用不安全的AIGC和LLM的开源项目也具有较差的安全态势"
        问题： context提到了哪些具体的软件？"""
1
2
3

context提到了使用不安全的AIGC（人工智能通用库）和LLM（大型语言模型）的开源项目

进一步对比chatgml在线体验（应该是130B)和chatglm2-6B本地部署的结果差异

• 如下是fuzzywuzzy、TheFuzz、RapidFuzz 三个软件的描述文本：请问它们之间存在什么关系?简明扼要的进行回答，直接输出答案即可
  fuzzywuzzy ：
  This project has been renamed and moved to https://github.com/seatgeek/thefuzz
  TheFuzz version 0.19.0 correlates with this project’s 0.18.0 version with thefuzz replacing all instances of this project’s name.PRs and issues here will need to be resubmitted to TheFuzz
  TheFuzz：
  Fuzzy string matching like a boss. It uses Levenshtein Distance to calculate the differences between sequences in a simple-to-use package
  RapidFuzz：
  RapidFuzz is a fast string matching library for Python and C++, which is using the string similarity calculations from FuzzyWuzzy. However there are a couple of aspects that set RapidFuzz apart from FuzzyWuzzy……

130B:
fuzzywuzzy -> TheFuzz (rename and move)
TheFuzz -> RapidFuzz (uses string similarity calculations)

6B:
Fuzzywuzzy 和 TheFuzz 都是用于模糊字符串匹配的软件，而 RapidFuzz 是基于 FuzzyWuzzy 的快速字符串匹配库。因此，它们之间存在直接的关系，都是用于模糊字符串匹配的软件。

• 已知句子’BlackCat 勒索团伙攻击汽车消费电子巨头Voxx Electronics’。'请从句子中抽取出可能的实体，实体类型包括 [‘软件名’、‘组织机构名’]，按照格式(实体类型, 实体内容)回答。

130B:
(组织机构名，BlackCat 勒索团伙) (组织机构名，Voxx Electronics)

6B:
实体类型:组织机构名
实体内容:Voxx Electronics
实体类型:软件名
实体内容:BlackCat

• 文本进行实体抽取，可选实体包括：软件、组织机构，没有这两个实体则回答无
  案例1：Google 标签管理器是一种用于优化更新网站或移动应用程序上的测量代码和相关代码片段（统称为标签）的工具。Google 标签管理器 ID 指定了网站应使用的标签管理器容器。
  输出：软件:Google 标签管理器; 组织机构:无
  案例2：Ransomware显示了来自被感染受害者的一份提交，表明这起勒索软件即服务活动处于活跃状态。虽然目前对RaaS活动及推广方式知之甚少，但MalwareHunterTeam发现了一个加密器的样本，让我们可以快速了解它是如何运作的。
  输出：软件:无; 组织机构:MalwareHunterTeam
  案例3：我们进行的研究表明：Attention机制对于图匹配尤为重要
  输出：软件:无; 组织机构:无
  输入：据媒体8月6日报道，柏林工业大学的研究人员开发了一种方法，可以越狱最新特斯拉车型中使用的基于AMD的信息娱乐系统。此外，该攻击还能获取特斯拉在其服务网络中用于汽车验证的唯一硬件绑定RSA密钥，并通过电压故障激活软件的锁定功能，如座椅加热等付费功能。特斯拉的信息娱乐APU基于易被攻击的AMD Zen 1 CPU，因此研究人员可以尝试利用之前发现的漏洞实现越狱。攻击的细节将于8月9日举行的BlackHat 2023演讲中公开。

130B:
软件：无； 组织机构：柏林工业大学

6B:
输出：软件：无；组织机构：我们进行的研究

根据对结果的观测，130B直接用于信息抽取非常有希望，但6B远远不够