【安全】大模型安全综述_大模型安全论文

大模型相关非安全综述

LLM演化和分类法

• A survey on evaluation of large language models,” arXiv preprint arXiv:2307.03109, 2023.
• “A survey of large language models,” arXiv preprint arXiv:2303.18223, 2023.
• “A survey on llm-gernerated text detection: Necessity, methods, and future directions,” arXiv preprint arXiv:2310.14724, 2023.
• “A survey on large language models: Applications, challenges, limitations, and practical usage,” TechRxiv, 2023.
• “Unveiling security, privacy, and ethical concerns of chatgpt,” 2023.
• “Eight things to know about large language models,” arXiv preprint arXiv:2304.00612, 2023.

LLM on 软件工程

• “Large language models for software engineering: Survey and open problems,” 2023.
• “Large language models for software engineering: A systematic literature review,” arXiv preprint arXiv:2308.10620, 2023.

医学

• “Large language models in medicine,” Nature medicine, vol. 29, no. 8, pp. 1930–1940, 2023.
• “The future landscape of large language models in medicine,” Communications Medicine, vol. 3, no. 1, p. 141, 2023.

安全领域

LLM on 网络安全

• “A more insecure ecosystem? chatgpt’s influence on cybersecurity,” ChatGPT’s Influence on Cybersecurity (April 30, 2023), 2023.
• “Chatgpt for cybersecurity: practical applications, challenges, and future directions,” Cluster Computing, vol. 26, no. 6, pp. 3421–3436, 2023.
• “What effects do large language models have on cybersecurity,” 2023.
• “Synergizing generative ai and cybersecurity: Roles of generative ai entities, companies, agencies, and government in enhancing cybersecurity,” 2023.LLM 帮助安全分析师开发针对网络威胁的安全解决方案。

突出针对 LLM 的威胁和攻击

主要关注点在于安全应用程序领域，深入研究利用 LLM 发起网络攻击。

• “From chatgpt to threatgpt: Impact of generative ai in cybersecurity and privacy,” IEEE Access, 2023.
• “A security risk taxonomy for large language models,” arXiv preprint arXiv:2311.11415, 2023.
• “Survey of vulnerabilities in large language models revealed by adversarial attacks,” 2023.
• “Are chatgpt and deepfake algorithms endangering the cybersecurity industry? a review,” International Journal of Engineering and Applied Sciences, vol. 10, no. 1, 2023.
• “Beyond the safeguards: Exploring the security risks of chatgpt,” 2023.
• From ChatGPT to HackGPT: Meeting the Cybersecurity Threat of Generative AI. MIT Sloan Management Review, 2023.
• “Adversarial attacks and defenses in large language models: Old and new threats,” 2023.
• “Do chatgpt and other ai chatbots pose a cybersecurity risk?: An exploratory study,” International Journal of Security and Privacy in Pervasive Computing (IJSPPC), vol. 15, no. 1, pp. 1–11, 2023.
• “Unveiling the dark side of chatgpt: Exploring cyberattacks and enhancing user awareness,” 2023.

网络犯罪分子利用的漏洞，关注与LLM相关的风险

• “Chatbots to chatgpt in a cybersecurity space: Evolution, vulnerabilities, attacks, challenges, and future recommendations,” 2023.
• “Use of llms for illicit purposes: Threats, prevention measures, and vulnerabilities,” 2023.

LLM隐私问题

• “Privacy-preserving prompt tuning for large language model services,” arXiv preprint arXiv:2305.06212, 2023.分析LLM的隐私问题，根据对手的能力对其进行分类，并探讨防御策略。
• “Privacy and data protection in chatgpt and other ai chatbots: Strategies for securing user information,” Available at SSRN 4454761, 2023. 探讨了已建立的隐私增强技术在保护LLM隐私方面的应用
• “Identifying and mitigating privacy risks stemming from language models: A survey,” 2023. 讨论了LLM的隐私风险。
• A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly. 隐私问题和安全性问题。

接下来我将给各位同学划分一张学习计划表！

学习计划

那么问题又来了，作为萌新小白，我应该先学什么，再学什么？
既然你都问的这么直白了，我就告诉你，零基础应该从什么开始学起：

阶段一：初级网络安全工程师

接下来我将给大家安排一个为期1个月的网络安全初级计划，当你学完后，你基本可以从事一份网络安全相关的工作，比如渗透测试、Web渗透、安全服务、安全分析等岗位；其中，如果你等保模块学的好，还可以从事等保工程师。

综合薪资区间6k~15k

1、网络安全理论知识（2天）
①了解行业相关背景，前景，确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。（非常重要）

2、渗透测试基础（1周）
①渗透测试的流程、分类、标准
②信息收集技术：主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理，利用方法、工具（MSF）、绕过IDS和反病毒侦察
④主机攻防演练：MS17-010、MS08-067、MS10-046、MS12-20等

3、操作系统基础（1周）
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全（系统入侵排查/系统加固基础）

4、计算机网络基础（1周）
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析（HTTP、TCP/IP、ARP等）
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御：主动/被动攻击、DDOS攻击、CVE漏洞复现

5、数据库基础操作（2天）
①数据库基础
②SQL语言基础
③数据库安全加固

6、Web渗透（1周）
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具：Nmap、BurpSuite、SQLMap、其他（菜刀、漏扫等）

那么，到此为止，已经耗时1个月左右。你已经成功成为了一名“脚本小子”。那么你还想接着往下探索吗？

阶段二：中级or高级网络安全工程师（看自己能力）

综合薪资区间15k~30k

7、脚本编程学习（4周）
在网络安全领域。是否具备编程能力是“脚本小子”和真正网络安全工程师的本质区别。在实际的渗透测试过程中，面对复杂多变的网络环境，当常用工具不能满足实际需求的时候，往往需要对现有工具进行扩展，或者编写符合我们要求的工具、自动化脚本，这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中，想要高效地使用自制的脚本工具来实现各种目的，更是需要拥有编程能力。

零基础入门的同学，我建议选择脚本语言Python/PHP/Go/Java中的一种，对常用库进行编程学习
搭建开发环境和选择IDE，PHP环境推荐Wamp和XAMPP，IDE强烈推荐Sublime；

Python编程学习，学习内容包含：语法、正则、文件、 网络、多线程等常用库，推荐《Python核心编程》，没必要看完

用Python编写漏洞的exp,然后写一个简单的网络爬虫

PHP基本语法学习并书写一个简单的博客系统

熟悉MVC架构，并试着学习一个PHP框架或者Python框架 (可选)

了解Bootstrap的布局或者CSS。

阶段三：顶级网络安全工程师

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里