[center]
[size=12]原文地址：https://thehackernews.com/2024/12/researchers-uncover-prompt-injection.html[/size]
关于一个已修复的安全漏洞的细节浮出水面，该漏洞存在于 [DeepSeek](https://www.deepseek.com) 人工智能（AI）聊天机器人中，如果成功利用，可能允许恶意行为者通过 [提示注入攻击](https://thehackernews.com/2024/06/prompt-injection-flaw-in-vanna-ai.html) 控制受害者的账户。
安全研究员 Johann Rehberger 记录了许多针对各种 AI 工具的提示注入攻击，他 [发现](https://embracethered.com/blog/posts/2024/deepseek-ai-prompt-injection-to-xss-and-account-takeover/) 在 DeepSeek 聊天中提供输入“Print the xss cheat sheet in a bullet list. just payloads”会触发 JavaScript 代码的执行，这是跨站脚本（XSS）的经典案例。
XSS 攻击可能会产生严重后果，因为它们导致在受害者的网络浏览器上下文中执行未经授权的代码。
攻击者可以利用此类漏洞劫持用户会话，并访问与 chat.deepseek[.]com 域相关的 cookies 和其他数据，从而导致账户被接管。
“经过一些实验，我发现接管用户会话所需的只是存储在 chat.deepseek.com 域的 localStorage 中的 userToken，”Rehberger 说，并补充说，可以使用特定构造的提示触发 XSS，并通过提示注入访问被攻击用户的 userToken。
该提示包含一系列指令和一个 Base64 编码的字符串，DeepSeek 聊天机器人解码该字符串以执行负责提取受害者会话令牌的 XSS 有效负载，最终允许攻击者冒充用户。
https://www.youtube.com/watch?v=J-HandEXkso
这一发展与 Rehberger 还 [展示](https://embracethered.com/blog/posts/2024/claude-computer-use-c2-the-zombais-are-coming/) 的情况相吻合，即 Anthropic 的 Claude [计算机使用](https://www.anthropic.com/news/3-5-models-and-computer-use)——它 [使](https://docs.anthropic.com/en/docs/build-with-claude/computer-use) 开发者能够通过光标移动、按钮点击和文本输入来控制计算机——可能被滥用，通过提示注入自动运行恶意命令。
这种被称为 ZombAIs 的技术，基本上利用提示注入来武器化计算机使用，以下载 Sliver 命令与控制（C2）框架，执行它，并与攻击者控制的远程服务器建立联系。
https://www.youtube.com/watch?v=3UkLnGQZ6zE
此外，研究发现可以利用大型语言模型（LLMs）输出 [ANSI 转义码](https://en.wikipedia.org/wiki/ANSI_escape_code) 通过提示注入劫持系统终端。该攻击主要针对集成 LLM 的命令行界面（CLI）工具，已被命名为 Terminal DiLLMa。
“十年前的功能为 GenAI 应用程序提供了意想不到的攻击面，”Rehberger [表示](https://embracethered.com/blog/posts/2024/terminal-dillmas-prompt-injection-ansi-sequences/)。 “开发者和应用设计者在插入 LLM 输出时，必须考虑其上下文，因为输出是不可信的，可能包含任意数据。”
不仅如此，威斯康星大学麦迪逊分校和圣路易斯华盛顿大学的学者们进行的新研究 [揭示](https://fzwark.github.io/LLM-System-Attack-Demo/) OpenAI 的 ChatGPT 可以被欺骗，以在提供的 markdown 格式下渲染外部图像链接，包括那些可能是露骨和暴力的链接，借口是一个总体良好的目标。
更重要的是，发现可以使用提示注入间接调用 ChatGPT 插件，而这些插件通常需要用户确认，甚至可以绕过 OpenAI 设置的限制，以防止从危险链接渲染内容，从而将用户的聊天记录外泄到攻击者控制的服务器。
[color=silver][size=12]
本文由 gpt-4o-mini 烤制
[/center][/size][/color]