提示注入攻击

搜索文档
Claude for Chrome来了,可作为浏览器扩展程序直接使用
36氪· 2025-08-28 03:25
产品发布与功能 - Anthropic推出Chrome扩展程序Claude for Chrome 允许用户通过侧边窗口对话并保留浏览器活动上下文[8] - 该扩展程序能执行多种任务 包括设置日历、回复邮件和找房等[1][3] - 用户可授权agent在浏览器中执行操作并代为完成任务 但目前仅向1000名Max套餐用户开放测试[8][10] - Max套餐月费为100或200美元 其他用户需订阅进入候补名单[10] 安全策略与限制 - 公司采取小规模试点以收集安全反馈 重点防范"提示注入攻击"等漏洞[10] - 用户可限制agent访问特定网站 默认禁止访问金融服务/成人内容/盗版网站[12] - 高风险操作(如发布信息/购物/分享个人数据)需事先获得用户许可[12] - 此前曾发生恶意邮件诱骗Claude未经授权删除电子邮件的事件[10] 行业竞争格局 - AI浏览器成为巨头竞争新战场 Perplexity已推出自有浏览器Comet 功能与Claude类似[13][16] - 谷歌和微软计划分别在Chrome和Edge浏览器中嵌入Gemini和Copilot[14] - OpenAI据称即将发布AI驱动浏览器 行业存在两种技术路径:浏览器扩展程序或全新浏览器开发[16] - 谷歌Chrome在2025年占据全球浏览器市场68.35%份额 远超Safari的16.25%[19] 技术演进历程 - Anthropic早在2024年10月就尝试开发可控制PC屏幕的agent 但因速度与稳定性问题搁置[12] - 当前技术重点在于让AI理解网页内容并执行点击按钮/填写表格等交互操作[10] - 行业认为浏览器集成AI将创造非凡价值 成为用户与信息连接的重要桥梁[13]
Chrome上线Claude插件,AI代管浏览器操作成真?
36氪· 2025-08-27 13:21
产品发布与功能 - Anthropic发布Chrome浏览器插件Claude for Chrome 研究预览版 使AI大模型能够自动操作网页[1] - 插件目前仅向1000名付费用户开放 订阅费用为每月100美元或200美元[3] - 功能包括管理日程 安排会议 草拟邮件 处理报销 测试网站功能 以及通过自然语言指令实现房屋搜索 餐厅推荐和文档总结[4] - 具体案例显示 用户输入"西雅图价格低于80万美元的3卧室房屋"需求后 Claude通过Zillow自动搜索并展示前5个选项[4] - 另一案例显示 Claude可查找"蒜香面条餐厅"并自动加入购物车[5] - 在Chrome中打开Google文档时 Claude可自动生成内容总结[6] 技术实现与行业趋势 - Anthropic认为浏览器AI是不可避免的趋势 因大量工作均在浏览器中完成[8] - 公司强调让Claude能够查看浏览内容 点击按钮和填写表格将提升实用性[8] - 行业评论指出当前AI代理本质是具有宽泛权限的浏览器插件 将内容传输至大模型处理 更像权宜之计而非最终解决方案[18] - 长期愿景可能是AI代理直接通过API完成操作 无需浏览器登录和应用程序交互 仅通过自然语言指令实现如"转账50美元至储蓄账户"等功能[18] 安全风险与防护措施 - 浏览器插件存在隐私泄露和权限滥用风险 Anthropic因安全顾虑暂未全面开放功能[8] - 主要威胁为提示注入攻击 攻击者通过在网站 邮件或文档隐藏指令诱导AI执行有害操作[9] - 未防护情况下 123个测试案例中有29个攻击成功 攻击成功率高达23.6%[9] - 具体案例显示恶意邮件可指令Claude未经确认直接删除用户邮件[11] - Anthropic实施多层防护:权限控制允许用户按网站授予访问权 高风险操作需用户确认 强化系统指令处理敏感数据 禁止访问高风险网站类别[14] - 新增防护后 自主模式攻击成功率从23.6%降至11.2% 浏览器特有攻击成功率从35.7%降至0%[14] - 公司持续测试高级分类器以检测异常指令模式和非常规数据访问请求[14] 测试进展与用户反馈 - Anthropic表示内部测试无法完全模拟真实用户环境 新型提示注入攻击持续出现[16] - 研究预览计划旨在与受信任用户合作检验保护措施有效性[16] - 外界反馈喜忧参半:部分用户担忧AI边界可控性 认为功能过早开放 另部分用户调侃安全防护不完善[18] - 深层疑问涉及AI代理完全访问浏览器后对线上操作的控制权归属问题[18]
ChatGPT惊现“零点击攻击”,API密钥被轻松泄露,OpenAI暂未解决
量子位· 2025-08-12 09:35
ChatGPT安全漏洞分析 核心观点 - ChatGPT存在"零点击攻击"安全漏洞 攻击者无需用户点击即可通过第三方应用窃取敏感数据和API密钥[1][2] - OpenAI已采取防范措施但攻击者仍能通过技术手段绕过[5][36] - 该漏洞属于规模化安全问题 可能造成企业数据全面泄漏[6][46] 攻击链形成机制 - 漏洞出现在ChatGPT连接第三方应用(如Google Drive SharePoint)环节 攻击者在文档中注入恶意提示诱导AI执行攻击行为[9][14] - 内部风险场景:恶意员工可污染所有可访问文档并诱导其他员工上传至ChatGPT[16][17] - 攻击成功率提升关键:通过"间接提示注入"增加恶意指令进入ChatGPT的概率[18] 数据窃取技术路径 - 出口机制:利用图像渲染功能 将窃取数据嵌入图像URL参数中[20][23] - 具体操作:ChatGPT返回Markdown内容时自动渲染图像 触发向攻击者服务器发送含敏感数据的请求[22][24] - API密钥窃取:通过特定提示注入载荷指示ChatGPT搜索Google Drive中的密钥并嵌入图像请求[26][30] 防御与绕过机制 - OpenAI防御措施:客户端渲染前检查URL安全性 拦截随机beeceptor端点[33][35] - 攻击者绕过方法:利用Azure Blob存储托管图像 通过日志分析获取请求参数[37][38] - 其他攻击技巧:使用特殊字符和"讲故事"方式绕过AI安全规则[43] 企业级风险与建议 - 风险特征:传统安全培训无法防范 文档内部流转时即可发生数据泄露[44][45] - 行业影响:微软Copilot存在类似"EchoLeak"漏洞 多款AI助手面临提示注入攻击风险[46] - 防护建议:实施严格访问控制 部署AI活动监控方案 加强用户教育[48]