公司技术展示 - 公司以安全可信让AI用得放心为主题参与网安周活动 展示AI安全 数据保护 网络安全和智能风控等领域的创新成果与实践 [1] - 公司全球首个智能眼镜可信连接技术框架gPass首次亮相 展示以人为本智能交互基础设施上的安全技术突破 [1] - 公司集中展示多项前沿安全技术与系统级解决方案 包括智能体安全 大模型安全 深度伪造防御及数据与隐私安全 [3] gPass技术框架 - gPass以安全 交互 连接三大核心能力为支撑 为AI眼镜与智能体之间搭建可信即时无缝的信息桥梁 [1] - 在安全方面借助可信身份流通 端到端加密 设备认证等技术确保设备是本人 构建信息传输安全屏障 [2] - 在交互方面融合声纹 虹膜 指纹等无感核身技术实现本人操作的流畅安全认证 [2] - 在连接方面基于用户时间与场景需求自动调度多智能体间即时安全的消息交互 提升体验连贯性 [2] - 已完成与Rokid 小米 夸克 雷鸟等品牌眼镜合作 在看一下支付场景中率先落地 [2] - 未来计划扩展至医疗 文旅 出行等更多生活场景 提供无感可信全程伴随的智能服务 [2] 行业背景 - AI眼镜行业处于发展初期 存在生态碎片化 应用场景有限 跨端协同能力弱等挑战 [1] - 硬件算力 系统分裂以及开发门槛高等因素制约从功能机向智能体的演进 [1] 智能体安全技术 - IIFAA工作组推出的ASL保障各个智能体协作中在权限 数据 隐私等方面的安全 [3] - 为Agent互连提供安全可信的协作保障 [3] 大模型安全技术 - 大模型安全解决方案蚁天鉴新增智能体安全扫描 MCP安全检测功能 [3] - 形成包含AIGC滥用检测 证照伪造检测 智能体零信任防御在内的完整技术链条 [3] - 构建覆盖生成预防 内容检测 行为调控为一体的可信AI治理体系 [4] 深度伪造防御技术 - ZOLOZ Deeper依托端云一体生物识别与动态攻防测演应对伪造人脸 语音合成等安全威胁 [3] 数据与隐私安全技术 - 密态可信数据空间基于全栈自研密态计算技术体系 [3] - 为数据融合利用加工提供高性能 低成本和全链路安全的密态化保障 [3] - 覆盖数据融合 研发和产品交付等关键环节 支撑企业 行业及城市等可信数据空间建设 [3] 风控能力 - 通过多模态感知与大小模型协同精准识别假章假证 合成语音等造假行为 [4] - 虚假证件识别准确率达98% 语音伪造检测覆盖50余种合成方式 [4] - 2024年以来已联合司法机关查处12家非法金融中介 涉案人员超过200人 [4] 公司战略 - 安全科技是公司的立身之本和发展基石 [4] - 将持续强化AI安全可信能力 通过金融级网络安全防护 负责任的隐私保护与全生命周期AI治理 [4] - 致力于为千行百业的数字化转型构建安全可靠值得信赖的科技底座 [4] 技术认可 - 安全科技在业务安全 AI安全 内容安全等方向的研发和应用屡获奖项 [5] - 曾获得上海市科技进步奖一等奖 浙江省科技进步奖一等奖 中国电子学会科技进步奖一等奖 中国图象图形学学会科技进步奖一等奖 [5]

公司技术展示 - 蚂蚁集团以安全可信AI为主题参与国家网络安全宣传周 展示AI安全 数据保护 网络安全和智能风控等领域的创新成果与实践[1] - 公司首次亮相全球首个智能眼镜可信连接技术框架gPass 聚焦构建以人为本的智能交互基础设施安全技术突破[1] - 公司集中展示多项前沿安全技术与系统级解决方案 包括智能体安全 大模型安全 深度伪造防御及数据隐私安全等领域[3] 行业背景与挑战 - AI眼镜行业处于发展初期 存在生态碎片化 应用场景有限 跨端协同能力弱等挑战[1] - 硬件算力 系统分裂和开发门槛高制约行业从功能机向智能体演进[1] gPass技术框架 - gPass以安全 交互 连接三大核心能力为支撑 为AI眼镜与智能体搭建可信即时无缝的信息桥梁[1] - 安全方面借助可信身份流通 端到端加密和设备认证技术确保设备是本人 构建信息传输安全屏障[2] - 交互方面融合声纹 虹膜 指纹等无感核身技术实现本人操作的流畅安全认证[2] - 连接方面基于用户时间与场景需求自动调度多智能体间即时安全的消息交互[2] - 已完成与Rokid 小米 夸克 雷鸟等品牌眼镜合作 在看了一下支付场景中率先落地[2] - 未来计划扩展至医疗 文旅 出行等更多生活场景[2] 安全技术体系 - IIFAA工作组推出ASL保障智能体协作中权限 数据和隐私安全 为Agent互连提供安全可信协作保障[3] - 大模型安全解决方案蚁天鉴新增智能体安全扫描和MCP安全检测功能 形成AIGC滥用检测 证照伪造检测和智能体零信任防御等技术链条[3] - ZOLOZ Deeper依托端云一体生物识别与动态攻防测演应对伪造人脸和语音合成等安全威胁[3] - 密态可信数据空间基于全栈自研密态计算技术体系 为数据融合利用加工提供高性能低成本全链路安全密态化保障[3] 风控能力 - 蚂蚁消金通过多模态感知与大小模型协同精准识别假章假证和合成语音等造假行为[4] - 虚假证件识别准确率达98% 语音伪造检测覆盖50余种合成方式[4] - 2024年以来联合司法机关查处12家非法金融中介 涉案人员超过200人[4] AI治理体系 - 公司依托蚁天鉴大模型安全解决方案构建生成预防 内容检测和行为调控为一体的可信AI治理体系[4] - 致力于确保AI真实性 可靠性及智能体行为安全可控[4] 公司战略与荣誉 - 安全科技是公司立身之本和发展基石 将持续强化AI安全可信能力[4] - 通过金融级网络安全防护 负责任隐私保护与全生命周期AI治理为行业数字化转型构建安全可靠科技底座[4] - 安全科技在业务安全 AI安全和内容安全等方向研发应用屡获奖项 包括上海市科技进步奖一等奖 浙江省科技进步奖一等奖等[5]

9月12日，在外滩大会"规范AI内容 共筑清朗生态"见解论坛上，南都大数据研究院编制并发布《AI新 治向:生成式人工智能内容与传播风险治理观察》报告。 "AI新治向"重磅报告首发、实验"AI造假"路人反应、专家献策"AI谣言"治理、脱口秀抛梗"AI新生 活"……9月12日下午，以"规范AI内容 共筑清朗生态"为主题的外滩大会见解论坛在上海举办。论坛汇 聚AI治理专家学者、企业精英、青年学子及青少年代表，围绕人工智能生成合成内容及传播过程中的 风险挑战议题深入探讨。据悉，本次论坛由南方都市报社、南都大数据研究院、中国互联网协会人工智 能工作委员会、复旦大学传播与国家治理研究中心主办。 多元协同共筑清朗生态 最新报告聚焦AI风险治理 活动现场，本次活动的主办方代表、南方都市报社主编刘江涛致辞表示，AI已经渗入日常生活当中， 未来还将从根本上改变诸多方面，但社会也需要形成共识，要对AI保持一份足够的清醒，按照国家的 相关要求确保人工智能安全、可靠、可控。南都愿意做"铺路石"，或是"吹哨者"，与多方协力共建智慧 交流平台。 中国互联网协会人工智能工作委员会秘书长邓凯在致辞时指出，应对AI内容治理挑战可从三方面着力: ...

智能体发展现状 - 过去3个月涌现的智能体相关产品数量超过去年全年总和 [1] - 全球智能体市场规模突破50亿美元 年增长率达40% [4] - 智能体具备自主性 适应性和交互能力 可感知环境并采取行动实现目标 [2] 行业应用案例 - 工业领域推出实时空间多模态交互智能体"安装小灵通" 可提升施工效率与质量 降低人为错误和合规风险 [2] - 科研领域发布AI-Scientist科研智能体平台 聚焦文献调研和科研阅读等高频环节 推动科研范式从人力主导转向AI协同 [2] - 金融制造政务等行业可通过星环科技AI Infra技术快速构建专属问答智能体 10分钟即可完成开发 [4] 技术架构与挑战 - 智能体架构包含计划 行动 工具和记忆4个模块 技术路线逐渐清晰 [3] - 关键比拼"脑-眼-耳-嘴-手"协同能力 包括任务拆解脑力 代码执行动手能力和工具调用感官能力 [3] - 本地设备算力有限 难以支撑高并发高算力需求 尤其GPU运算任务 且占用本地计算资源影响用户体验 [4] 云端解决方案 - 阿里云推出无影AgentBay云端基础设施 提供弹性算力和便捷部署 专为智能体打造 [5] - 云端环境凭借弹性算力和丰富生态 成为AI Agent天然沃土 可解脱工程化流程 [5] - PPIO发布兼容E2B接口的智能体沙箱 实现云端运行环境隔离 确保多任务并发时独立运行 [6] 安全风险与防护 - 超过70%智能体从业者担忧AI幻觉 错误决策和数据泄露风险 [6] - 蚂蚁集团升级"蚁天鉴"安全解决方案 新增智能体对齐和安全扫描等四大核心功能 [6] - 智能体具备自主规划和跨领域推理能力 但越权过度代理等问题带来安全挑战 [6]

智能体发展现状 - 过去3个月涌现的智能体相关产品数量超过去年全年总和 [1] - 全球智能体市场规模突破50亿美元 年增长率达40% [4] - 行业进入爆发期 国内外大厂集体押注智能体赛道 [3] 智能体技术特征 - 核心特征包括自主性 适应性和交互能力 [2] - 需具备"脑-眼-耳-嘴-手"协同能力 涵盖计划 行动 工具和记忆四大模块 [3] - 技术架构趋向固定 优化模块功能成为市场竞争关键 [3] 行业应用案例 - 工业领域推出实时空间多模态交互智能体"安装小灵通" 提升施工效率与质量 [2] - 科研领域发布AI-Scientist平台 聚焦文献调研和科研阅读等高频环节 [2] - 金融 制造 政务等行业出现专属问答智能体解决方案 [4] 基础设施创新 - 阿里云推出专为智能体打造的"无影AgentBay"云端基础设施 [5] - 星环科技展示新一代AI Infra技术架构 可实现10分钟快速构建行业智能体 [4] - 云端环境凭借弹性算力成为AI Agent天然沃土 [5] 安全挑战与解决方案 - 超过70%从业者担忧AI幻觉 错误决策和数据泄露风险 [6] - 蚂蚁集团升级"蚁天鉴"安全方案 新增智能体对齐和安全扫描功能 [6] - PPIO推出国内首款兼容E2B接口的"智能体沙箱" 实现环境隔离运行 [6] 行业演进趋势 - AI Agent从工具属性向产业智能体核心引擎跃迁 [5] - 推动科研范式从人力主导转向AI协同探索 [2] - 最深远挑战在于人类如何与更高效的智能体共处 [5]

行业趋势 - AI领域正从大模型时代迈向智能体时代 智能体快速渗透进手机 眼镜 耳机 车机等各种终端设备 成为连接人 设备与环境的关键枢纽[1] - 生活 工业 医疗 教育等多个行业正在被更主动 更拟人化的终端智能体重新定义交互方式[1] - 终端智能体是一种运行在端侧的智能体 不再是传统意义上的智能终端 也不是完全云端运行的智能体[1] 安全挑战 - 智能体存在越权 过度代理等安全挑战 风险边界向模型行为 身份伪造 环境感知误导 算法伦理等深层问题蔓延[1] - 超过70%的智能体从业者担忧AI幻觉与错误决策 数据泄露等问题 其中超半数受访者表示所在企业尚未设立明确的智能体安全负责人[3] 解决方案 - 上海人工智能实验室 信通院 蚂蚁 IIFAA联盟联合发布《终端智能体安全2025》白皮书 首次系统梳理智能体风险分类 发现风险方法和防御风险措施[1] - 白皮书提出三大防护路径：单智能体安全 多智能体可信互连 AI终端安全[2] - 单智能体安全技术包括安全护栏 数据去毒 基座对齐和柔性管理 多智能体可信互连技术包括可信数据流转 可信服务流转 可信身份认证和可信记忆共享 AI终端安全技术包括可信隐私沙箱 跨设备可信连接[2] - 蚂蚁集团大模型安全解决方案蚁天鉴升级 新增智能体安全评测工具 具备智能体对齐 mcp安全扫描 智能体安全扫描及零信任防御等核心功能[3] - 蚁天鉴的智能体风险研判准确率达到96%以上 可支持11个行业的智能体测试[3]

医疗AI市场规模与增长 - 医疗AI市场规模2025年预计突破27亿美元 2034年将攀升至170亿美元[2] - 医疗AI化是对传统医疗模式进行革命性重构 AI正在多个关键领域变革现代医疗方式[2] 蚂蚁集团AI健康应用AQ进展 - AQ已接入269个医生智能体服务 打造首个连接智能硬件的院士智能体[2] - 与中国信通院启动国内首个《医疗健康行业智能体AI医生》标准体系 推出医生开放平台[2] - AQ入选2025WAIC"SAIL奖"TOP30和"镇馆之宝"两项大奖[3] - 已适配苹果、华为、鱼跃、欧姆龙等可穿戴和医疗设备 可同步血压血糖数据提供个性化健康信息[3] - 正发力"医生AI分身"技术 让AI复刻专家思维与诊断路径[3] AI在医疗领域的应用场景 - AI在临床一线应用中持续推进 尤其在慢病管理等高频场景加速落地[3] - 每个医生智能体上线意味着用户多了一位可7×24小时响应的专业医生助手[3] - 大模型与医生专业能力及硬件设备监测能力结合 推动真正可使用可信赖的"AI家庭医生"发展[3] 医疗AI安全技术发展 - 蚂蚁集团大模型安全解决方案"蚁天鉴"新增智能体安全评测工具 具备四大核心功能[4] - "蚁天鉴"风险研判Agent准确率可达96%以上 支持11个行业智能体测试[4] - 解决方案形成完整技术链条 提供全方位智能化的大模型安全测评和防御解决方案[4] - "蚁天鉴"新增功能与世界数字科学院《AI智能体运行安全测试标准》框架契合[5] 行业挑战与发展方向 - AI医疗正经历从"能用"到"好用"转型 面临数据孤岛和伦理规范等挑战[5] - 医护人员需接受系统培训 充分认识AI能力边界并警惕误导性信息[5] - 医疗AI应用产生的海量数据涉及患者隐私、医疗质量和科研成果 安全技术具有至关重要地位[3]

行业技术发展趋势 - AI领域正从大模型时代迈向智能体时代 智能体具备自主规划、跨领域推理及超越人类理解的决策能力 标志着AI进入"行动"阶段 [1] - 超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等安全问题 因AI生成内容常包含事实错误或指令误解 [1] - 世界数字科学院发布《AI智能体运行安全测试标准》 将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应 分析智能体全链路风险 [1] 公司产品与技术进展 - 蚂蚁集团在世界人工智能大会宣布升级大模型安全解决方案"蚁天鉴" 新增智能体安全评测工具 具备Agent对齐、mcp安全扫描、智能体安全扫描及零信任防御四大核心功能 [1] - "蚁天鉴"为蚂蚁集团联合清华大学研发的大模型安全一体化解决方案 新增功能与WDTA标准框架契合 风险研判Agent准确率达96%以上 支持11个行业智能体测试 [2] - 技术采用"以攻促防"安全理念 通过构建"对齐-扫描-防御"技术栈形成全流程防护体系 提供风险扫描与实时防御能力 未来将逐步开源开放安全工具 [2]

AI技术安全现状与挑战 - AI技术应用潜力巨大但安全问题突出，如AI换脸诈骗、大模型失控等事件引发社会关注[1] - 当前AI安全主要面临四大风险：数据隐私风险、安全攻击门槛降低、生成式内容滥用、AI内生安全不足[3] - AI内生安全不足可能导致"AI幻觉"、决策误导等问题，在医疗、金融等领域影响尤为显著[3] 数据安全防护策略 - 全生命周期数据保护是核心策略，覆盖模型引入、训练、微调及智能体开发运行各环节[4] - 具体措施包括训练数据敏感信息扫描、开源模型供应链漏洞检测、智能体安全攻击测试等[5] - 当前防护盲区集中在供应链生态风险和多智能体协作风险，智能体开发低代码化加剧安全挑战[6] 企业风险应对建议 - 企业需建立长期安全部署，加强内部制度流程建设，而非依赖短期安全产品[8] - 重点关注三类风险：AI服务安全水位不均、企业内数据流转失控、新型大模型攻击[8] - 初期应强化模型数据引入审查及AI服务开放前测试，降低供应链风险影响[9] 平台治理与行业标准 - 平台方需承担智能体开发一线管控责任，但跨平台治理需政府监管介入[7] - 行业标准是构建安全生态的基础框架，可统一技术规范、降低中小企业安全门槛[17] - 蚂蚁集团已参与制定80余项AI安全国际国内标准，2024年将发布智能体安全新信息[17] 技术创新与安全平衡 - AI安全与创新发展相互促进，需动态更新安全策略并利用AI技术升级防御[16] - 风险控制需精细化，结合用户意图判断风险而非简单拦截，提升隐私保护技术[9] - 服务引导策略优于强制拦截，可通过官方入口引导满足用户需求[10] 蚂蚁集团实践案例 - 推出"蚁天鉴"大模型安全解决方案，包含安全检测平台和风险防御平台[11] - 检测平台采用对抗学习实现"以攻促防"，防御平台覆盖模型全生命周期[11] - 方案已应用于数十家外部机构，保护医疗、金融、政务等领域大模型安全[12] 数据安全战略定位 - 大模型数据安全兼具技术保障和战略竞争力双重属性[13] - 全球数据安全法规竞争激烈，AI安全治理框架成为各国争夺话语权领域[14] - 新加坡和中国相继发布AI治理框架，强调数据在生成式AI中的核心作用[14] AI安全未来趋势 - 安全能力嵌入AI基础设施实现"出厂即安全"，降低应用环节投入[15] - 发展特定安全技术如数字水印，解决中小企业应用风险[15] - 需建立多层次AI安全治理体系，关注数据透明度、深度伪造防范等[15]

生成式AI技术应用与风险 - 生成式AI在数据分析、智能交互、效率提升等领域展现巨大潜力，为解决复杂问题提供新思路[1] - AI换脸诈骗、大模型拒绝关闭等事件凸显技术滥用、伦理道德、隐私保护等风险[1] - AI技术安全风险包括数据隐私、攻击门槛降低、生成内容滥用、内生安全不足四大类[2][3][4] AI安全防护策略 - 全生命周期数据保护是防范数据泄露核心策略，覆盖模型引入、训练、微调及智能体开发全流程[5] - 训练数据需扫描敏感信息并标识来源，开源模型需供应链漏洞检测以防止后门攻击[6] - 智能体发布前需安全攻击测试，运行中持续监测风险[6] 当前防护策略的盲区与挑战 - 供应链和生态风险突出，开源组件广泛使用增加漏洞可能性[7] - 智能体开发"低代码化"导致治理滞后，恶意智能体可能诱导用户访问钓鱼网站[7] - 多智能体协作缺乏可信认证机制，存在身份伪造风险[7] 企业应对AI风险的实践建议 - 企业需远期部署安全制度、流程及防御技术，加强模型引入审查和对外开放前测试[9][10] - 风险控制需精细化，结合用户意图定性风险，避免"一刀切"拦截策略[10][11] - 蚂蚁集团推出"蚁天鉴"安全解决方案，包含检测平台和防御平台，已开放给数十家外部机构[12][13] AI安全未来发展趋势 - 安全能力嵌入AI基础设施，实现"出厂即安全"以降低应用环节成本[15] - 突破数字水印、知识库隐私保护等特定技术，解决中小企业安全风险[16] - 行业标准将统一技术规范、协调多方利益，降低中小企业安全门槛[18][19] AI安全与创新的平衡 - 安全与创新互相成就，利用AI对抗AI升级防御能力[17] - 蚂蚁集团参与制定国内外AI安全标准80余项，推动行业共识与规范创新[19]