Workflow
大模型安全评估系统
icon
搜索文档
新闻速递 | 我国城市在全球创新格局中优势持续增强
人民日报· 2025-11-30 22:22
全球科技创新格局与中国城市表现 - 清华大学与自然科研智讯联合发布的《国际科技创新中心指数2025》报告显示,我国城市在全球创新格局中的优势持续增强 [1] - 该指数采用30个指标,评估了113个国际科技创新中心参评城市和12个微型科技创新中心参评城市 [1] - 在评估排名前10强城市(都市圈)中,北京得分连续4年位列前三,粤港澳大湾区跃升至第四位,上海排名第十位 [1] - 北京在科学中心维度首次登顶,粤港澳大湾区在创新高地维度跃升至第二名 [1] - 中国此次共有21个城市(都市圈)入围全球百强 [1] 人工智能科研发展与合作 - 2025国际人工智能科学家大会在北京举办,由北京中关村学院、中关村人工智能研究院联合清华大学、西湖大学共同主办,美国芝加哥大学协办 [2] - 大会探讨了人工智能从科研辅助工具向“智能科研伙伴”的演进之路 [2] - 会上发布了由北京中关村学院与中关村人工智能研究院开发的科研智能体系统,旨在助力科研人才全流程培养 [2] - 该系统以“元科学洞察”与“学者数字孪生”双引擎驱动,前者用于理解科学逻辑、识别问题并预测前沿,后者用于提供个性化支持与协同优化 [2] 人工智能安全产品与解决方案 - 绿盟科技集团近日发布了多款大模型安全产品,包括大模型安全评估系统和人工智能安全一体机 [3] - 大模型安全评估系统能对多款主流大模型进行自动化深度扫描,精准发现对抗攻击、数据泄露及组件漏洞等风险 [3] - 人工智能安全一体机集成了敏感数据防泄漏、精细化算力调度等关键能力 [3] - 绿盟科技持续深化应用创新和产品落地,推动传统安全产品融入智能能力,并顺应大模型应用趋势推出系列化创新解决方案 [3]
看AI攻防博弈:技术升级、人才仍缺
中国新闻网· 2025-09-29 10:10
AI大模型安全漏洞与测试 - 国内首次AI大模型实网众测累计发现281个安全漏洞,其中大模型特有漏洞占比超60% [1] - 测试发现的安全漏洞涵盖提示注入、信息泄露等典型风险 [1] AI安全威胁手段 - 攻击者通过研究AI学习偏好有针对性地“投喂”信息,甚至有组织地进行“数据投毒” [1] - “数据投毒”手段包括伪造专家身份、虚构研究报告等方式向AI输入虚假信息以操纵输出结果 [1] 行业技术防御方案 - 华为发布星河AI网络安全解决方案,威胁自动化处置率达99%,未知威胁检出率达95% [1] - 蚂蚁消金通过多模态感知与大小模型协同,虚假证件识别准确率达98%,语音伪造检测覆盖50余种合成方式 [2] - 绿盟科技发布大模型安全评估系统,实现对140余款主流模型的自动化深度扫描,精准发现内容安全、对抗攻击等风险 [2] 监管与治理框架 - 《人工智能安全治理框架》2.0版于9月15日在国家网络安全宣传周发布 [1] - 蚂蚁消金2024年以来联合司法机关查处12家非法金融中介,涉案人员超200人,实现技术治理与司法联动 [2] - 绿盟科技评估系统能够出具符合国家《生成式人工智能服务安全基本要求》的评估报告 [2] 网络安全人才现状 - 2025年全球网络安全人才缺口升至480万,同比增长19% [2] - 美国需求51.4万个在线岗位,实际填补率不足三分之二 [2] - 截至2024年底中国持证在岗人员约32万,792所普通高校开设网络安全专业,占高校总数27.1% [2] - 中国高校中65.9%已在2025年新增AI安全课程,较去年跃升15个百分点 [2]
网络安全企业加速AI创新 新产品竞相落地
中国证券报· 2025-09-23 20:26
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统及相关服务解决方案,针对客户AI系统不同应用模式提供场景化防护[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 启明星辰安星智能体应用于安全运营、威胁检测及数据安全领域,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型、5G专网及数智运营三大增长引擎[3] - 蚂蚁集团发布融合AI与网络安全的产品,包括智能眼镜可信连接技术框架gPass,已与Rokid、小米等品牌合作落地"看一下支付"场景,并展示AIGC滥用检测及深度伪造防御解决方案[2] AI技术带来的行业机遇与挑战 - AI技术帮助网络安全行业提升效率和完善产品性能,同时带来新型安全风险[1] - Gartner预计到2027年60%中国大型企业将在安全运营中心采用暴露面管理技术,到2028年60%部署AI技术的中国企业将实施协作式AI防御策略(目前仅5%)[4] - 企业应用AI大模型需警惕提示词注入、模型诱导等风险,行业主要依赖电子围栏技术防止违规输出[4] - 工具链漏洞和配置错误可能导致严重数据泄露,需加强软件供应链安全如版本漏洞管理和代码审计[5] - 大模型既是生产力工具也可能成为攻击载体,导致数据资产和商业机密面临暴露风险[5] - 智能体应用拥有企业内网超级权限,带来爆炸式安全风险,建议企业加强跨部门协作并部署特权账号管理系统[5] AI安全防护体系建设 - AI大模型备案应成为强制性要求,模型厂商需通过网信部门基础评估以提前识别风险[6] - AI大模型风险需专业安全厂商持续投入,检测与防御将走向一体化,客户需从产品开发到代码审计全流程规划[6] - AI运营单位可通过合规评估、部署专项防护(如AI安全围栏)及引入第三方评估(渗透测试和安全评估)构建防护体系[6] - 通过安全手段建立信任可推动数据流通,全面应用AI技术将为各行业释放巨大价值[6]
网络安全企业加速AI创新新产品竞相落地
中国证券报· 2025-09-23 20:16
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统等产品,针对客户AI系统不同应用模式提供场景化服务[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 蚂蚁集团发布融合网络安全与AI技术的创新产品,包括智能眼镜可信连接技术框架gPass,并与Rokid、小米等品牌合作落地"看一下支付"场景[2] - 启明星辰安星智能体应用于安全运营、威胁检测等产品,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型应用与交付、5G专网与应用、数智运营三大增长引擎[3] AI技术带来的行业机遇 - AI技术帮助网络安全行业提升效率和完善产品性能[1] - 大模型能显著提升网络安全企业能力和效率,产生"乘数效应"[4] - AI技术应用为各行业带来爆发式增长,通过安全手段建立信任可推动数据流通并释放巨大价值[5] AI应用的新型安全风险 - 企业应用AI大模型需警惕提示词注入、模型被诱导等风险,行业主要依赖电子围栏技术防止违规输出[3] - 工具链漏洞和配置错误可能导致严重数据泄露,需重视软件供应链安全和基础安全措施[4] - 大模型带来恶意利用、内容安全、幻觉问题、提示词攻击等风险,可能成为新攻击载体和入口[4] - 智能体应用带来爆炸式安全风险,因其常拥有企业内网超级权限,需加强跨部门协作和动态防御体系[4] AI安全防护策略与行业趋势 - Gartner报告显示中国网络安全重点转向保障AI安全,预计到2027年60%中国大型企业采用暴露面管理技术,到2028年60%部署AI技术企业实施协作式AI防御策略[3] - 专家建议AI大模型备案成为强制性要求,模型厂商需进行基础评估以识别风险[5] - AI大模型运营单位可通过合规评估、部署专项防护(如AI安全围栏)、引入第三方评估构建防护体系[5] - 云计算安全问题需引起重视[3]