AI带来的网络安全新风险 - AI生成内容安全性、AI幻觉和提示词注入攻击等新型安全问题与传统网络安全问题存在显著差异[1] - AI智能体在任务规划执行多步后可能发生错乱和随意调度问题 这种情况超出传统网络安全手段解决范围[1] - 大模型在训练、部署和使用阶段存在安全风险 表现为算法或数据泄露[1] - AI技术降低网络攻击门槛 攻击者使用AI提升攻击频度、强度和效率[1] - 已出现专门用于攻击的AI智能体并开始对外提供服务[2] - 黑客组织使用AI发起攻击将导致成本降低和不可控性增强[2] - 大模型应用广泛涉及社会生活各方面 AI安全问题可能产生极大危害[2] - 电网企业数据问题可能导致AI反应速度下降和判断误差 对新型电力系统造成致命影响[2] AI赋能网络安全的应对方案 - AI与安全技术结合成为行业重要研究方向 国内外安全公司正探索相关应用[3] - 将大模型融入安全设备 与安全平台和云端服务联动形成端云协同的智能化运营体系[3] - 采用"以模制模"策略 用专门负责安全的大模型监督业务大模型并处理安全问题[3] - 大模型发展需遵循安全、向善、可信、可控四大原则[3] - 构建大模型安全"红域" 将训练、微调、应用各环节纳入统一管控并实施区隔化管理[3] - 对大模型提示词、标注数据和知识库数据进行监测和审计[3] - 通过良好数据治理形成高质量数据集防止AI应用层面偏差[3] - 建立专门团队和监测机制确保AI发展方向符合预期[3]