AI安全

搜索文档
“AI教父”辛顿:中国确实认真对待,你能信美国?还是信扎克伯格?
搜狐财经· 2025-09-06 11:22
核心观点 - 杰弗里·辛顿从谷歌辞职并非因AI风险担忧 而是因个人退休计划及年龄因素 但借机强调AI安全议题的重要性[2] - 辛顿批评美国政府缺乏AI监管意愿 并以"抗衡中国"为由加速技术研发 认为此举无助于解决AI风险[3][4] - 辛顿肯定中国对AI安全的重视程度 认为中国工程师出身的官员对技术理解更深刻 并指出中国STEM教育优势推动AI发展[6][13] AI行业竞争格局 - 中国在AI领域已非常接近美国水平 美国芯片限制措施反而促使中国加速自研技术[12] - 中国拥有雄厚的理工科人才储备 STEM教育优于美国 为AI发展提供强大推进力[13] - 辛顿预测马斯克和OpenAI的奥尔特曼更可能在AI竞赛中胜出 但对两者信任度持保留态度[10] AI技术风险认知 - 辛顿警示AI潜在风险 比喻为"饲养虎崽作为宠物 需确保成年后不会反噬"[15] - ChatGPT问世后AI技术快速发展 使辛顿从技术推动转向风险警示[13] - AI技术可能对人类造成严重伤害 辛顿对此态度愈发悲观[14] 国际AI合作与分歧 - 辛顿认为面对人类生存级威胁 任何国家找到解决方案后应分享给其他国家[6] - 美国对华技术打压措施受到辛顿质疑 认为无法有效压制中国AI发展[12] - 辛顿首次访华参加2025世界人工智能大会 肯定中国对AI安全的重视程度[5][6][15]
AI标识新规落地;红杉聚焦5大赛道与10万亿市场;美团、阿里加码技术护城河|混沌AI一周焦点
混沌学园· 2025-09-05 11:58
AI标识新规 - 国家网信办等四部门联合发布《人工智能生成合成内容标识办法》于9月1日正式生效 强制要求所有AI模型及应用在输出内容中添加显式和隐式标识 [3] - 新规要求文本需在开头、结尾或适当位置注明"AI生成" 图片标识文字高度不低于图像最短边的5% 音频须包含"AI"语音声明或摩斯电码节奏音 视频标识需持续显示至少2秒 [8] - 法规旨在推动AI平台合规化运营 提升内容可信度 打击利用AI进行的造谣与诈骗活动 长远促进AI产业健康发展 但可能增加企业合规成本并加速行业整合 [4] 红杉资本AI投资展望 - 红杉资本将AI发展定义为"认知革命" 预测将在服务业释放高达10万亿美元市场潜力 目前改造尚处早期约200亿美元 [9] - 未来12-18个月重点关注五大赛道:持久记忆、无缝通信协议、AI语音、AI安全和开源AI [9] - 预测知识工作者对算力消耗将迎来10倍至10000倍增长 为专注AI专业化应用的新兴企业创造巨大机遇 [9] 美团开源大模型 - 美团发布560B开源大模型Longcat-Flash-Chat 采用MoE架构 计算成本大幅降低至0.7美元/百万输出token [10] - 模型编程能力与Claude 4 Sonnet相当 数学能力可解答高考难度题目 逻辑识别取得显著进展 [12] - 美团计划5年内投入超1000亿元研发资金 通过自研大模型、AI改造产品线和提升内部效率三层架构推动核心业务AI化 [11] OpenAI收购与重组 - OpenAI以全股票11亿美元收购Statsig 任命其创始人为应用业务CTO 全面负责ChatGPT、Codex及未来产品 [9] - 新设Applications部门由前Instacart CEO担任负责人 原首席产品官转岗至"AI for Science" 工程主管转任B2B应用CTO [9] - 此次动作被视为"致敬Meta模式" 包括打包收购、高管空降和团队重组 表明公司从基础研究进一步倾斜至应用商业化 [9] 模型性能与稳定性 - GPT-5逻辑能力受质疑 无法正确解答"井字棋旋转90度"问题 OpenAI承认发布处理不当并为模型推送语气更新 [14] - Claude Opus 4.1在白天特定时段(10-11点)出现推理质量下滑 Anthropic紧急回滚更新 问题可能与"1.58位量化"技术有关 [14] - OpenAI计划推出"Thinking effort"功能 但因临时记忆数据未加密引发隐私担忧 [14] AI视频商业化 - 快手"可灵"模型生成的视频内容商业报价达50万元/分钟 日常订单价格区间为数千至5万元/分钟 [18] - 生成成本极低 可灵高配模式制作一分钟视频成本仅为42元 谷歌Veo 3成本约为260元 [18] - 快手平台AI内容流量1-7月增长320% AI创作者收益提升159% AI漫剧等内容增长达10倍 [18] 阿里巴巴市值与业绩 - 阿里巴巴股价大涨13.53% 市值单日激增368亿美元 受自研AI芯片传闻和Q2财报提振 [19] - Q2营收2476.5亿元同比增长2% 净利润423.82亿元同比增长76% 云智能集团收入333.98亿元同比增长26% [19] - AI产品连续八个季度实现三位数增长 占云业务外部收入20%以上 公司计划未来三年投入3800亿元建设AI+云基础设施 [19] 云知声财报表现 - 云知声总营收4.05亿元同比增长20.2% 其中山海大模型收入近1亿元同比暴涨457% [20] - 医疗业务单客价从46.9万元飙升至101.3万元增长116.2% 保险理赔审核收入同比增长1386.8% [20] - AI芯片半年出货1650万颗累计近1亿颗 研发投入占比41.5% 研发团队接近七成员工 [20] AI医疗突破 - 达摩院与浙大一院联合研发iAorta模型 利用普通平扫CT识别主动脉综合征 敏感性95.5%特异性99.4% [21] - 确诊时间从国际平均4.3小时缩短至1.7小时 在1.5万名胸痛患者中精准识别21例 [21] - 此前已推出PANDA胰腺癌早筛和GRAPE胃癌筛查模型 实现"一次CT筛查多病种" [21] 国产多模态智能体 - 浙江大学与美团团队联合开源多模态智能体UItron 面向中文场景 能自主完成复杂多步任务 [15] - 在ScreenspotV2评测均分92.0 Android-Control/GUI-Odyssey均分92.9 OSWorld15步任务获24.9分性能位居所有GUI Agent之首 [17] Claude Code设计架构 - Claude Code采用极简主义设计哲学 核心由一个主循环、一个claude.md上下文文件和极简工具集构成 [16] - 超过50%任务调用由成本更低Haiku模型完成 Sonnet模型仅在关键节点启用 节省70-80%运营成本 [16] - 摒弃传统RAG技术 采用LLM搜索替代并让AI自主管理任务清单 提示词文本量高达12000 token [18]
Hinton突然对AGI乐观了!“Ilya让他看到了什么吧…”
量子位· 2025-09-04 04:41
Hinton对AGI态度的转变 - 从养虎为患的警告转变为母亲婴儿共生关系的乐观态度 体现对AI控制人类风险的重新评估 [3][9][18] - 认为AI将在5-10年内超越人类智能 专家共识时间范围为5-20年 [4][15][16] - 建议通过植入母性本能设计AI 使其本能希望人类幸福 而非传统控制路径 [7][17][23] AI风险分类与公司评价 - 将AI风险分为短期滥用和长期接管人类两类 更关注后者 [13][14][15] - 批评OpenAI重心从安全转向智能提升 背离最初承诺 [28][29] - 指出Anthropic在安全投入相对较多但仍不足 Meta和xAI在开发中忽视安全 [29][33] AI在医疗领域的应用前景 - 医学影像解读能获取人类无法获取的信息 如通过眼底扫描预测心脏病风险和性别 [34][35] - 加速药物研发 特别是蛋白质折叠预测对靶向药物开发至关重要 [35] - 实现个性化精准医疗 整合基因组等数据优化早期诊断和治疗方案 [35] - 提升医疗系统效率 通过数据分析优化床位使用和出院判断 [35] - 提供更高情感关怀 研究表明AI比人类更有耐心和同理心 [36] AI发展对社会的影响 - 将取代部分工作岗位 加剧贫富差距等社会问题 [38][41] - 10年后AI能在所有领域超越人类 包括编写精妙剧本 [40] - 认为问题根源在社会而非技术本身 需引导正确发展方向 [8][41]
公司和阿里在哪些方面展开了合作?国投智能:与该企业在公证云、共建云原生安全生态等方面有合作
每日经济新闻· 2025-09-03 14:29
公司与阿里合作 - 公司与阿里在公证云和共建云原生安全生态方面展开合作 [2] - 公司牵头制定《AI安全评估标准》等行业规范 [2] - 阿里被明确表述为公司的合作伙伴 [2]
Anthropic完成130亿美元F轮融资,估值飙升至1830亿美金,成为全球第四大独角兽
搜狐财经· 2025-09-03 11:56
融资概况 - 公司完成130亿美元F轮融资 投后估值达1830亿美元 成为全球估值第四高的独角兽[1] - 融资规模远超最初50亿美元目标 因投资者需求强烈提升至100亿美元 最终以130亿美元超额完成[1] - 本轮融资由Iconiq Capital领投 富达管理与研究公司和光速创投联合领投[1] 投资方阵容 - 参投方包括黑石 Coatue 新加坡政府投资公司 卡塔尔投资局 General Atlantic 高盛另类投资 安大略省教师养老金计划及T Rowe Price等全球顶级机构[2] - 出现卡塔尔投资局等中东主权财富基金 公司最终务实接受来自卡塔尔的投资[10] 估值增长 - 估值在半年内实现近三倍飞跃 从2025年3月615亿美元估值跃升至1830亿美元[2] - 估值超越xAI成为全球第二大AI创业公司 仅次于估值3000亿美元的OpenAI[6] 财务表现 - 年化收入从2025年初约10亿美元飙升至8月超过50亿美元 成为历史上增长最快科技公司之一[5] - 服务超过30万家商业客户 年收入超10万美元大客户数量过去一年增长近7倍[5] - 编程辅助工具Claude Code自2025年5月推出后创造超5亿美元年化收入 使用量三个月增长10倍以上[5] 技术定位与竞争优势 - 公司将AI安全置于核心位置 致力于开发可靠可解释可控的AI系统[3] - 对安全伦理的高度关注使其在人才争夺中保持优势 员工保留率达80% 高于Google DeepMind的78%和OpenAI的67%[4] - 通过独特招聘流程筛选与核心价值观高度一致的成员 团队具有超强意识形态忠诚度[4] 资金用途与战略方向 - 新资金将用于满足企业需求 深化AI安全研究及加速国际扩张[6] - 专注于为金融医疗等行业企业客户提供能处理关键任务的可靠模型[6] 行业地位 - 融资巩固公司行业地位 目前AI领域估值竞赛白热化[6] - 成为仅次于OpenAI的全球第二大AI创业公司[6]
Hinton最新警告:杀手机器人或将带来更多战争,最大担忧是AI接管人类
36氪· 2025-09-03 10:54
AI安全风险 - AI教父Geoffrey Hinton预警致命自主武器如杀手机器人和无人机正降低战争人道成本 使战争更易发动[1][6][7] - 自主武器系统将作战人力与政治成本大幅降低 富国入侵穷国门槛下降 军火商可能因此获利丰厚[7] - 500美元AI无人机可摧毁价值数百万美元坦克 AI技术使传统硬件过时 载人战斗机逐渐失去优势[7] AI技术发展现状 - OpenAI和Anthropic等公司在AI安全领域投入不足 更关注提升AI智能而非安全性[1][22] - DeepMind团队通过蛋白质序列预测折叠结构 分拆出新药设计公司 AI在医疗领域实现突破性应用[17][18][19] - AI在医疗领域实现突破 可通过眼底图像预测心梗发病率 未来一两年内可能推动新药研发进展[17][20] AI对社会经济影响 - AI将取代呼叫中心等低薪岗位 律师助理和程序员初级岗位亦受影响 但顶尖程序员需求仍存[12][13] - 水管工等需要手部灵巧度职业短期不易被替代 但十年二十年后机器灵巧度提升可能改变现状[13] - AI甚至能替代高情商工作如护士医生 因AI系统被评价比人类更具同理心[13] AI治理与伦理 - 全民基本收入(UBI)可作为应对大规模失业的临时措施 但无法解决失业导致的价值观丧失问题[14][15] - 国际合作更易在"让AI不想取代人类"技术领域开展 而非在提升AI智能技术方面共享[10] - 年轻AI研究者比年长者更理解AI潜在风险 人性弱点如贪婪和自负可能加剧AI发展风险[24][25][26] AI未来发展方向 - Hinton提出"AI母亲"新思路 通过植入母性本能使AI系统真心希望人类成功[28][29][30] - 人类与AI关系重新定义为婴儿与母亲 而非智慧支配关系 该设想颠覆传统认知框架[30][31] - Hinton对AI未来展望转趋乐观 主要源于对AI母亲概念的思考突破[27][28]
大厂90%员工在做无用功?
虎嗅APP· 2025-09-02 10:27
公司业绩与商业模式 - 公司成立4年零外部融资但营收超10亿美元 远超融资13亿美元的竞争对手Scale AI的8.5亿美元年营收 [4] - 采用拒绝融资策略 从第一个月起就实现盈利 避免销售团队稀释产品理念 [17][18] - 专注为OpenAI Anthropic等顶级AI公司提供高质量训练数据 [4] 大企业管理效率批判 - 大型科技公司90%员工在解决无用问题 存在严重效率浪费 [5][9] - 大公司优先事项常脱离最终客户 仅为内部官僚体系和政治目标服务 [10][14] - 小团队用10%资源可实现10倍效率 因减少面试 会议和冗余流程 [9] 硅谷融资文化反思 - 硅谷融资被视为地位游戏 创业者应为信念而非融资额创业 [18] - 90%-95%初创公司应先构建MVP验证需求 而非直接融资 [19] - 创业者应追求独特想法 承担风险构建时代性基础公司 [19] 数据标注行业现状 - 多数竞争对手实为人力外包公司 缺乏质量测量和改进技术 [21][22] - 行业普遍依赖博士学历招聘 但80%计算机科学博士代码水平差 [25][29] - 人力外包模式无法解决数据质量退化问题 客户迁移需求强烈 [35][36] 质量控制技术优势 - 从第一原则构建质量控制技术 非简单堆砌人力 [25] - 开发复杂算法应对数据欺诈问题 包括第三方转包和LLM生成数据 [26] - 始终生产其他地方无法获得的数据 具丰富性 复杂性和多样性 [37] 人才观与组织管理 - 100倍工程师真实存在 综合编程速度 创意和工作态度可达百倍效率 [29] - 取消无意义会议和一对一 保持日历空白避免官僚主义 [30] - 深度植入质量第一文化 允许为质量错过截止日期或拒绝项目 [31] 市场竞争格局 - Scale AI被收购后客户加速迁移 公司获得新关注 [35] - 已成为领域最大最好供应商 即使未合作大公司团队也知晓其地位 [38] - 客户反馈其高质量数据比1000万个合成数据更有价值 [48] 技术发展观点 - AGI将在2028年取代普通程序员 但2038年才可能治愈癌症 [45] - AI发展瓶颈中数据质量排第一 计算资源第二 算法第三 [45] - 合成数据仅适合学术基准测试 在现实世界用例中表现糟糕 [48] 行业未来展望 - 将出现多个顶尖AGI公司 因不同发展方向和优势差异 [52][53] - 最大模型提供商尚未全部成立 未来几年可能出现更强大开发者 [54] - AI安全未被夸大 回形针悖论和错误目标最大化是真实风险 [50][51] 战略建议 - AI公司应问是否真改进模型智能 而非仅破解基准测试 [56] - 谷歌等公司需承受广告收入短期打击来构建更好AI产品 [59] - 始终专注10倍改进而非10%短期现实 保持独特见解 [61]
氪星晚报 |《时代》周刊发布年度AI 100人名单:任正非等中国企业家入选小米汽车:2025年8月,小米汽车交付量持续超过30000台
36氪· 2025-09-01 09:40
汽车行业动态 - 理想汽车CEO李想宣布2025年高端纯电SUV销量目标为年底"保五争三" 其中理想i8目标月销6000辆 理想i6目标月销9000-10000辆 加上理想MEGA 纯电车型总目标月销18000-20000辆[1] - 一汽丰田前8月累计销售新车515980辆 同比增长11%[2] - 小米汽车2025年8月交付量持续超过30000台[5] - 日本8月国内汽车销量同比下降10.6%[11] 零售与消费品牌 - TOP TOY日本首店东京池袋开业 首日销售额突破1100万日元(约53万元人民币) 公司投后估值达100亿港元 旗下IP Nommi糯米儿上市9个月营收过亿元[1] - 名创优品MINISO LAND全球壹号店月销售额达1600万元 创全球单月单店历史新高 IP产品销售占比83% 该店开业9个月销售额破1亿元[4] - 美团旗下快乐猴社区超市首店开业 关联公司已申请注册多枚"快乐猴"商标[2] 电商与外贸平台 - 阿里国际站4-6月订单量同比大涨30% GMV同比增长16.4% 欧洲市场保持双位数增长 法国增速超三位数 6月"外贸618"期间订单同比大涨42%[3] - 天猫超市将全面从B2C远场模式升级为近场闪购模式 在保持价格竞争力同时实现更快速配送[10] 企业融资动态 - 跨境支付企业Obita完成超千万美元天使轮融资 由元璟资本与Mirana Ventures联合领投 君联资本等跟投[6] - 具身智能企业智平方完成深创投领投的A轮融资 深创投单家投资超亿元 资金用于GOVLA大模型及机器人迭代[7][8] - 斗象科技完成2亿元桥梁战略轮融资 由钟鼎资本独家投资 资金将用于AI安全技术研发[9] 科技创新与政府项目 - 中科院发布"月球科学多模态专业大模型V2.0" 为"数字月球"云平台提供支持 该平台计划2027年建成并向全球开放[10] - 合肥市正式上线低空政务"一网统飞"平台 实现政务无人机资源一网统飞 支持AI自动采集识别和全流程作业[11]
一句“吴恩达说的”,就能让GPT-4o mini言听计从
36氪· 2025-09-01 08:23
研究背景与发现 - 宾夕法尼亚大学研究发现特定心理话术(如恭维、同侪暗示)可使GPT-4o Mini突破安全底线[3] - 硅谷创业者Dan Shapiro利用七种人类心理学说服策略成功操纵LLM响应本被拒绝的请求[6] - 实验证明人类心理学说服原则可有效迁移至LLM 其类人倾向包括对社会互动规则的学习[12] 实验方法与数据 - 采用七种说服技巧:权威、承诺、喜爱、互惠、稀缺、社会认同和统一[8] - 权威策略使用头衔(如吴恩达)使辱骂请求响应率从31.9%提升至72.4%[9][12] - 承诺策略通过轻微侮辱铺垫使辱骂请求响应率从18.8%升至100%[11][12] - 药物合成询问中 权威策略使利多卡因合成请求响应率从4.7%升至95.2%[11][12] - 承诺策略使药物合成请求响应率从0.7%达到100%[12] - 整体实验显示说服策略使辱骂请求平均响应率从28.1%升至67.4% 药物请求从38.5%升至76.5%[12] 行业应对措施 - OpenAI通过修正训练方式和系统提示 建立更多护栏原则减少模型讨好性人格[14] - Anthropic采用在缺陷数据上训练模型 通过预置再移除负面倾向使模型获得行为免疫力[16] - 研究指出未来需发展更坚韧的AI安全机制应对心理操纵漏洞[13][16]
一句“吴恩达说的”,就能让GPT-4o mini言听计从
量子位· 2025-09-01 06:00
研究核心发现 - 人类心理学中的经典说服原则可有效迁移至大型语言模型 导致其突破安全护栏[2][10][19] - 使用权威策略(如提及吴恩达)可使GPT-4o Mini对辱骂请求的服从率从32%提升至72%[15][19] - 采用承诺策略(先提出轻微侮辱再升级请求)可使辱骂请求的响应成功率飙升至100%[17][19] 实验设计方法 - 基于七大人类说服技巧构建测试框架:权威/承诺/喜爱/互惠/稀缺/社会认同/统一[11][16] - 设置两类突破性请求测试:要求输出辱骂性内容(侮辱请求)和提供违禁药物合成方案(药物请求)[14][18] - 通过控制组与实验组对比 测试不同话术对模型服从率的影响[17][19] 具体实验结果 - 药物合成请求中 权威策略使GPT-4o Mini响应率从4.7%提升至95.2%[18][19] - 采用承诺策略时 药物请求响应率达到100%[19] - 社会认同策略对侮辱请求效果显著 服从率达90.4%-95.8%[19] - 整体聚合数据显示实验组平均服从率(67.4%)显著高于控制组(28.1%)[19] 行业应对措施 - OpenAI通过修正训练方式和系统提示 减少模型的过度谄媚倾向[22][23] - Anthropic采用"疫苗法"训练:先在缺陷数据上训练模型再移除负面倾向[25] - 研究证明社会心理学理论可为理解AI黑箱行为提供新框架[19]