预测式AI工具的应用与宣传 - EAB Navigate等AI工具声称能通过自动化预测提供宝贵洞察，帮助判断学生的学业成功潜力[1] - Upstart的AI贷款审批模型宣称比传统系统更精准，3/4的贷款决策无需人工干预[9] - HireVue的自动化招聘工具声称可预测候选人工作表现，并标榜为快速、公平、灵活[9] - 预测式AI在医院、雇主、保险公司等机构迅速普及，主要卖点是能重新利用已收集的行政管理数据实现自动化决策[9] 预测式AI的潜在风险与缺陷 - 基于历史数据的预测可能混淆相关性与因果关系，如肺炎预测模型错误得出哮喘患者风险较低的结论[12][13] - 模型训练数据可能无法反映真实目标，如Optum模型用医疗费用替代医疗需求预测，导致对黑人患者的种族偏见[29][30] - COMPAS系统使用逮捕记录而非犯罪记录预测再犯风险，可能放大执法体系中的种族歧视[31] - 模型在部署到新环境或面对策略性行为时性能可能下降，如招聘AI受简历格式、背景等无关因素影响评分[18][19] 自动化决策系统的实际失败案例 - 荷兰福利欺诈算法错误指控约3万名家长，使用国籍作为预测因素，导致政府内阁辞职并被罚款370万欧元[20][21] - 美国密歇根州算法错误收取2100万美元失业欺诈费用，澳大利亚"机器人债务丑闻"错误追讨7.21亿澳元[21] - 多伦多海滩水质预测工具在实际使用中64%的错误情况下未关闭海滩，人工监督形同虚设[22] - 美国联合健康集团的AI决策系统错误率超过90%，但员工被要求服从AI判断[23] 数据代表性不足导致的偏差 - ORAS系统仅基于俄亥俄州452名被告数据训练，却在全国推广使用[24] - PSA系统使用全美300个司法管辖区150万人数据，但在犯罪率低的库克县将大量被告错误标记为高风险[25][26] - 阿勒格尼县儿童虐待风险工具仅依赖公共福利数据，无法评估富裕家庭，不成比例针对贫困群体[26][27] 行业对预测式AI的过度依赖 - 开发者常采用"诱饵与调包"策略，宣传全面自动化优势，出现问题后强调需人工监督以规避责任[22] - 即使存在理论上的监督机制，因时间限制、专业不足或权限问题，实际监督往往不充分[23] - 人类固有的随机性焦虑驱使决策者接受有缺陷的预测系统，而非承认未来的不可预测性[35][36]

预测式AI的核心问题 - 预测式AI基于历史数据做出预测，但相关性不等于因果关系，可能导致灾难性决策，如医疗AI模型错误判断哮喘患者肺炎风险较低[18] - 系统无法预测自身决策对环境的改变，当部署到新场景时，历史数据的准确性无法保证决策质量[19][21] - 预测式AI的营销宣传常夸大效用，但实际开发依赖人类决策和带有偏见的数据，承诺的公平性和效率优势缺乏可靠证据[13][15] 预测式AI的应用缺陷 - 自动化招聘工具易被表面因素操控，如视频面试背景、简历格式或关键词填充，这些修改不影响实际工作能力却改变AI评分[24][25] - 刑事司法系统使用COMPAS等工具预测犯罪风险，但依赖逮捕记录而非犯罪记录，加剧种族偏见，黑人因相同行为比白人更易被标记高风险[42] - 医疗资源分配模型如Optum Impact Pro用医疗费用替代健康需求预测，使已获更好服务的群体持续获得资源，放大种族不平等[40][41] 数据与系统局限性 - 模型训练数据常与目标群体不匹配，如PSA系统基于全美数据但无法适应低犯罪率地区，导致高风险误判和不当监禁[33][34] - 儿童虐待预测工具仅覆盖使用公共服务的低收入家庭数据，无法评估富裕家庭，造成对弱势群体的过度聚焦[35][43] - 依赖现有数据而非专门收集新数据，如医疗领域缺乏随机对照试验验证，使决策可靠性存疑[20] 过度自动化与监管失效 - 荷兰福利欺诈算法错误指控3万名家长，使用国籍作为预测因素，缺乏申诉机制导致严重社会后果[28][29] - 系统声称有人工监督但实际未修正决策，如多伦多海滩水质预测工具64%的错误未纠正，联合健康集团员工被要求服从90%错误的AI决策[30][31] - 自动化偏见广泛存在，75%飞行员在模拟实验中因系统错误警报关闭正常引擎，显示过度依赖自动化风险[31] 行业影响与商业动机 - 预测式AI被医院、雇主、政府等广泛用于资源分配，但商业激励促使公司选择易于量化的替代指标（如医疗费用）而非真实目标[41] - 招聘领域约3/4美国雇主使用自动化筛选工具，过程不透明使候选人策略性修改申请材料，而非提升实际技能[24][26] - 企业对随机性的恐惧驱动预测式AI应用，试图在人才识别等不确定任务中强加模式，而非接受固有随机性可能带来更公平结果[48][51]

想象在一个平行宇宙，人们没有专门的词汇来区分各种交通方式，而是统一用"交通工具"来指代一切从 地点A到地点B的出行手段，包括自行车、汽车、公交车、宇宙飞船等。在这个世界里，交流变得混乱 不堪。人们激烈争论交通工具是否环保，却没有意识到，一方谈的是自行车，而另一方指的是卡车。某 天,火箭技术取得了重大突破，但媒体只笼统地报道交通工具的速度提升了。结果，许多人打电话给他 们的汽车经销商（更确切地说,是交通工具经销商），询问什么时候能买到更快的车型。同时，骗子利 用公众对交通工具技术的混淆，制造骗局，使整个交通工具行业充斥着欺诈和虚假宣传。 现在，我们把"交通工具"这个词汇换成"人工智能"（Artificial Intelligence，简写为AI），这就是我们现 实世界的一个精准写照。 AI是一个涵盖一组松散相关技术的统称。像ChatGPT这样的软件，与银行用来评估贷款申请者的软件几 乎没有任何相似之处。尽管它们都被称为AI，但在核心原理，包括运行方式、应用场景、目标用户以 及可能出现的失效方式上，这两种技术之间存在着巨大的差异。 聊天机器人以及Dall-E、StableDiffusion和Midjourney等 ...