预测式AI的核心问题 - 预测式AI基于历史数据做出预测，但相关性不等于因果关系，可能导致灾难性决策，如医疗AI模型错误判断哮喘患者肺炎风险较低[18] - 系统无法预测自身决策对环境的改变，当部署到新场景时，历史数据的准确性无法保证决策质量[19][21] - 预测式AI的营销宣传常夸大效用，但实际开发依赖人类决策和带有偏见的数据，承诺的公平性和效率优势缺乏可靠证据[13][15] 预测式AI的应用缺陷 - 自动化招聘工具易被表面因素操控，如视频面试背景、简历格式或关键词填充，这些修改不影响实际工作能力却改变AI评分[24][25] - 刑事司法系统使用COMPAS等工具预测犯罪风险，但依赖逮捕记录而非犯罪记录，加剧种族偏见，黑人因相同行为比白人更易被标记高风险[42] - 医疗资源分配模型如Optum Impact Pro用医疗费用替代健康需求预测，使已获更好服务的群体持续获得资源，放大种族不平等[40][41] 数据与系统局限性 - 模型训练数据常与目标群体不匹配，如PSA系统基于全美数据但无法适应低犯罪率地区，导致高风险误判和不当监禁[33][34] - 儿童虐待预测工具仅覆盖使用公共服务的低收入家庭数据，无法评估富裕家庭，造成对弱势群体的过度聚焦[35][43] - 依赖现有数据而非专门收集新数据，如医疗领域缺乏随机对照试验验证，使决策可靠性存疑[20] 过度自动化与监管失效 - 荷兰福利欺诈算法错误指控3万名家长，使用国籍作为预测因素，缺乏申诉机制导致严重社会后果[28][29] - 系统声称有人工监督但实际未修正决策，如多伦多海滩水质预测工具64%的错误未纠正，联合健康集团员工被要求服从90%错误的AI决策[30][31] - 自动化偏见广泛存在，75%飞行员在模拟实验中因系统错误警报关闭正常引擎，显示过度依赖自动化风险[31] 行业影响与商业动机 - 预测式AI被医院、雇主、政府等广泛用于资源分配，但商业激励促使公司选择易于量化的替代指标（如医疗费用）而非真实目标[41] - 招聘领域约3/4美国雇主使用自动化筛选工具，过程不透明使候选人策略性修改申请材料，而非提升实际技能[24][26] - 企业对随机性的恐惧驱动预测式AI应用，试图在人才识别等不确定任务中强加模式，而非接受固有随机性可能带来更公平结果[48][51]