henry 发自 凹非寺 量子位 | 公众号 QbitAI 大语言模型在解心算题时，只依赖最后一个token？ 最近，来自加州大学圣克鲁兹分校、乔治·梅森大学和Datadog的研究人员发现：在心算任务中，几乎所有实际的数学计算都集中在序列的 最后一个token 上完成，而不是分散在所有token中。 这意味着，相较于在Transformer和多层感知机（MLP）中常见的 全局信息访问 ——即每个token在预测时都能查询并利用整个上文信息 ——在诸如心算这样的特定任务中，全局访问其实并不是必需的。 这是怎么一回事？ 心算只要最后一个token？！ 总的来说，研究人员采用了 上下文感知平均消融（Context-Aware Mean Ablation, CAMA） 和 基于注意力的窥视（attention-based peeking） 技术对 Llama-3-8B 等Transformer架构的模型进行了一系列的消融实验。 这些实验通过系统性地移除或改变模型的一部分，探究能让模型依然表现良好的 "最少计算量" 。 在这一过程中，研究人员发现模型内部会形成一个稀疏子图（sparse subgraph）——他们把它称 ...

基因编辑技术创新 - 瑞士苏黎世大学、苏黎世联邦理工学院和比利时根特大学合作开发出结合AI的基因编辑技术，显著提升DNA编辑精确度 [1] - 新技术通过"基因魔剪"与AI结合，为模拟人类疾病机制和精准基因疗法奠定基础 [1] - 关键技术挑战在于避免基因编辑过程中的意外变异并维持基因组稳定性 [1] AI工具Pythia的功能 - Pythia能高精度预测基因编辑结果，尤其是CRISPR/Cas9切割后细胞的DNA修复方式 [1] - 团队基于Pythia设计微型DNA修复模板，可引导细胞完成精确基因修改或插入 [1] - 该工具利用可学习的DNA修复规律，实现非随机化编辑 [2] 技术验证与应用 - 修复模板在人类细胞培养体系中验证，实现高效精准的基因编辑和外源基因整合 [2] - 方法在非洲爪蟾和活体小鼠等生物模型中测试成功，包括大脑等非分裂组织的细胞编辑 [2] - 技术适用于非分裂细胞（如神经元），为神经系统疾病治疗提供新途径 [2] 技术扩展功能 - 除基因修改外，技术可用于蛋白质标记（如荧光标记），观察蛋白质在健康与疾病组织中的动态行为 [2] - 技术具有普适性，适用于各类细胞类型 [2] - AI预测细胞对基因干预的响应，类比气象学中的天气预测 [2]

技术突破 - 开发出创新基因编辑方法 将先进基因魔剪技术与人工智能相结合 显著提升DNA编辑精确度 [1] - 开发AI工具Pythia 使科学家能以前所未有精度预知基因编辑最终结果 特别是预测细胞在CRISPR/Cas9切割后如何修复DNA断裂 [1] - 设计极小DNA修复模板作为分子胶水 引导细胞以高度精确方式完成基因修改或基因插入 [1] 应用验证 - AI指导设计的修复模板在人类细胞培养体系中验证 实现高效精准的基因编辑和外源基因整合 [2] - 在多种生物模型中测试方法有效性 包括非洲爪蟾和活体小鼠 成功实现大脑等非分裂组织中细胞的DNA编辑 [2] - 技术适用于各种类型细胞 包括不常分裂的神经元细胞 为治疗神经系统疾病带来新希望 [2] 技术优势 - DNA修复过程遵循可识别和学习的规律 Pythia利用这些修复模式进行预测 [2] - 技术不仅可用于修改单个碱基或插入外源基因 还能用于标记特定蛋白质 通过荧光标记实现蛋白质动态行为直接观察 [2] - 预测能力对于实现安全可靠且具有临床应用价值的基因编辑至关重要 [2]