以下文章来源于人神共奋 ，作者思想钢印 文章的第一个问题：假如人生每过十年财产清零，你现在最应该做什么？ 逢十生日那一天，财产定期清零，这个问题虽然科幻，但并不难回答， 丧失了"钱生钱"的复利效 应，财富的积累就失去了意义。 钱仍然有意义，只是存款没有意义，投资也没有意义，任何不在十年内被花掉的钱，都会失去意义， 类似买那种可以用一辈子的房子，就成为毫无意义的浪费。 当每一个人都不再为"以后"而过度储蓄和吝啬，更重要的事就变成，如何花钱才有意义？ 活在当下，不再是一句鸡汤，而是生存的必然选择： 体验消费比实物消费更重要，吃饭泡吧比买名 牌时装重要，旅游比豪车重要。 时间成为最珍贵的东西，加班给十倍工资都没人肯干，让我们充分享受这十年中的每一天吧。 人神共奋 . 财经专栏作家，虎嗅&雪球2020年度十佳作者 本文来自微信公众号： 人神共奋 ，作者：思想钢印，题图来自：AI生成 不要拥有，要体验 还会有人认真地面对个人爱好，真诚地学习乐器、绘画、烹饪、运动等，而不是当成谋生的手段。 不过，这样的世界仍然有贫富差别，每个人赚钱的能力不同，所以很多人还会为下一个十年做准备， 除了消费， 最重要的就是积累知识与培养能力 ...

核心观点 - 文章通过一个假设财产、知识、能力、关系会周期性“清零”的思想实验，探讨在有限时间框架下个人应如何分配资源与时间，其核心观点是引导读者关注那些无法被“清零”的、具有持久价值的投资方向，例如体验、能力、健康、记忆、创造和人际关系，并倡导以过程为导向、周期性重启的人生态度[1][3][9][11][14] 财产清零下的消费与投资转向 - 在财产每十年清零的设定下，传统的财富积累（如储蓄、投资、购买耐用资产）失去意义，任何不在十年内被消费掉的金钱都将成为浪费[1] - 消费观念发生根本转变，从为“以后”储蓄转向“活在当下”，体验消费（如吃饭泡吧、旅游）的重要性将远超实物消费（如买名牌时装、豪车）[1] - 时间成为最珍贵的资源，人们不愿为超额报酬（如十倍工资）而加班，更注重充分享受十年中的每一天[2] - 贫富差距依然存在，但“知识比财富更重要”，个人为下一个十年所做的准备集中于积累知识与培养能力，这是规则允许携带的资产[3] - 持续学习成为显学，特别是编程、写作、设计、医疗、管理、沟通等跨周期核心技能[3] - 人们面临如何平衡“当期人生体验”与“为下期积累知识”的时间分配困惑[3] 知识与财产双清零下的能力与关系构建 - 在知识与财产均每十年清零的设定下，个人需每隔十年进行“技能重启”[4] - 可迁移的“能力”比具体知识更重要，这些能力包括：学习如何学习、与人相处沟通建立信任、大胆试错、训练适应变化、审美和思维方式等，它们有助于在新环境中快速重建价值[6][7] - 依赖身体机能和肌肉记忆的领域（如音乐、体育及所有依赖身体的工作）将成显学，因为这些能力不会被遗忘[6] - 人际关系成为可携带至下一个十年的重要资产，应着力建立基于共同经历的深度关系，积累“信任”而非“资源”[8] 全要素清零下的生存意义与永恒投资 - 当财产、知识、能力和关系全部周期性归零时，人生的意义回归到“为活着本身而活着”[9] - 投资方向转向那些无法被清零的领域：首先是“健康储蓄”，包括健身、营养和心理健康[9]；其次是“记忆”，通过丰富体验和写日记等方式留存独一无二的人生[9]；再次是“创造”，如写书、创作歌曲、开发开源项目、建立有影响力的博客，这些创造将永存于世[10]；最后是“传承”，在十年末期将知识、价值观和经验传授给新一代[10] - 人生目标从建造永恒丰碑，转变为享受在沙滩上重复创作并被抹平的过程[10] 周期性重启对人生策略的启示 - 即便没有清零规则，人生也可划分为若干个十年，每个十年都应专注度过，避免将上一个十年的遗憾、目标或沉没成本带入下一个十年[14] - 每个十年应被赋予不同的人生主题，亲情与爱情应建立在每一个当下的真诚互动上，而非仅依赖共同回忆[14] - 核心策略是在每个人生十年中，接受结束，拥抱开始，追求过程，放弃结果[14][15] - 最终的投资选择集中于：投资自己（成为有技能、有智慧、有健康的人）、投资关系（建立温暖强大的支持网络）、投资体验（创造丰富无悔的人生）、投资创造（留下存在过的有价值痕迹）[17]

来自OpenAI、谷歌等公司的小部分但日益增长的AI开发者群体认为，当前的技术路径无法实现生物 学、医学等领域的重大突破，也难以避免简单错误。这一观点正在引发行业对数十亿美元投资方向的质 疑。 据The Information周二报道，上周在圣地亚哥举行的神经信息处理系统大会（NeurIPS）上，众多研究 人员讨论了这一话题。他们认为，开发者必须创造出能在部署后持续获取新能力的AI，这种"持续学 习"能力类似人类的学习方式，但目前尚未在AI领域实现。 然而，技术局限已拖慢企业客户对AI代理等新产品的采购。模型在简单问题上持续犯错，AI代理在缺 乏AI提供商大量工作确保其正确运行的情况下往往表现不佳。 这些质疑声与部分AI领袖的乐观预测形成对比。Anthropic首席执行官Dario Amodei上周表示，扩展现有 训练技术就能实现通用人工智能（AGI），OpenAI首席执行官Sam Altman则认为两年多后AI将能自我 改进。但如果质疑者是对的，这可能令OpenAI和Anthropic明年在强化学习等技术上投入的数十亿美元 面临风险。 尽管存在技术局限，当前AI在写作、设计、购物和数据分析等任务上的表现仍推 ...

公司定位与团队背景 - 公司定位为专注于人工智能和基础模型研究的投资研究实验室（Investment Research Lab），既是基金也是研究实验室[5] - 团队由科技投资人、物理学博士和AI研究员组成，平均年龄低于30岁，强调高信任度、低自我和高人才密度的团队文化[5][6] - 公司在管资产规模超过15亿美元，包括5亿美元的长线基金，采用一二级市场联动投资策略[5] - 公司过去投资并见证了6家投资组合公司从数十亿、数百亿美元成长为千亿美元级别的企业[5] 投资理念与策略 - 投资理念受OpenAI、Anthropic和DeepMind启发，旨在成为投资领域的前沿研究实验室，关注全球最重要的技术变化[8] - 投资策略聚焦于少数关键机会，愿意在每一轮对优质公司持续加注，放弃多数琐碎机会[8] - 注重信息质量，拥有市场上最丰富、质量和密度最高的信息源，以提高投资胜率[8] - 强调长期关系建设，致力于与创始人和研究人员建立信任，投资AI原生时代的最佳创始人[8] 品牌建设与认知输出 - 坚持开源认知，通过内容输出为AI生态做贡献并构建品牌影响力[9] - 品牌代表公司与创始人之间的信任和审美观，吸引志同道合者[9] - 公司通过海外独角兽和AI讨论社群持续输出观点，影响中美两地华人创业者和AI从业者[6] 招聘需求与岗位要求 - 招聘岗位包括AI投资研究员和品牌策划（AI Narrative Specialist），工作地点覆盖硅谷、香港、北京和上海[12][15] - AI投资研究员需具备AI研究、工程或产品经验，熟悉技术趋势如Continual Learning、Proactive Agent等[12][13] - 品牌策划需熟悉硅谷AI内容，具备品牌叙事打造能力和创新表达方式经验[15] - 招聘不限资历和工作年限，对全职和实习生均开放，优秀实习生有转正机会[15][16] 行业关注领域 - 公司重点关注LLM新范式、强化学习、AI Agent、代码代理等前沿技术领域[19][21][23][25][27] - 技术趋势包括OpenAI o1、自玩强化学习、AI机器人、AI4S等方向[12]

文章核心观点 - 清华大学研究团队提出了一种名为“H-embedding引导的超网络”的新型持续学习框架，其核心创新在于从“任务关系中心”的视角出发，通过信息论度量构建任务嵌入来显式建模和利用任务间关系，从而在多个基准测试中有效降低模型遗忘率并提升知识迁移效率 [1][4][6] 方法动机与核心问题 - 传统持续学习方法存在“灾难性遗忘”瓶颈，且大多从“模型中心”视角出发，缺乏对任务之间内在关系的建模和利用 [1] - 传统模式存在三大问题：缺乏任务级先验、难以同时优化正向与后向迁移、随着任务数量增长干扰累积难以扩展 [7][8] 核心技术：H-embedding - 提出基于信息论指标H-score的任务可迁移性嵌入（H-embedding），用于表征从旧任务到当前任务的迁移价值 [9][11] - H-embedding具备三个重要特性：先验可用（训练前即可获得）、低维紧凑（便于存储与调用）、与迁移性对齐（嵌入距离反映任务关系） [12][14] 核心框架：超网络参数生成 - 提出由H-embedding驱动的超网络框架，该超网络根据任务嵌入为每个任务生成其专属参数 [12] - 框架引入轻量级解码器，通过重构H-embedding迫使超网络显式吸收任务关系 [15] - 训练过程包含三类关键损失：任务损失、持续学习正则项、嵌入引导损失 [18] 方法优势与效果 - 该方法能够针对任务差异自动调节参数、在任务相关时进行正向迁移、在任务冲突时强化知识保护 [17] - 在ImageNet-R等测试中，该方法将遗忘率再降低一成 [1] - 实现了强正向与后向迁移能力同时出现，新任务学习对旧任务几乎无干扰，同时能从旧任务中有效吸收知识 [20] - 算法对任务数量增长具有更高鲁棒性，在5→10→20个任务的扩展实验中，性能增益持续放大，并在靠后的任务中带来显著的收敛加速 [20] 工程可落地性 - 框架具有高可用性，可端到端训练，兼容多种参数高效微调技术（如LoRA） [18] - 支持CNN、ViT等主流架构，并可部署在多种预训练模型上 [19] - 每个任务仅需保存一个低维embedding，存储成本极低 [19] 结论与展望 - 该研究提出了一种“任务关系中心”的持续学习新范式，使模型能够预测迁移性而非被动适应，并在学习过程中有意识地管理任务间的知识交互 [21][23] - 未来该方法有望拓展至跨模态增量学习、大模型的长期任务适配、任务自组织与自动化学习顺序规划等更复杂场景 [21]

AI行业投资趋势 - 全球AI支出预计2025年接近1.5万亿美元，2026年突破2万亿美元 [1] - 本十年AI基础设施总投入可能达到3万亿至4万亿美元，被视为新工业革命 [1] - 行业当前普遍采取抢购GPU、建设数据中心、拉电网的资源投入策略 [2] 行业范式转变 - AI行业正从扩展时代（堆算力）转向研究时代（方法论创新） [5][6] - 扩展范式依赖参数、算力、数据三要素放大，但边际收益正快速下降 [4][7] - 未来行业差距将取决于研究能力而非资源规模，创新方向比投入规模更重要 [4][7] 当前模型局限性与训练方法问题 - 大模型迁移能力远不如人类，benchmark分数高但实际经济价值有限 [4][9] - 模型存在系统性缺陷：会考试但不真正理解，容易出现重复语句等低级错误 [9][11] - 训练方法过度依赖评测基准导致模型像刷题机器，缺乏泛化能力 [10][12] - 预训练模式让模型见过大量案例但理解不深，无法自主总结规律 [16][17] - 强化学习容易过拟合奖励函数，模型缺乏自我判断和纠错机制 [17][19] 新一代AI发展方向 - 需要让模型具备持续学习能力，从离线预训练转向在线学习 [27][29] - 关键突破在于训练方法能教会模型泛化，将知识应用到新场景 [12][13] - 安全对齐问题本质是泛化能力不足，需贯穿整个训练过程而非最后检查 [25][26] - 理想模型应具备自我评估推理能力，类似人类情感中枢的判断机制 [29][30]

LLM语境下持续学习与记忆问题 - 谷歌提出嵌套学习范式将模型视为一系列嵌套问题堆叠旨在学习新技能同时规避灾难性遗忘问题[6] - 嵌套学习核心论点在于机器学习模型由多个相互关联层次分明优化子问题组成将模型优化器与记忆统一看作多级并行带独立上下文流优化问题[6] - 基于嵌套学习原理研究者设计HOPE架构在语言建模长上下文推理持续学习与知识整合任务上较Transformer++等基线模型表现出更低困惑度与更高准确率[7] - AI社区存在争议认为嵌套学习类似已有技巧叠加如2020年ModNet和2024年ACh和NA框架等多尺度持续学习并非全新概念[8] - 持续学习核心挑战是解决灾难性遗忘即智能系统学习新任务时避免覆盖旧任务知识LLM时代表现为模型降智如领域SFT训练导致通用基准测试性能下降[8] - 当前LLM研究焦点偏向通过改善记忆力使智能体保留情景经验语义知识和程序技能设想跨持久智能记忆层包含Model Weights层KV Cache层和Context层[8] 从行为数据到AI记忆的路线 - 产品方强调更懂你资本强调难以复制引发AI产品护城河是否真实存在讨论不同产品在记什么记多久上押注不同方向[1] - 医疗对话记忆能否作为知识库提升诊疗质量探讨软件被动记录无法覆盖全部生活场景需借助硬件实现always on模式[1] 合成数据与人形机器人发展 - 合成数据被视为数据金字塔中坚力量DARPA寒冬已过人形机器人迎来技术和市场双重爆发[2] - 人形机器人利用以人为中心数据源真实数据虽是黄金标准但被称为最大瓶颈GenAI指数引擎是否创造有用数据受关注[2]

嵌套学习范式核心观点 - 谷歌提出一种全新的机器学习范式“嵌套学习”，旨在解决大语言模型的持续学习难题，使模型能够不断学习新技能而不遗忘旧知识 [1] - 该范式将模型架构与优化算法视为统一的、具有不同更新频率的“优化层”，突破了传统上将二者割裂的视角 [6][7] - 嵌套学习框架下设计的Hope架构在实验中表现出更强的表达能力、更高效率及持续学习能力，被认为是迈向自适应、自我改进智能的重要一步 [3][4][30] 嵌套学习的技术原理 - 嵌套学习将复杂机器学习模型视为一组相互嵌套或并行运行的优化问题，每个子问题拥有独立的上下文流和更新频率 [11][16] - 该范式揭示了传统深度学习是在“压缩”内部信息流，而嵌套学习提供了新设计维度以构建具有更深计算深度的学习组件 [12] - 训练过程中的反向传播可被建模为一种联想记忆机制，学习将数据点映射到其局部误差以衡量“意外程度” [12] - 类似地，Transformer的注意力机制也可形式化为联想记忆模块，嵌套学习使得模型每个组件都能以不同频率更新，模仿人脑的多时间尺度更新机制 [13][15] 嵌套学习的实际应用与改进 - 在优化器方面，嵌套学习将优化器视为联想记忆模块，通过将优化目标改为更标准的损失指标（如L2回归损失）可推导出对噪声数据更具鲁棒性的新动量公式 [18][19] - 在记忆系统方面，嵌套学习将传统Transformer的短期与长期记忆概念扩展为“连续体记忆系统”，其中记忆被视为一系列以不同特定频率更新的模块，为持续学习创建了更丰富高效的记忆系统 [20][21] Hope架构的设计与性能 - Hope是谷歌基于嵌套学习原理设计的一个自我修改的循环架构，是Titans架构的一个变体，能够执行无限层次的上下文学习 [23][24] - 该架构通过连续体记忆系统模块扩展上下文窗口，并能通过自我引用过程优化自身记忆，形成具有无限循环学习层次的结构 [24] - 实验结果显示，Hope在多项语言建模与常识推理任务上表现出更低的困惑度与更高的准确率，在长上下文记忆管理方面超越了当前最先进的模型 [8][27][30]

持续学习的背景与路径 - 大型语言模型界正集体尝试突破持续学习和元学习能力的天花板，目标是实现模型的自我进化[1] - 实现持续学习的关键在于模型的“记忆”深度和可塑性，主流方法可归纳为三条主要路径[2] 路径一：改变上下文 - 通过修改模型的“工作记忆”，即上下文学习，使模型在当前对话中学会解决特定问题[4] - 最新进展是“系统提示学习”，模型通过语言层面的总结与归纳来反思成功与失败，并更新系统提示词以提升未来能力[4] - 此方法通过影响模型底层行为指令，使学习成果得以沉淀，解决了上下文学习浮于表面的问题[6] 路径二：引入外部记忆库 - 通过检索增强生成给模型配备外置数据库，持续学习体现在模型有能力更改、积累和维护此外部记忆库[7] - 谷歌DeepMind的“Reasoningbank”研究打造了一个“高级大脑记忆库”，存储从经验中总结出的“方法论”和“避坑指南”，而非零碎事实[7] - Anthropic的Claude Skill功能结合了上述两层方法，让智能体通过总结经验来学习新技能[9] 路径三：参数层面更新 - 此最根本的路径因训练开销巨大或方法不稳定而长期进展缓慢，例如强化学习和轻量化监督微调[9] - Meta AI的新论文《通过稀疏内存微调实现持续学习》为这条路径带来了根本性改变[9][11] 监督微调的挑战与Meta的解决方案 - 监督微调面临“灾难性遗忘”的根本矛盾，即学习新知识时会破坏存储旧知识的参数[11] - Meta提出的稀疏内存微调方法核心思想是只更新与“新知识”相关而与“旧知识”无关的参数[11] - 解决方案第一步是改造架构，将标准Transformer中的一些前馈网络层替换为拥有100万个“微型专家”的内存层，提供精细控制力[12][14][15] - 第二步引入TF-IDF算法精准定位既重要又安全的参数，即对新知识至关重要且不负责通用知识的参数[16][17][18][19][21] - 第三步进行稀疏更新，在反向传播时只允许梯度流向TF-IDF得分最高的Top-t个内存槽位，例如仅更新100万个槽位中的500个[22] 新方法的效果与优势 - 在学习新事实后测试原有任务表现，新方法仅导致分数下降11%，而LoRA下降71%，全量微调下降89%[23] - 新方法在学习能力上相当或更优，并在稳定性上具有压倒性优势，几乎治愈了监督微调的核心痛点[25][28] - 存储1000个新事实仅需占用约500个内存插槽，显示该方法具有持续学习海量新知识的巨大潜力[26] - 训练成本上，每一步需要更新的参数数量也远少于LoRA，降低了优化器的内存开销[26] 不同路径的比较与未来展望 - 非参数化学习路径存在根本尴尬，模型像依赖外部教科书或自己笔记的学生，未能真正内化知识[29] - 研究指出上下文学习泛化能力有限，因其过度关注统计特征而非任务根本规律[29] - 参数更新路径是更根本的解决方案，Meta的方案使其变得安全、稳定和可控[30][31] - 该进展意味着监督微调的春天可能来临，模型有望从静态工具转变为在经验流中不断成长的智能体[31][32]

调查核心观点 - 96.0%的受访职场青年认为毕业后步入职场更应该注重个人成长 [1][2] - 工作后的持续学习使54.8%的受访职场青年在工作中表现更从容，47.1%的受访者更有自信和成就感 [1] - 专家观点认为，毕业后的持续学习能决定一个人未来在职场中发展的高度，从短期看可保持竞争力，长期看有助于获得更广阔的成长与晋升空间 [5] 职场青年看重的成长方面 - 专业技能是受访职场青年最看重的方面，占比70.9% [3] - 工作业务能力位列第二，占比68.0% [3] - 人际沟通能力排在第三位，占比53.4% [3] - 其他重要方面包括理财投资(41.7%)、时间管理(41.1%)、为人处世(39.9%)等 [3] 持续学习带来的益处 - 52.9%的受访职场青年认为持续学习能带来更广阔的个人发展空间 [5] - 46.1%的受访者感叹持续学习提高了个人综合能力 [5] - 43.7%的受访者表示持续学习使其每天都有精气神儿，41.0%的受访者精神生活更充实富足 [5] 受访者背景分布 - 受访职场青年工作所在地为一线城市的占36.4%，二线城市的占51.3%，三四线城市的占12.0% [5]