公司概况与商业模式 - 公司由Mark Butler、Morton Bernstein、Harry Coverman和Oliver "Ollie" Rosenberg于1982年在宾夕法尼亚州创立，核心理念是美国人都喜欢便宜货[4] - 公司销售清仓和库存过剩商品，以低于百货商店的价格出售，目标毛利率为40%，商品品类包括肥皂、食品、玩具、家居用品、服装和电子产品[3] - 公司以古怪的漫画风格营销和“寻宝”购物体验为特色，其“Ollie's Army”忠诚计划会员在2024财年末达到1510万人，同比增长8%，会员消费占门店销售额约80%，会员单次消费额比非会员高40%[16] 历史发展与扩张 - 公司增长审慎，1990年代进入马里兰州之前专注于宾夕法尼亚州门店，在Butler领导下，门店数在2000年末达到20家，2005年达到36家，当年收入提升至1.5亿美元[2] - 为支持增长，公司于2008年在宾夕法尼亚州整合分销中心，并于2014年在佐治亚州开设第二个分销中心[1] - 2017年，公司运营268家门店，销售额超过10亿美元[7] - 在CEO John Swygert领导下，公司持续东海岸扩张，至2024年末门店数增长至559家，年收入达23亿美元[7] - 2025年2月，John Swygert转任执行董事长，由总裁Eric Van der Valk接任CEO[8] 竞争对手破产带来的机遇 - 竞争对手Big Lots于2024年9月9日申请第11章破产保护，其一系列失误导致品牌形象模糊并背负巨额债务，市场份额被Ollie's等竞争对手侵蚀[9][12] - Big Lots销售额持续下滑，2023财年（截至2024年2月3日）下降14%，2022财年下降11%，2021财年下降1%，在破产前的最后一季度，年初至今第二季度销售额下降9.2%至21亿美元，并有5.7亿美元短期债务到期[11] - 与Big Lots不同，Ollie's资产负债表强劲，无重大长期债务且拥有数亿美元现金[13] - 公司利用财务优势收购了63家Big Lots门店租约，其中2024年收购23家，2025年2月收购40家[13][18] - 这些收购的门店面积合适、租约条款优惠、位于现有或邻近商圈，并且长期服务于注重价值的消费者[14] - Big Lots大量门店永久关闭减少了竞争，在2025年第二季度为290家Ollie's门店带来了客流量增长[5][14] 近期业绩与增长动力 - 2025年零售店客流量激增，消费者因裁员和预算紧缩，从梅西百货、塔吉特等全价商店转向TJMaxx、HomeGoods和Ollie's等折扣店[6] - 收购门店以Ollie's品牌重开后增长迅速，原有门店在先前Big Lots市场的同店销售增速也快于正常水平[15] - 2025年第二季度，开业至少一年的门店可比销售额增长5%，主要由交易量增加驱动[15] - 公司有机增长加速，2025年上半年新开54家门店，是去年同期开店数的4倍[19] - 截至第二季度末，“Ollie's Army”忠诚会员总数增至1610万人，同比增长10.6%[19] - 公司预计2025年新开85家门店（包括Big Lots门店），并预计2026年将再次超过10%的门店增长目标[21] 未来战略与机会 - 公司认为消费者行为转变带来机遇，正在监控更多的门店关闭和破产相关机会，并对新店开业保持谨慎态度[20] - 零售破产和门店关闭为公司带来了额外的采购机会，其商业模式在行业混乱中蓬勃发展[22] - 公司通过举办“Ollie's Day”等会员专属购物活动来提升会员访问量，第二季度的该活动为可比门店销售额贡献了1%，并计划在12月15日举办类似活动[22][23] - 公司不仅在低收入和中收入家庭中获胜，在所有收入水平（包括高收入家庭）中都看到了增长[24] - 公司相信在美国有运营950家门店的潜力，为未来增长提供充足机会[24]

优化器性能比较 - AdamW及其改进版长期主导开放权重语言模型预训练 帮助模型在海量数据下保持稳定并实现较快收敛[1] - 矩阵型预条件子优化器（如Muon、Soap、Kron）相比严格调优的AdamW可实现30-40%的迭代级别加速[1][20] - 在特定数据-模型比例下矩阵型方法展现出明显优势 但AdamW依然是预训练的稳健首选[1] 超参数调优影响 - 基线模型存在超参数调优不足问题 仅调整学习率一个参数就能在1.3亿参数模型上实现2倍加速[4][6] - 不同优化器的最优超参数配置差异显著 固定共享超参数会导致不公平比较[4][6][12] - Lion优化器偏好较高权重衰减值（如0.6）而非标准值0.1[4] 模型规模与数据比例影响 - 优化器加速效果随模型规模增大而衰减 从10亿参数模型的1.3-1.4倍加速比降至12亿参数时的1.1倍[10][26] - 在标准Chinchilla数据比例下Muon表现最佳 在8倍以上数据比例时Soap成为更优选择[13][26] - 基于矩阵的优化器性能稳定优于基于标量的优化器 在过训练情况下收敛到相似损失值[10] 研究方法设计 - 研究涵盖11种优化器 在1亿至12亿参数规模及1倍至8倍Chinchilla数据比例下进行独立超参数调优[11][15] - 使用四种Transformer模型架构（130M/300M/520M/1.2B参数）序列长度均为4096[15][16] - 采用坐标下降法对所有优化器的超参数进行详尽网格搜索 包括学习率、权重衰减、预热步数等关键参数[18] 评估方法发现 - 短期评估具有误导性 不同优化器的损失曲线会随训练进行发生交叉导致排名反转[8][20] - 实际加速效果普遍低于此前研究声称水平 许多替代优化器在小规模模型下的优势随规模扩大而消失[18][23] - 基于矩阵的优化器虽表现优于基于标量的优化器 但加速比均未超过1.4倍[23] 案例研究结果 - 在12亿参数模型上Muon和Soap相比AdamW仍有显著加速效果 但相比NAdamW无明显优势[26] - 在16倍Chinchilla数据比例下Soap性能优于Muon 推测因高阶动量维持机制更有效[26] - 超参数缩放定律预测显示 1.2B模型的实际最优配置与预测配置性能差异极小[24]

优化器研究背景与现状 - Adam及AdamW长期主导开放权重语言模型预训练 帮助模型在海量数据下保持稳定并实现较快收敛[1] - 预训练已成为计算密集型任务代表 在大模型研发中构成最主要计算开销 优化器设计直接关系到收敛速度与计算成本[1] - 矩阵型预条件子优化器（如Muon、Soap、Kron）相比严格调优的AdamW可实现30–40%的迭代级别加速[1] - 尽管存在声称提供1.4至2倍加速的替代方案 AdamW仍是预训练的稳健首选 但矩阵型方法在特定数据-模型比例下展现优势[1] 研究方法论缺陷 - 基线模型存在超参数调优不足问题：仅调优学习率一个参数就可在1.3亿参数模型上实现2倍加速[3][6] - 固定共享超参数导致比较不公平：例如Lion优化器偏好0.6权重衰减值 而标准AdamW常用0.1[4] - 测试规模不足：多数测试使用参数远小于10亿的小型模型或1倍Chinchilla数据配比[7] - 早期训练检查点可能产生误导：学习率衰减阶段不同方法的损失曲线可能交叉导致最终排名反转[7] 优化器性能比较 - 基于矩阵的优化器（Kron、Soap、Muon）性能稳定优于基于标量的优化器（AdamW、Nesterov AdamW、Mars）[9] - 小规模模型加速效果显著但随规模增大而衰减：在10亿参数以下模型加速比达1.3-1.4倍 但12亿参数时衰减至1.1倍[9] - 最优选择与场景相关：标准Chinchilla比例下Muon表现最佳 数据量相对模型规模提升至8倍以上时Soap更优[11] - 实际加速效果普遍低于声称水平：所有测试中加速比均未超过1.4倍[19][22] 实验设计与方法 - 研究涵盖11种优化器 包括AdamW、NAdamW、Mars、Cautious、Lion、Adam-mini、Muon、Scion、Kron、Soap和Sophia[10][13] - 测试多种模型规模（1亿至12亿参数）和数据-模型比例（Chinchilla最优比例的1倍至8倍）[9][17] - 采用三阶段评估方法：通用设置确定实验环境 独立超参数调优确保公平性 敏感超参数识别扩展规模测试[14][16][20] - 使用混合数据集（DCLM-baseline、StarCoder V2、ProofPile 2）和LLaMA-3分词器确保训练数据丰富性[13] 关键研究发现 - 独立调优至关重要：不同优化器最优超参数配置差异显著 缺乏独立调优会导致比较不公平且加速效果被高估[15][18] - 短期评估具有误导性：随着训练进行和学习率衰减 不同优化器性能排名可能发生逆转[15] - 矩阵方法性能领先：所有最快优化器都采用基于矩阵的预条件子而非逐元素标量缩放[15] - 加速比随规模扩展衰减：Muon在1.2B参数模型上加速比降至1.2倍以下 在高数据-模型比例下Soap和NAdamW表现更优[25][26] 案例研究结果 - 超参数预测有效性验证：1.2B模型在1倍Chinchilla数据量下预测配置与实际最优配置性能差异极小[23] - 极端数据比例测试：在16倍Chinchilla数据量下 Soap在300M模型上超过Muon NAdamW和Soap在130M模型上超越Muon[25][26] - 二阶动量有效性：在高数据-模型比例下 Soap和Kron维持的二阶动量变得更为有效[26]

文章核心观点 - 消费必需品公司是安全的投资选择，可口可乐等公司能在市场动荡时提供稳定收益，投资者可考虑将其纳入投资组合 [1][4] 消费必需品公司是安全避风港投资的原因 - 即便股市进入熊市或经济衰退，消费者也不会停止购买牙膏、卫生纸、汽水等消费必需品 [2] - 消费必需品成本不高但好处明显，消费者品牌忠诚度高且购买频繁 [3] 消费必需品领域的投资选择 可口可乐 - 是高度保守型投资者的可靠选择，股息率达2.9%，连续50多年每年提高股息，是股息之王 [5] - 拥有全球分销网络、强大研发能力和巨大营销影响力，但目前股价偏高，市销率和市盈率均高于五年均值 [5] 百事可乐 - 与可口可乐有相似业务优势，业务组合更多元，涵盖零食和包装食品，也是股息之王 [6] - 估值更具吸引力，市销率和市盈率均低于五年均值，股息率达3.7%，通过并购实现业务增长 [6] 联合利华 - 产品组合包括消费品和食品，北美和欧洲业务仅占约40%营收，其余来自拉美和亚洲，长期经济增长预期更高 [7] - 股息率为3.1%，适合更具冒险精神的投资者 [7] 奥驰亚和英美烟草 - 两家烟草公司面临长期不利因素，香烟销量多年下滑，但烟民忠诚度高，在不确定时期可能增加消费 [8] - 短期来看，奥驰亚7.2%和英美烟草7.5%的高股息率具有吸引力，鉴于香烟特性，近期股息可能稳定 [9] 总结 - 消费必需品领域有众多投资选择，上述公司各有吸引力，若担心市场和衰退，还有更多相关股票值得关注 [10][11]