开源开放

搜索文档
从开源共建到生态繁荣:昇思MindSpore支持Day0迁移、一键部署
财联社· 2025-06-12 10:59
大模型技术发展趋势 - 大模型参数规模从十亿级跃升至万亿级,模型结构从稠密到稀疏,应用范式走向多模态和Agent [1] - 昇腾开发者核心诉求是如何在昇腾上快速使能和体验多种模型与技术 [1] 昇思MindSpore的核心挑战与解决方案 迁移挑战 - 实现三方框架模型"零成本"迁移,避免重复造轮子,同时模型精度完全对齐 [1] - 通过MindSpeed/Megatron桥接层实现PyTorch模型零代码迁移,训练脚本可直接运行 [4] - 动态图能力重构让PyTorch开发者获得"原生体验",MSAdapter工具自动转换95%以上接口 [4] - 主流模型如DeepSeek、Pangu等迁移损耗逼近于零 [4] 性能优化 - 动态图编译优化:多级流水线+即时编译(JIT),单卡训练效率提升40% [4] - 分布式智能调优:自动负载均衡工具解决万卡训练"木桶效应",线性度突破96% [4] - 逐层精度对齐:在昇腾硬件上实现主流模型逐层0误差 [4] 推理部署优化 - 支持HuggingFace模型半小时部署上线,通过vLLM-MindSpore插件实现分钟级服务化 [6] - 支持业界主流模型开箱即用,DeepSeek、Pangu、Qwen等20+模型已上线 [6] - 权重加载耗时降低80%(百亿模型小于30秒),图编译时延压缩至毫秒级 [6] 开源生态建设 - 昇思MindSpore累计获得1200万次下载,开发者遍布130个国家和地区,覆盖2400座城市 [7] - 超过四万六千名开发者参与,11万+行代码合入请求,1700多篇学术成果 [7] - 提供免费算力平台(MindSpore大模型平台),20+技术SIG组覆盖AI前沿领域 [8] 未来展望 - AI软件基座将属于开源开放与极简高效共舞的时代 [8]
字节Seed首次开源代码模型,拿下同规模多个SOTA,提出用小模型管理数据范式
量子位· 2025-05-11 04:20
模型发布与性能 - 字节Seed首次开源代码模型Seed-Coder,8B规模,超越Qwen3,拿下多个SOTA [1] - Seed-Coder包含三个版本:Base、Instruct、Reasoning [6] - Seed-Coder-8B-Instruct在SWE-bench Verified测试中得分19.2,超越Qwen3-8B的14.6 [7] - 推理版本在IOI 2024上超越了QwQ-32B和DeepSeek-R1 [7] - 模型上下文长度32K,使用6T tokens训练,采用MIT开源协议 [10] 模型架构与训练 - Seed-Coder采用Llama 3结构,参数量8.2B,6层,隐藏层大小4096,使用分组查询注意力(GQA)机制 [11] - 预训练分为两个阶段:常规预训练使用文件级代码和网络数据,持续预训练使用全部四类数据 [34][35] - 采用Fill-in-the-Middle(FIM)和Suffix-Prefix-Middle(SPM)训练增强上下文感知能力 [35] - 指令模型通过监督微调(SFT)和直接偏好优化(DPO)两阶段训练 [46] - 推理模型采用长链条思维(LongCoT)强化学习训练 [46] 数据处理方法 - 提出"模型中心"数据处理方式,使用模型策划数据 [12] - 从GitHub和网络档案爬取原始代码数据,经过多步处理输出预训练数据 [13] - 数据过滤分为四个类别:文件级代码、仓库级代码、Commit数据、代码相关网络数据 [22] - 预处理阶段减少约98%原始数据量 [16] - 使用22万+份代码文档训练的评分模型过滤低质量代码文件 [17] - 最终得到支持89种编程语言、约1万亿独特token的语料库 [19] 数据来源与处理 - 从14万个高质量GitHub仓库收集7400万次提交记录 [21] - 提交数据预处理后获得约1000亿token语料库 [25] - 网络数据处理框架识别两类数据:明确代码标签网页和潜在代码内容网页 [27] - 使用fastText模型自动识别代码相关内容 [29] - 最终构建约1.2万亿tokens的网络数据语料库 [33] 评分标准与优化 - 代码质量评分标准包含可读性、模块性、清晰度、可重用性四个方面 [23] - 评分模型以DeepSeek-V2-Chat为基础,评分0-10分 [18] - 发现不同类型网站存在评分偏差,优化后按网站类型制定专门评分标准 [31] 公司其他动态 - 发布视频生成模型Seaweed,70亿参数支持1280x720分辨率 [39] - 发布深度思考模型Seed-Thinking-v1.5,在数学、代码等推理任务超越DeepSeek-R1 [40] - 与清华合作推出电脑操作智能体UI-TARS,GitHub星标超5.8k [42][43] - 推出Multi-SWE-bench多语言编程基准,覆盖7种编程语言 [44] - 内部调整LLM团队结构,设立"Seed Edge"长期AGI前沿研究项目 [44]
“断供”阴影下,国产操作系统的破局时刻
观察者网· 2025-05-08 14:22
国产操作系统发展路径 - 核心观点是国产操作系统需基于需求洞察找到优势场景,而非简单模仿替代,通过开源协作构建差异化竞争力[1] - 嵌入式系统领域成功印证技术竞争本质是解决问题的能力而非规模或先发优势[1] - 全球产业链重构期为国产操作系统提供从"跟跑"到"共舞"的机遇[1] 市场格局与机遇 - 2025年全球物联网设备数将突破640亿台,中国市场规模超4.5万亿元占比30%以上[3] - 物联网场景极端碎片化,从工业机器人到智能电表需求千差万别[3] - 巨头采取不同策略:开源鸿蒙主推全场景统一,小米Vela瞄准智能家居,阿里深耕工业互联网[3] RT-Thread发展历程 - 2006年基于个人兴趣开发,现装机量突破25亿台成为最大国产嵌入式操作系统[6] - 选择微内核和轻量化路线,可在8KB内存的MCU芯片运行满足卫星微秒级实时响应[7] - 与全球70余国家地区开发者共建生态,在航空汽车具身智能等领域持续发力[7] 技术路线与竞争优势 - 采用开源模式构建护城河,形成"开源+商业"双轮驱动模式[16] - 在实时性领域实现微秒级响应,远超Linux和安卓系统[19] - 对国内场景理解更深刻,能快速迭代满足本土需求[20][21] 车载领域布局 - 2022年进入车载OS领域,推出"程翧整车基础软件OS"[26][29] - 已应用于国产头部车厂高端车型及L4自动驾驶车辆[30] - 实现POSIX RTOS与AUTOSAR CP融合降低开发复杂度[30] 生态构建策略 - 保持中立开放定位,与上下游广泛合作而非自成体系[21] - 适配芯片最广的RTOS,与200多所高校合作培养开发者[21] - 在GitHub上STAR数名列前茅,软件包全球下载量超1500万次[42] 全球化进展 - 用户覆盖70余国家和地区,在工业制造航天教育等领域广泛应用[42] - 与国际组织如Linux基金会RISC-V基金会等深度合作[42] - 每年举办全球技术峰会吸引数万海外开发者关注[42] 未来技术方向 - 探索AI与操作系统结合,在人形机器人领域推进合作[39][40] - 持续优化虚拟化技术,源自汽车SoC虚拟化的经验复用[39] - 看好RISC-V发展前景,成为全球适配最好的操作系统之一[37]