Qwen 3 0.6B

搜索文档
谷歌版小钢炮开源,0.27B大模型,4个注意力头,专为终端而生
36氪· 2025-08-15 10:10
模型性能特点 - 模型仅含2.7亿参数 其中1.7亿为嵌入层参数 1亿为Transformer模块参数[7] - 词汇量达25.6万token 可处理特定及罕见词汇[7] - 注意力头仅4个 比Qwen 3 0.6B少12个[4] - 在Pixel 9 Pro手机运行INT4量化版时 25轮对话仅耗电0.75%[8] 功能应用场景 - 支持文本分类和数据提取任务 可生成创意内容如睡前故事[4][7] - 可直接在浏览器本地运行 无需联网[4] - 支持OCR应用 可将图片或PDF转换为结构化Markdown格式[4] - 提供INT4量化支持 性能损耗极微[10] 开发部署优势 - 微调过程仅需数分钟 开箱即具备指令遵循能力[1][9] - 支持通过Hugging Face/Ollama/Kaggle等平台获取模型[13] - 可使用Vertex AI/llama.cpp/Keras等工具测试[14] - 支持通过Hugging Face/UnSloth/JAX进行个性化微调[15] 行业应用案例 - SK Telecom采用Gemma 3 4B进行多语言内容审核 微调后性能超越大型专有模型[11] - 适用于情感分析/实体提取/合规检查等专业任务批量处理[13] - 可实现完全本地化部署 保障用户隐私数据不传输至云端[13]
谷歌版小钢炮开源!0.27B大模型,4个注意力头,专为终端而生
量子位· 2025-08-15 06:44
模型发布与市场反应 - 谷歌开源Gemma 3 270M模型 参数规模为2.7亿 其中1.7亿为嵌入层参数 1亿为Transformer模块参数 [1][14] - 模型可直接在浏览器本地运行 无需联网 支持创意内容生成如睡前故事 [3] - 发布后引发市场关注 网友误以为参数规模为270B 实际仅为0.27B [4] 架构与性能特征 - 采用紧凑高效架构 仅包含4个注意力头 较Qwen 3 0.6B模型少12个注意力头 [7] - 词汇量达25.6万token 可处理特定领域罕见词汇 适合进一步微调 [15] - 支持INT4量化运行 在Pixel 9 Pro手机25轮对话仅消耗0.75%电量 能效表现突出 [17] - 提供量化感知训练检查点 INT4精度下性能损耗极微 适合资源受限设备部署 [19] 功能与应用场景 - 开箱即用精准遵循指令 微调后可释放文本分类和数据提取能力 [12][13] - 支持OCR应用 可将图片或PDF转换为结构化Markdown格式 [6] - 适用于情感分析、实体提取、查询路由、文本结构化、创意写作及合规检查等批量任务 [27] - 支持完全本地化运行 无需云端数据传输 保障用户隐私 [24] 开发与部署优势 - 微调仅需数分钟 支持快速迭代实验 数小时内可完成用例配置 [1][24] - 可通过Hugging Face、Ollama、Kaggle等平台获取模型 [25] - 支持使用Hugging Face、UnSloth或JAX工具进行个性化微调 [28] - 可部署于低成本基础设施或终端设备 大幅降低推理成本 [24][27] 行业合作与案例 - Adaptive ML与SK Telecom合作案例 使用Gemma 3 4B模型微调后 在多语言内容审核任务中超越更大规模专有模型 [20][21] - 轻量化模型策略适用于明确界定的任务 可释放更高效率 [23]