硅基流动联创胡健:企业级MaaS预集成100+大模型,国产芯“更好用”了
新浪科技·2025-09-23 02:50
责任编辑:江钰涵 当前,企业在AI大模型规模化落地过程中,普遍面临模型适配难、推理性能与成本难以平衡、服务可 靠性要求高、输出质量不稳定以及安全合规压力大等核心痛点。 针对前述难题,硅基流动企业级MaaS平台预集成了100+主流开源与闭源大模型,提供多种算力卡推理 加速包,开箱即用、一键部署。依托硅基流动公有云能力,新模型1-3天即可完成适配并同步至企业私 有环境,极大缩短上线周期。 其次,选好模型,AI应用就成功了一半。通过智能路由、自研推理框架及动态扩缩容,硅基流动实现 了高性能与低成本的统一。支持上下文感知、KV Cache感知、LoRA感知等路由策略;依托算子优化、 显存管理、量化加速等底层技术提升吞吐、降低延迟;支持基于实时指标的弹性伸缩,支持缩容至0, 显著提升资源利用率。 此外,该MaaS平台还通过内置模型测评与优化工具链,支持自定义测评集和测评结果比对,辅助模型 选型与Prompt优化。提供一键调优与Multi-LoRA推理,简化部署、节省资源等服务。(文猛) 新浪科技讯 9月23日上午消息,硅基流动近日推出企业级MaaS(Model as a Service)平台,宣布提供从 异构算力纳管、 ...