Workflow
多模态大模型
icon
搜索文档
360开源高质量图文对齐数据集!收纳1200万张图像+1000万组细粒度负样本,让模型告别“图文不符”
量子位· 2025-05-31 03:45
核心观点 - 360人工智能研究团队提出FG-CLIP模型,显著缓解CLIP的"视觉近视"问题,使其更关注细粒度特征学习[1] - 模型成功关键在于高质量数据,团队开源FineHARD数据集,包含1200万张图像、4000万边界框及1000万组细粒度难负样本[3][4] - FineHARD数据集以细粒度+难负样本为核心特点,显著提升模型在下游任务表现[4][6] - FG-CLIP已被ICML25接收,在细粒度理解、开放词汇对象检测等任务中优于原始CLIP和其他先进方法[4] 数据集构建 - 数据规模:1200万张高质量图像,4000万边界框标注,1000万组细粒度难负样本[7][11] - 计算资源:采用160×910B算力NPU集群,7天内完成数据清洗与多模态对齐[7] - 文本描述:基于GRIT数据集优化,平均描述长度从20词扩展至150词以上,提升语义密度[8][11] - 边界框增强:通过Yolo-World模型生成额外边界框,NMS技术过滤低质量预测(置信度>0.4)[9] 技术特点 - 全局细粒度对齐:为每张图像生成包含场景背景、对象属性的长文本描述(平均150词)[11] - 局部细粒度对齐:开放世界目标检测提取4000万bounding box及对应区域级描述[11] - 难负样本生成:基于属性扰动方法生成1000万组样本,人工复核显示98.9%符合质量标准[14][15] - 多样性优势:在243k图像子集中包含21k独立类别标签,显著高于V3Det的13k[25] 应用前景 - 多模态大模型训练:提升跨模态理解与生成能力,特别是图像细节理解[26] - 具身智能系统:结合细粒度空间描述,增强机器人环境感知与操作指令解析[26] - 3D场景建模:为虚拟场景重建提供高精度语义锚点,加速AR/VR技术发展[26] - 细粒度识别:通过难负样本对抗训练提升近似类别判别能力,推动安防零售应用[27] 数据集对比 - 规模优势:边界框数量(4000万)远超COCO(150万),图像数量(1200万)显著领先[22] - 质量优势:细粒度标注和难负样本设计提升模型性能表现[22] - 多样性优势:相同图像规模下独立类别标签数量显著高于V3Det等专业数据集[25]
云从科技多模态大模型登顶OpenCompass全球多模态榜单
快讯· 2025-05-29 07:12
云从科技多模态大模型表现 - 公司自主研发的从容大模型以80.7分综合成绩登顶OpenCompass全球多模态榜单榜首 [1] - 模型在8大核心数据集测试中表现突出,涵盖视觉感知、认知理解与跨领域应用 [1] - 在医学健康、数理逻辑、艺术设计等十余个专业领域展示出领先能力 [1] 行业技术进展 - 国际评测平台OpenCompass最新榜单显示多模态AI技术竞争加剧 [1] - 视觉感知与跨领域应用成为多模态模型的核心评测维度 [1]
2025年中国多模态大模型行业市场规模、产业链、竞争格局分析及行业发趋势研判:将更加多元和深入,应用前景越来越广阔[图]
产业信息网· 2025-05-29 01:47
多模态大模型行业定义及分类 - 多模态大模型是能够同时处理和理解多种模态数据(如文本、图像、音频、视频、3D模型等)的大规模人工智能模型,通过深度学习技术实现跨模态信息融合与推理 [2] - 与传统单一模态模型相比,多模态大模型更像全能翻译官,能够将不同模态信息融会贯通,更准确地处理复杂任务 [2] 多模态大模型行业发展历程 - 行业经历了任务导向阶段、视觉-语言预训练阶段和多模态大模型阶段 [4] - 多模态大模型阶段已实现更灵活的交互方式,强调跨模态理解与生成能力同步提升 [4] 多模态大模型行业发展现状 - 2024年中国多模态大模型市场规模为156.3亿元,较2023年增加65.4亿元,预计2025年达234.8亿元 [6] - 数字人领域应用份额最大(24%),其次是游戏与广告商拍(各13%),智能营销和社交媒体(各10%) [8] 多模态大模型行业产业链 - 上游包括AI芯片、GPU/FPGA/CPU/ASIC、服务器等硬件及基础软件 [10] - 中游为多模态大模型产品(如CLIP、BLIP、LLaMA等) [10] - 下游应用于工业、农业、金融科技等生产制造领域,教育、游戏、传媒等生活娱乐领域,基建、交通、医疗等公共服务领域 [10] - AI芯片市场规模从2019年116亿元增长至2024年1447亿元 [12] - 游戏领域2024年销售收入达3257.83亿元,用户规模6.74亿人 [14] 多模态大模型行业竞争格局 - 主流大模型包括中科院紫东太初、华为盘古、百度文心、腾讯混元、阿里通义、科大讯飞星火等 [16] - Kimi、DeepSeek等通过技术优化将训练成本控制在3000-6000万美元 [16] - 百度文心大模型4.5是首个原生多模态模型,具备多模态理解和高情商特点 [16] - 腾讯混元大模型采用动态路由机制,训练成本降低40% [16] - 阿里通义大模型在医疗、司法、文化传播等领域落地应用 [16] 多模态大模型行业发展趋势 - 多模态大模型正成为推动相关产业创新发展的重要力量,能提供更丰富和个性化的服务体验 [19] - 未来将实现更自然高效的人机协作,在金融分析、智能客服、教育辅导、内容创作等场景展现多任务处理能力 [19] - 技术发展将呈现更加多元和深入的趋势,模型将更智能、更人性化 [19]
每日市场观察-20250528
财达证券· 2025-05-28 13:47
市场表现 - 5月28日市场延续跌势,成交额1.02万亿,较上一交易日减少约100亿,超八成个股涨跌幅局限于3%以内[1] - 5月27日沪指跌0.18%,深成指跌0.61%,创业板指跌0.68%[2] 资金流向 - 5月27日上证净流入10.27亿元,深证净流出20.48亿元,化学制药、计算机设备、农化制品主力资金流入前三,工业金属、半导体、乘用车主力资金流出排名前三[4] 消息面 - 1 - 4月全国规模以上工业企业利润总额21170.2亿元,同比增长1.4%,国有控股企业利润总额同比下降4.4%,股份制企业增长1.1%,外商及港澳台投资企业增长2.5%,私营企业增长4.3%[5] - 5月26日穆迪维持中国主权信用评级“A1”和负面展望不变,财政部称是对中国经济向好前景的正面反映[7] 行业动态 - 2025年第一季度非洲智能手机市场出货量同比增长6%达1940万部,预计全年增长3%,传音一季度出货量同比下滑5%[8][9] - 上海首个交通领域多模态大模型“通达”问世,有望让路口通行效率提升15%[10][11] 基金动态 - 首批26只新型浮动费率基金中有16只5月27日开启发行,6月底前基本完成募集,部分基金公司将发行重心放在6月初[12] - 首批基于业绩比较基准的浮动费率产品启动发行,中国银行推出认购费一折优惠让利投资者[13]
整理:每日科技要闻速递(5月28日)
快讯· 2025-05-27 23:27
新能源汽车 - 比亚迪刀片电池提前通过新国标 [2] - 小马智行与迪拜道路交通管理局达成战略合作 [2] - 小米SU7 Ultra锁单量达到2.3万辆 [2] - 部分车企参与研讨会讨论"零公里"二手车等议题 [2] - 长安汽车董事长预计行业竞争将在2年内回归良性环境 [2] 集成电路(芯片) - 三星计划2028年推出玻璃中介层 [2] - 三星调整HBM团队组织架构并押宝定制化HBM [2] - 三星将在6月后停止接受多层单元NAND订单 [2] - 台积电将生产基于MicroLED的光通信互连产品 [2] - 台积电在德国慕尼黑设立欧洲芯片设计中心 [2] 人工智能 - 上海推出首个交通领域多模态大模型,路口通行效率有望提升15% [2] - 英伟达供应商解决机架过热问题并开始出货Blackwell芯片 [2] - 腾讯云推出GooseFS 2.0,为人工智能业务场景提供全面支持 [2] 其他 - Salesforce拟80亿美元收购Informatica [2] - 非洲智能手机市场预计2025年实现3%增长 [2] - 抖音试行新规处理可能诱发"开盒"等事件的信息 [2] - 美国得州对苹果和谷歌应用商店实施年龄验证 [2] - Neuralink融资6亿美元,估值达90亿美元 [2] - 苹果计划发布专用视频游戏应用程序以增强游戏行业影响力 [2]
全日程公布|谷歌Veo 3惊艳发布后,这场CVPR分享会值得每个AI人「听个声」
机器之心· 2025-05-27 06:38
AI视频生成技术进展 - 谷歌发布新一代AI视频生成模型Veo 3,实现了高质量视频生成与音画同步功能,被评价为不亚于OpenAI Sora的跨时代产品,标志着AI视频进入"有声时代"[1] - AI社区通过架构创新和算力投入持续推动技术进步,视频生成领域从无声进化到有声,多模态领域向理解与生成大一统方向演进[2] 学术会议规模与质量 - CVPR 2025作为计算机视觉领域最重要国际会议之一,共收到13008份论文投稿,最终接收2878篇论文,整体接收率为22.1%[2] 技术研究专题与演讲嘉宾 - 中国科学院大学教授高林将分享基于混合表达与生成模型的可视媒体合成与编辑方法,介绍高斯泼溅技术的最新进展及其在数字人实时重光照等应用[8][10] - 北京航空航天大学副教授黄雷将从表征和学习视角探讨多模态大模型的统一之路,分析条件概率模型在建模任意问题的可行性[12] - 论文分享环节涵盖多模态驱动的人类动画、大规模人形角色自动绑定、通用机器人操作、长时视频理解、3D分割和视觉语言理解等多个前沿研究方向[4] 行业人才计划与资源投入 - 腾讯青云计划聚焦AI大模型等十大技术领域,提供不设上限的职级薪酬和定制化培养方案,开放核心业务机会和解锁前瞻性技术课题[17] - 京东TGT计划面向全球高校技术人才,依托京东丰富的产业布局,研究涵盖多模态大模型与应用、机器学习、具身智能等方向,提供充足算力资源和三导师培养机制[18] 行业交流平台与合作机会 - 黄大年茶思屋科技网站作为开放平台汇聚全球科学家和研究人员,推动科技创新交流[16] - 机器之心成功举办多场学术活动,为企业提供人才吸纳和品牌影响力提升的合作机会[20]
上海首个交通领域多模态大模型问世 有望让路口通行效率提升15%
快讯· 2025-05-27 03:07
公司成立与产品发布 - 上海首家国资背景垂直领域大模型企业中城交(上海)科技有限公司正式成立 [1] - 公司同时发布上海首个交通领域多模态大模型"通达大模型" [1] - "通达"是全市首个交通专用大模型 [1] 产品核心能力 - 具备"专家顾问"功能 为管理人员提供专业知识服务 [1] - 辅助交通组织管理 担当算法基石和中央大脑 [1] - 通过视频监控和物联网设备实时捕捉路口车流量变化及周边道路通行态势 [1] - 可在极短时间内完成海量数据模拟并生成交通信号优化方案 [1] 产品应用效果 - 在试点城市使路口通行效率提升15%左右 [1] - 改变传统依赖管理人员经验的交通信号调整模式 [1] - 被形容为交通管理的"千里眼"和"最强大脑" [1] 行业影响 - 标志着上海交通智能化的一次迭代升级 [1] - 为城市交通拥堵问题提供"智慧药方" [1]
从马拉松到格斗大赛,人形机器人在教育行业的奇点时刻还有多远?
36氪· 2025-05-26 23:48
人形机器人产业发展概况 - 2025年人形机器人与具身智能正从实验室走向规模化落地,成为全球科技与资本竞逐焦点,由AI大模型与硬件革命驱动产业变革 [1] - 全球人形机器人市场规模已达32.8亿美元,预计国内三年内突破200亿元,在所有应用形态中占比将超20% [2] - 人形机器人被视为继计算机、智能手机、新能源汽车后的革命性产品,集成人工智能、高端制造、新材料等前沿技术 [1] 政策支持与产业链布局 - 2018-2024年国家及地方累计发布10项专项政策,包括《十四五机器人产业发展规划》《人形机器人创新发展指导意见》等核心文件 [3] - 产业链形成"上游核心技术-中游整机制造-下游应用场景"三级结构,多技术融合特征显著 [12] - 上游核心技术包括具身智能"大脑"(多模态大模型)、运动控制"小脑"、仿生系统"身体"三大支柱 [11][13][18][19] 技术演进与突破 - 发展历程分为机械模仿(1969-2000)、感知能力初现(2000-2015)、运动与认知并进(2015-2022)、具身智能爆发(2022至今)四个阶段 [4][5][6][7] - 具身智能通过物理形态与环境互动,结合大模型实现实时感知-决策-执行闭环,典型案例包括自变量机器人WALL-A的零样本泛化能力 [7] - 硬件突破体现在执行器(国产替代加速)、传感器(速腾聚创激光雷达)、能源系统(宁德时代电池技术)等领域 [19] 市场应用与商业模式 - 工业场景已实现高危作业替代(如Figure AI物流分拣机器人),家庭场景预计需5-10年成熟 [23] - 宇树科技通过租赁模式验证市场需求(产品售价9.9万-65万元),推动从展示性向功能性租赁升级 [23] - 商业模式向"硬件+服务"演进:B端采用机器人即服务(RaaS),C端采用硬件买断+软件订阅 [24] 教育场景应用 - 当前处于"小场景验证"阶段,聚焦特殊教育/STEAM/职业教育,大规模普及需硬件成本下降 [26] - 发展阶段分为功能验证(2020-2025)、辅助教学(2026-2030)、深度融合(2031-2035)、自主创新(2036后) [27] - 典型案例包括优必选Yanshee(覆盖上千所学校)、乐聚Aelos(200余所院校落地)等 [32][33] 未来八大趋势 1. 具身智能与多模态大模型深度融合,实现教育场景泛化与个性化 [34] 2. 仿真训练平台(如Nvidia Isaac Sim)加速智能化迭代 [35] 3. 端到端大模型驱动自主操作与自适应教学 [36] 4. 人机共融伦理规范体系化构建 [37] 5. 从辅助工具向教育生态重构演进 [38] 6. 催生机器人教育算法开发者新角色 [39][40] 7. 产教融合推动产学研协同创新 [43][45] 8. 数据标注技术向多模态智能标注演进 [47]
上海网达软件股份有限公司关于2024年度暨2025年第一季度业绩暨现金分红说明会召开情况的公告
上海证券报· 2025-05-26 19:35
业绩表现 - 2024年实现营业收入3.34亿元,同比增长13.18%;归属于上市公司股东的净利润1047.69万元,同比增长112.57%;扣非净利润220.62万元,同比增长102.34% [2] - 2025年一季度营业收入7447.01万元,同比增长11.11%;扣非净利润121.07万元,同比增长35.34% [11] - 高新视频解决方案毛利率同比增加8.16%,AI视频大数据解决方案毛利率同比增加30.30%,成为重要增长点 [2] 业务发展 - 基于自研行业大模型,聚焦智慧安防、智慧社区、智慧医疗、安全生产等场景,提供专业化、轻量化解决方案 [3] - 将高清视频处理、AI模型、XR引擎等模块标准化,形成可快速复用的技术中台,降低定制化开发成本 [3] - 产品深度融入信创生态,完成与国产操作系统(OpenEuler、麒麟、统信、鸿蒙等)及处理器平台(鲲鹏、飞腾、海光等)的兼容适配认证 [3] 技术布局 - 以AI大模型为底座、超高清视频为入口、XR为交互界面,为细分市场提供高附加值解决方案 [5] - AI大模型赋能安全领域:建立全方位智能感知体系,已在码头/港口实现项目落地,并推广至园区、商场、轨道交通等行业 [7] - AI大模型赋能全媒体领域:研发智能图像创作系统、直播拆条系统等,构建企业级媒体数智台,承接国家主流媒体客户端平台项目 [8] 行业前景 - 高新视频产业加速向"智能化、沉浸化、交互化"发展,推动产业链从终端显示向内容生产、算力网络、行业应用全链条延伸 [9] - 多模态大模型整合文本、图像、语音、视频等信息,渗透工业、教育、金融、医疗等行业核心场景,成为智能化转型关键引擎 [9] 2025年规划 - 夯实视频技术底座:聚焦超高清编解码、低时延传输,加速国产化硬件平台适配,探索视频技术赋能数字化转型新模式 [12] - 激活AI大模型势能:基于自主4K/8K全生态链解决方案,打造智能创作工具链,搭建AI视频能力开放平台 [12] - 布局扩展现实生态:强化空间计算、实时渲染能力,推进XR与AI、物联网融合,在数字文娱、职业培训等领域形成标杆解决方案 [12] 其他事项 - 拟每10股派发现金红利1.50元(含税),合计派发4005.13万元,股东会召开后2个月内实施 [5] - 全资子公司上海众响信息技术有限公司已完成注销,不再纳入合并报表范围 [16][17] - 作为华为鸿蒙开发服务商,拥有100多名鸿蒙资质工程师,参与研发2款重要应用并获鸿蒙先锋奖 [6]
第九届世界无人机大会暨国际低空经济与无人系统博览会在深圳举行
南方日报网络版· 2025-05-26 07:57
无人机与具身智能技术结合 - 更多无人机企业尝试将无人机与具身智能技术相结合,产品线深入细分领域 [1] - 展会低空经济板块展出5000多架(台)各类无人机及上下游配套产品 [2] - 道通智能展示多模态大模型应用,无人机可自主优化飞行路径,成为空中机器人 [2] - 猎户座AP3-P3柔韧系留清洗系统展示小型清洗无人机在城市建筑小场景的应用潜力 [2] 无人机应急救援应用 - 展会展示无人机消防作战单元车、智能遥控救援担架、飞行救生圈等应急救援产品 [3] - 浙江俱星动力科技展出内嵌四旋翼的飞行救生圈,可远程遥控并自动识别落水者 [3] - 龙翼航空无人机消防作战单元车配备长航时侦察无人机和三架投弹灭火无人机,单次覆盖火场面积500平方米,效率提升5倍以上 [3]