RAG(检索增强生成)

搜索文档
百亿向量,毫秒响应:清华研发团队向量数据库 VexDB 首发,攻克模型幻觉难题
AI前线· 2025-09-25 08:04
作者 | 棱镜 AI 浪潮席卷之下,企业技术领袖们无不摩拳擦掌,渴望将这些颠覆性技术融入自身的业务核心,抢占智能时代的制高点,不料却被现实狠狠地甩下一记 耳光。 PoC 时的惊艳还历历在目——自动报告生成、智能应答客服、代码辅助开发,一切都看起来那么完美。然而,当试图将这些能力嵌入核心业务系统时, 医疗团队发现,AI 助手会面不改色地编造根本不存在的药物方案;金融机构意识到,风控模型可能依据过时的条款做出百万级的误判;连最简单的客服 场景中,AI 都能把用户引导向一个早已下架的产品。这并非由于某个技术事故,而是生成式 AI 存在已久的幻觉问题。 清华大学计算机系教授指出,大模型在垂直领域知识与实时更新上是有局限的,特别是幻觉问题,已经成为大模型深入企业级应用的掣肘。因此,行业 迫切需要一种既保留大模型生成能力,又能对其输出进行确定性约束的方案。 9 月 25 日,由李国良教授作为技术顾问的数智引航团队,正式发布向量数据库 VexDB,能够支持百亿千维向量数据毫秒级查询,召回准确度高达 99% 以上,从数据基础设施层面为 AI 应用构建一个可信的知识基石。近日,在国际权威的 DABSTEP 非结构化数据分析测试 ...
18 年 SEO 增长经验专家:别再收藏各种 AEO 最佳攻略了,自己动手实验才是做好的关键
Founder Park· 2025-09-23 14:19
于是,有人创建了几百个 Reddit 假账号,伪装成真人,自动发帖、评论、互赞,刷信任分,在 Reddit 上疯狂刷屏,让自家产品无处不在。 结果是,这招效果并不好,最后账号被封禁,评论被删除。 在 AEO 中,有大部分工作都被浪费了,是因为还没有搞清楚背后的引用「逻辑」。Reddit 平台的核心 优势是发布来自真人的、有用的、高质量且真实的评论。因此,ChatGPT 有意地引用来自 Reddit 的内 容。但如果 Reddit 内容变得不可信,结果可想而知。所以,五条高质量的评论反而会比一万条评论的 效果更好。 但做好 AEO 优化这事并不简单。需要你理解搜索背后的底层逻辑,找到适合的渠道及对应策略,然后 用自己的真实数据反复去验证,才能找到 AEO 优化最好的打法。 「你在网上能读到的,大部分关于 AEO 的信息和最佳实践都是不准确的。做好 AEO 最关键的一步, 是自己动手去验证。」 Reddit 是做好 AEO 最有效的渠道之一。这是近期频繁出现在各种 AEO/GEO 攻略里的一句话。 Ethan Smith,Graphite CEO、Reforge 合伙人,拥有 18 年 SEO 经验。 在与 Le ...
@CEO,你的下一个私人助理何必是人类
量子位· 2025-09-17 03:43
鱼羊 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI CEO私人助理的活儿,也被Agent盯上了。 每天能独立更新出全公司的 日报版"今日头条" ,还是完全 本地部署 、 开箱即用 的那种: 本体甚至能被CEO拎着走。 没错,整个机箱就A4大小,跟iPhone 15 Pro Max对比起来是这样的: 不卖关子,这么个新鲜角色,名叫智跃Agent一体机。很有意思的一点是,这是市面上首个专门面向CEO打造的软硬一体私有化Agent,目标 用户非常明确。 不愧是"Agent应用元年",连AI新硬件都开始彰显"个性"了。 到底怎么一回事,量子位编辑部的同事们也是率先过了一把CEO瘾,咱们一边实测,一边看看2025年的AI新硬件,都进化成什么样的形态了 —— 开箱即用的"信息管理助手" 传统的一体机大家已经比较熟悉了,大体上是算力+模型供给的模式,基本上买到手里还是得给它配个专门的开发团队。 与之相比,智跃Agent一体机实际上属于一个 全新的概念,定位并不相同 。 在硬件层面,它采用小巧的12L机箱设计,搭载 单卡4090 ,可以说是超小型化的Agent方案。 所有数据处理、存储环节均可以在本地完成,无需依赖外 ...
AI Agents与Agentic AI 的范式之争?
自动驾驶之心· 2025-09-05 16:03
AI智能体技术演进历程 - ChatGPT于2022年11月发布彻底改写AI发展轨迹 引发AI Agents和Agentic AI搜索热度飙升[2][4] - 早期专家系统如MYCIN(70年代)依赖符号推理和预设规则 缺乏学习能力和环境适应性[10] - 多智能体系统(MAS)和BDI架构(1999年)实现分布式问题解决 但仍受预编程限制[11] - 2023年AutoGPT等框架标志AI Agents落地 结合LLM与外部工具实现多步骤任务自主执行[12] - 2023年底CrewAI等系统推动进入Agentic AI阶段 多专业智能体协同分解复杂目标[12] - 谷歌2025年推出A2A协议 制定五大核心原则解决智能体互操作问题[12] AI Agents核心技术架构 - 定义为LLM和LIM驱动的模块化系统 填补生成式AI"只会说不会做"的空白[13] - 具备三大核心特征:自主性(无需人工干预) 任务特异性(专注单一领域) 反应性(适应动态变化)[16][17] - LLM作为推理决策中枢 承担目标解析 步骤分解和工具调用协调功能[21] - LIM扩展视觉感知能力 例如果园巡检AI实时识别病果和断枝并触发警报[21] - 工具集成通过"调用-结果整合"流程解决LLM知识滞后和幻觉问题[19] - ReAct框架实现推理与行动交替进行 例如ChatGPT网页搜索先判断知识缺口再调用工具[19] - Anthropic的"Computer Use"项目实现目标-行动-观察循环 控制鼠标键盘完成软件测试等任务[18] Agentic AI系统级创新 - 实现从孤立执行到协同决策的范式转变 核心在于多智能体协作解决复杂任务[24][27] - 与AI Agents关键差异体现在:广泛自主性 复杂任务协调 多智能体信息共享和跨环境学习能力[28] - 智能家居案例展示系统级智能:天气预测 能源管理和安防智能体协同实现全局目标[29] - 架构依赖两大支柱:协调层(元智能体负责任务分配和冲突解决) 共享记忆(存储任务进度和上下文)[33][36] - 动态任务分解将高级目标拆分为子任务 分配给专业智能体避免效率低下[33] - 科研助手AutoGen框架实现多智能体分工:检索 总结 整合 写作和引用智能体协同撰写综述[37] - 医疗决策支持系统集成监测 病史 治疗和协调智能体 降低误判风险并减少医生认知负担[38] 应用场景与典型案例 - AI Agents适用于客户服务 邮件筛选 内容推荐和日程管理等标准化任务[41] - Agentic AI在科研 农业 医疗和网络安全等复杂动态环境中展现优势[43] - 果园采摘场景实现多机器人协同:无人机测绘 采摘机器人 运输机器人和路径规划智能体联动[37][43] - 自动化基金申请书撰写通过多智能体协同完成文献分析 合规匹配和格式规范[43] - 企业网络安全事件响应由智能体分别处理威胁分类 合规分析和缓解方案制定[43] - ICU临床决策支持系统同步执行诊断 治疗方案制定和EHR分析 提升医疗安全性[43] 技术挑战与解决方案 - AI Agents存在因果推理缺失 LLM幻觉 知识滞后 提示敏感性和长期规划弱等痛点[50] - Agentic AI新增误差传递 协调瓶颈 涌现行为不可预测和可解释性差等挑战[50] - 十大解决方案包括:RAG提供实时外部知识 ReAct框架强化推理行动循环 因果建模区分相关性[49][52][53] - 共享记忆架构解决信息同步 元智能体协调避免混乱 工具验证机制自动修正错误[53] - 反思机制赋予自我批判能力 监控审计pipeline记录决策日志 治理架构防范安全风险[53] 未来发展方向 - AI Agents进化重点:提升主动推理能力 深化工具集成(结合机器人硬件) 强化因果推理[57] - Agentic AI突破方向:规模化多智能体协作(支持上千智能体) 领域定制化 伦理治理[57] - Absolute Zero框架探索零数据学习 实现自我驱动式的科研假设生成和验证[57] - 终极目标是从自动化工具进化为人类协同伙伴 适应高风险领域共同决策[58] - 需突破因果推理深度化 可解释性透明化和伦理安全体系化三大瓶颈[59]
什么是倒排索引(Inverted Index)?
搜狐财经· 2025-09-04 04:14
倒排索引技术概述 - 倒排索引是一种将词项映射到包含该词项文档列表的索引结构 与传统正向索引相反 通过关键词快速定位文档[1] - 构建过程包括文本预处理 词典生成和倒排记录表创建三个核心步骤[1] - 适用于全文检索 搜索引擎和大规模数据分析场景[1] 技术应用领域 - 广泛应用于全文搜索引擎 实现毫秒级文本检索响应 如Elasticsearch系统[3] - 应用于日志分析系统快速定位错误信息 以及推荐系统构建用户画像和内容标签关联[3] - 在人工智能领域与向量检索技术结合推动RAG技术发展 支持精确匹配和语义相似性搜索[3] StarRocks技术优势 - 作为新一代实时分析数据库 原生支持全文检索功能 通过优化倒排索引结构实现高效文本查询[5] - 能够无缝整合传统倒排索引与向量相似性搜索 为RAG应用提供统一数据底座[5] 镜舟数据库增强功能 - 作为StarRocks企业版本 支持分布式倒排索引构建 能处理PB级数据规模索引任务[8] - 通过智能压缩算法和并行处理技术 在保持查询性能同时显著降低存储成本[8] 腾讯实际应用案例 - 腾讯选择StarRocks构建千万级向量数据检索系统 优化倒排索引结构和查询算法[8] - 系统保持毫秒级响应时间同时支持复杂多维度查询条件 解决原有系统性能瓶颈[8] - 实际部署显示查询响应时间缩短80%以上 支持更大规模数据处理需求[8] 技术融合趋势 - 现代数据库系统探索传统倒排索引与向量检索技术相结合的创新方案[3] - 向量索引支持语义相似性搜索 倒排索引擅长精确匹配 结合满足精确检索和模糊匹配需求[3] - 混合检索方式在百万级文档规模下仍保持出色查询性能[3]
晓花科技吴淏:大模型存在“幻觉”等风险,应避免输出不合规或错误的信息
北京商报· 2025-08-01 10:25
公司AI客服系统转型 - 晓花互联网科技因传统机器人智能化不足 自去年起关注DeepSeek和文心一言等大模型技术 今年决定自主搭建基于大模型的客服系统 [2] - 公司采用"大模型+小模型"混合架构应对幻觉问题 小模型处理常规问题 大模型专注复杂场景 通过智能决策、问题改写、混合检索和重排序算法生成候选答案 最终推送知识库标准答案 [2] - 系统上线一个半月后日均排队量减少2000-3000次 首轮问题识别率从50%提升至70%-80% 有效降低用户等待负面情绪并减少后续客诉 [2] 大模型风险控制策略 - 大模型存在自身稳定性风险、幻觉风险和新模型上线稳定性风险 [3] - 应对幻觉风险的核心策略是使用RAG(检索增强生成)技术 将大模型语言能力限制在业务知识库范围内 通过精细化Prompt明确角色指令并提供反例 [3] - 采用经验话术精调模型以适应业务场景风格 并对输出结果进行质检 避免输出不合规或错误信息 [3]
数据治理对人工智能的成功至关重要
36氪· 2025-07-21 03:09
大语言模型(LLM)的应用与潜力 - 自ChatGPT发布以来,大语言模型(LLM)已成为主流,推动各行各业探索其在业务转型中的潜力 [1] - 多种技术如RAG、向量数据库、重排序器等应运而生,帮助构建更强大的AI系统 [1] - 提升AI系统业务影响力的最有效方法依然是数据 [1] 人工智能系统在企业中的应用 - AI需要输入数据才能发挥作用,催生了RAG(检索增强生成)架构 [2] - 输入数据可以是合同、采购订单、工程文档等,具体取决于用例 [2] - 以航空公司客户服务聊天机器人为例,RAG架构包括构建知识库、索引分块文档、检索相关文档块并生成响应 [2] - 数据层的工作对业务影响更为合理和有效,知识存储的质量直接影响AI响应质量 [2] 知识库数据的问题 - 提供的文档可能与用例无关,增加噪音 [5] - 可能缺少解决任务所需的文档 [5] - 文档可能过时或未及时更新 [5] - 文档可能存在版本冲突或包含敏感信息 [5] 数据治理的发展 - 数据治理角色正在扩展,以支持AI系统和非结构化数据治理 [6] - 传统数据治理主要关注结构化数据,但GenAI的出现使其涵盖非结构化数据 [6] - 数据治理通过与业务、AI技术和数据团队协作,可构建安全、准确且可扩展的AI系统 [6] NoSQL数据库的设计 - 许多开发人员在设计NoSQL数据库时仍使用关系型思维模式 [8] - NoSQL数据库有多种类型,设计时需根据其特定用途仔细考虑 [8]
猫猫拯救科研!AI怕陷“道德危机”,网友用“猫猫人质”整治AI乱编文献
量子位· 2025-07-01 03:51
核心观点 - 通过"猫猫"威胁可暂时改善AI编造参考文献的问题 但无法根本解决幻觉现象[1][2][5] - 测试显示DeepSeek在无干预情况下会生成虚假文献链接和标题 错误率显著[8][12][13][14] - 加入猫猫提示词后模型输出真实性部分提升 但仍存在真假混杂现象[19][20][21][22][24] - 行业普遍采用RAG和联网搜索作为降低幻觉的有效手段[31][32][33] AI幻觉现象分析 - 编造文献本质是大模型基于统计规律生成文本的固有缺陷[25][26] - 当前技术无法通过道德约束提示词完全消除幻觉[28][30] - 语言模型对语义的理解程度仍存在学术争议[27] 解决方案对比 - 传统提示词工程(如猫猫威胁)效果有限且不稳定[22][24] - RAG技术通过外部知识库校正输出准确性[31] - 主流模型已集成联网搜索功能(如Gemini DeepSeek)[32] - 专业AI搜索工具(如Perplexity)在资料质量上更具优势[33][34] 用户反馈数据 - 相关小红书帖子获4000+点赞和700+评论 反映科研群体共鸣[5] - 评论区证实类似方法对其他模型(如DeepSeek)的适用性[6][24]
Gemini 2.5 Pro 负责人:最强百万上下文,做好了能解锁很多应用场景
Founder Park· 2025-06-30 11:47
长上下文技术优势 - Gemini系列在百万级长上下文处理上具有显著领先优势,尤其是Gemini 2 5 Pro能直接遍历整个项目代码,带来差异化体验[1] - 长上下文将引发产品交互革新并创造全新应用场景[2] 当前技术瓶颈与发展方向 - 百万级token上下文质量未达完美前,盲目扩大规模意义有限[3][5] - 成本下降后千万级token上下文将成为标准配置,对编码等场景产生革命性影响[3][35] - 当前主要瓶颈在于短上下文模型中信息源间存在注意力竞争[8] 记忆机制差异 - 权重内记忆(in-weights memory)存储预训练知识但难以更新,上下文内记忆(in-context memory)更易修改[6] - 三类需上下文补充的知识:时效信息/私人信息/罕见事实(互联网出现少于2次的内容)[7] RAG协同效应 - RAG通过向量检索实现海量信息粗筛,与长上下文精细处理形成互补而非替代关系[10][11] - 企业级数十亿token知识库场景仍需RAG,两者协同可提高信息召回率[11] 推理能力关联 - 长上下文能力与推理表现存在深层联系,输出反馈输入可突破网络深度限制[14] - Agent既消耗长上下文记录状态,又能主动提供上下文获取服务[15][16] 开发者实践建议 - 问题应置于上下文末尾以利用缓存机制,前置会导致每次请求重新处理[22] - 避免将长上下文作为"数据垃圾桶",无关信息会降低多关键信息检索性能[23] - 上下文缓存可使后续请求成本降低75%,特别适合固定文档/代码库场景[20][21] 评估体系演进 - "大海捞针"式单信息检索测试已过时,强干扰环境/多关键信息检索成为新重点[27] - 检索与合成评估(如文本总结)更能体现真实能力,但自动化评估仍具挑战性[28] 成本与规模限制 - 千万级token推理测试已获良好质量数据,但单次服务器启动成本过高制约商业化[30] - 百万级上下文质量优化优先于规模扩张,完美质量将开启未知应用场景[34] 未来三年展望 - 千万级token上下文将使AI编码助手完整处理大型项目,超越人类程序员工作模式[35] - 算法创新与推理工程并重,需专业团队解决百万级token服务化难题[36]
全面拥抱AI后,OceanBase推出开箱即用RAG服务
南方都市报· 2025-05-17 09:32
公司战略升级 - 公司升级AI战略,从一体化数据库向一体化数据底座演进,通过一套引擎支持TP/AP/AI混合负载、向量数据库及SQL与AI混合检索 [1][2][4] - CEO通过全员信宣布公司全面进入AI时代,CTO提出构建Data×AI能力,推动战略演进 [1][4] - 蚂蚁集团支持公司在金融、医疗、生活等核心场景实践Data×AI理念,并继续推动开源开放 [4] 新产品发布 - 发布PowerRAG,提供开箱即用的RAG服务,打通数据层、平台层、接口层与应用层全流程,支持文档和对话API接口 [1][5][7] - PowerRAG旨在解决传统RAG开发周期长、维护成本高、调试困难等问题,支持文档知识库、智能对话、图像比对等场景快速开发 [5][7] - 发布业内首个"共享存储"产品,实现对象存储与TP数据库深度集成,TP负载存储成本最高降低50% [9][10] - "共享存储"采用多级缓存架构、自研LSM-Tree引擎等技术,支持毫秒级响应,覆盖TP、时序类、OLAP等业务场景 [10] 技术能力突破 - 向量性能达业内领先水平,基准测试显示优于三款开源向量数据库 [7][8] - 混合检索能力增强,通过自研向量算法库、内核级多模查询实现更快更准的检索 [9] - OB Cloud上线百度云,已支持阿里云、华为云、腾讯云、AWS、Google Cloud等六大公有云平台,覆盖超100个可用区 [10] 行业应用与客户案例 - 公司数据库连续十余年支撑"双11",服务金融、政务、运营商等2000多家客户 [7] - 客户案例包括联通软研院基于OceanBase开发AI助手,银泰商业打造零售业智能问数平台 [7] - 行业共识认为AI时代数据存在四大挑战:获取成本高、行业数据稀缺、多模态处理难、质量评估难 [1]