V
主页
RAG的死穴在哪?
发布人
RAG最大的死穴在于,模型无法生成搜索引擎知识之外的内容,上限不会超越搜索引擎。 RAG主要用于两种场景 一个是,模型本身就没有的知识,通过rag单纯地提供材料,材料说啥就是啥, 比如问大模型一些最新的新闻,此时的RAG = 搜索引擎提供参考 + 模型整理话术。 但是这时候,如果检索出来的材料错了,那么大模型一样会犯错。 但是呢,还有另外一种场景,大模型本身已经学习了某些知识,但是因为数据本身的长尾性,学习的效果并不好。 这时候呢,通过检索能够辅助模型。 另外一种情况是,模型训练里面的知识本身出现了矛盾,就会被训练数据的先验所误导。 比如美国的总统先是A当了8年,然后轮到了B,在语料收集的时候B只当了3天。 语料中,A的训练数据在量上会远高于B,这就对模型产生了误导。 这时候我们就需要使用RAG来强行给模型灌入知识,用后验概率影响先验。 但是RAG最大的死穴在于,模型无法生成搜索引擎知识之外的内容,上限不会超越搜索引擎。 其实也就是,无法产生数据中存在,但无法检索到的深度知识。 举一个最简单的例子: 比如拿中国历史书作为检索数据。 我试过问大模型“三国归晋的原因是什么”,一般都会回答魏蜀吴皇帝的荒淫无道,治国无方,大权旁落。 没有任何一个模型能够回答出士族门阀政治的答案,但是这个答案确实存在于语料中,只不过答案需要结合南北朝一起才能得出。 从上面的例子可以看出,大模型具备知识理解能力,但是搜索系统却不具备高度概括的检索能力,答案本身超越了文本检索的能力。 也就是搜索系统的语义理解短板影响到了整个rag系统。 模型没有见过,搜索也搜索不到,所以很难生成出来。 正因为RAG的受限,所以今年开始,各个厂商开始卷超长文本了,把整个语料都扔给大模型,直接略过检索短板。 当大模型可以生成这种信息的时候,就可以说完全超越了搜索引擎。每个人就可以探索自己“不知道自己不知道”的领域了。
打开封面
下载高清视频
观看高清视频
视频下载器
RAG+知识图谱的四种方法
从传统RAG到GraphRAG
吴恩达《使用LlamaIndex构建主动式RAG|Building Agentic RAG with LlamaIndex》中英字幕
【卢菁老师说】Agent就是一场彻头彻尾的AI泡沫
🔥 从零开始学习 RAG|1️⃣ RAG 概览
吴恩达《知识图谱用于RAG|Knowledge Graphs for RAG》中英字幕
大模型rag技术如此之多,如何选择,多看看论文和实验
98%准确率:OpenAI的RAG技巧,你也可以用起来!
基于知识图谱、大模型、RAG检索增强的传统文化研究项目
动手学RAG:Part1 什么是RAG?
🦜🕸️ LangGraph:高阶 RAG 实战(Self-Reflective)
【科普向】什么是RAG检索增强生成?让LLM更靠谱的外挂
RAG共学一:16个问题帮你快速入门RAG
如何选取RAG中的embedding模型
开源了,基于大模型、知识图谱、rag的李白项目,欢迎大家去github给个star
【B站首发】大模型最新技术,基于百万语料的医疗RAG项目讲解 1.LLM的应用神器RAG 2.RAG如何解决LLM现有的问题-北京大学卢菁博士授课
LLM面试_为什么常用Decoder Only结构
GPT4o API指南来啦!10分钟构建多模态线上知识库+问答机器人 | GPT4o API 调用实战
RAG已死?长上下文是否替代了RAG
ReRank与Embedding模型的区别? 如何选择ReRank模型?
提示词、RAG、微调哪个会让大模型表现更好?1、实践中如何选择微调、rag、提示词工程 2、提示词工程使用方式 3、RAG VS 微调 4、rag评估框架
市面上各大AI Agent智能体框架的优缺点是什么?如何选择适合自己的智能体框架?迪哥带你从零梳理AI Agent智能体学习路径!
GraphRAG与普通RAG比较,效果,速度,费用
通过看DeepSeek-v2思考目前大模型学习路径
GraphRAG,探索知识图谱和大语言模型的结合,以增强检索和生成!
LLAMA3就是下一个安卓
大模型的长文本技术能够取代RAG吗?
国内大模型基本就是靠两个洋雷锋
最强大模型 GPT-4o 实测高考数学压轴题,图文理解能力究竟有多强?
价格战开始!大模型领域的拼多多
GPT-4o是如何做到低延迟实时对话的?
实测2360亿参数的最大开源大模型DeepSeek V2,学生党一样可以玩儿
KAN+Transformer,实验指标获得巨大提升!结合论文与项目详细讲解如何进行融合
国产大模型的卧龙与凤雏:华为 VS KIMI
中美两国大模型产业的一个显著不同
大模型落地还有哪些工作必须做?
山姆·奥特曼:再有一两个小突破,AGI将到来
它到底做了什么?OpenAI成功的秘密
国产大模型的罪与罚
【大语言模型】吴恩达最新:基于LangChain的大语言模型应用开发+构建和评估高级的RAG模型应用 教程,大模型应用落地(附大模型开发文档)