V
主页
京东 11.11 红包
SFT导致大模型出现幻觉的两种原因
发布人
sft 的训练过程,是一个让模型学习条件概率的过程,Prob( E | ABCD )。这也就是说,模型在训练和学习过程中,只知道 下一个token出什么是正确的,而不知道 下一个token 出什么是错误的。无论你的 sft 语料如何构造,都无济于事,模型不知道“什么 token 是不能生成的”。 这也间接解释了另外一个现象:为什么 sft 的数据多样性很重要。因为没办法, 我们无法直接让模型知道错误的 token 是什么,但只要我们把正确的 token 都喂给它学习,孤立那个错误的 token,似乎也能起到类似的效果。可以这么认为,sft 一直在通过“孤立”来降低错误 token 的出现概率。 sft 缺乏负反馈机制引发的糟糕后果,会直接导致大模型的幻觉。 比如说,训练语料:张三最喜欢的人是李四 推理的时候,问,张三最讨厌的人是 大模型就有可能续写出李四 。模型固然知道“喜欢”和“讨厌”是完全相反的两个语义,但是奈何 张三和李四这两个token 太熟悉了。 sft 还有个问题就是不具有“向后看”的能力 在 sft 的训练过程中,每一个 token 都只看得见前面的 token。比如说,“1+1=3,这个是错误的”。无论你用什么炼丹技巧来做 sft,Prob(3 | 1+1=) 的概率都是在增加的,模型无法利用“后半个句子在否定前半句子”这个重要信息。 所以,sft 在更新某个 token 的概率的时候,是只参考前面信息的,是一种局部的有偏的训练方法。
打开封面
下载高清视频
观看高清视频
视频下载器
详解:Agent到底是什么?会成为下一个热潮吗?-北大博士后人工智能专家卢菁博士授课 人工智能|大模型|多模态|AIGC
怕的就是大模型也搞“自营”
大模型其实没有真正意义上的开源
比啃书快多了!这可能是B站最全的【知识图谱】实战系列,附课件源码,入门巨简单学不会你打我!人工智能/深度学习/AI/大模型
别看刷榜,大模型靠不靠谱,就看这一条
李飞飞新成果!机器人接入大模型,0训练就能完成复杂指令。
大模型和人脑思维的本质差异
建议对提示语不熟悉的,可以用一个小时,系统的看一下
大模型有可能带着人工智能走一条弯路
O1:模型认知智能的突破
AI用于军事,聊天式作战_人工智能
只需半天就能搞定的【时间序列预测任务】项目实战,华理博士精讲LSTM、Informer、ARIMA模型、Pandas、股票预测,学不会UP主下跪!附课件+源码
毕设有救了!如何从零到一搭建自己的RAG系统!LightRAG、LLM、大模型RAG检索增强生成
10月21日最新ChatGPT4.0使用教程,国内版免费网站,电脑手机版如何免下载安装通用2024
人类大脑VS大模型
手机可以运行大语言模型了!!
逼真的人体动作生成,对于游戏、数字人、影视特效等都很有用。通过文本生成有很大灵活性,效果方面既要求逼
每个领域的AI工具,都有让内行用还是外行用两种选择。但真正的红利,一定来自外行
程序员的Ai助手来了!轻松写代码
绝对通俗易懂!4个小时带你啃透【SAM CLIP GLIP VIT四大模型】北大博士后卢菁博士授课-手把手教如何训练多模态大模型
直观理解大模型预训练和微调!四大LLM微调方法,RLHF基于人类反馈的强化学习微调
多模态给GPT4装上了眼睛,以后还会装耳朵,装激光雷达。。最终理解一切信息,生成一切信息
Unity 3D AI又将是一枚重磅炸弹!_人工智能
北大用ChatGPT打造开发团队,无需人类干预,AI自主完成软件开发
7月17日,微软亚洲研究院发表论文,提出了一种新的大语言模型的基础架构,即 Retentive Network。该架构同时实现了训练并行化、低成本推理和良好性能
ChatGPT“代码解释器”终于全面开放了,魔法升级!
人工智能对大自然预测错误,反倒可能是大自然错了?利用预测的差异性,来指导酶的突变改造
几个近期算法成果
十万token,很多书都可以一次性输入了
众所周知,视频是人人都可以p的
图片编辑(image editing)是一大类方向,而最简单的无疑是通过对话来修改图片。这已不是科幻,不会太久可能就会有工具推出
千问大模型操控机器人,科幻逐渐成为现实
谷歌AI大模型palm2升级,新功能真是太炸裂了,AI大战号角正式吹响,这次你更看好谁?
程序员的末日来了,以后每个人用的应用都是专属定制
数学模型正逐渐生成一切#人工智能 #渲染 #神经辐射场 #神经渲染
中国AI的短板,走一条自己的路
一个网站就能找到任何你想要的机器学习和深度学习数据集!建议每一个人都好好收藏!!
谷歌发布全新线性时序预测模型,再次反超Transformer
【卢菁老师说】prompt压缩方法
AI进入电影工业的又一个产品,真人替换为CG相对容易,切入点不错