V
主页
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期5——Transformer之前的文本生成
发布人
https://www.coursera.org/learn/generative-ai-with-llms/lecture/vSAdg/text-generation-before-transformers 大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期5——Transformer之前的文本生成 需要注意的是,生成算法并不是新鲜事物。早期的语言模型采用了一种叫做循环神经网络(RNN)的架构。尽管RNN在其时代是强大的,但由于进行生成任务所需要的计算和内存量,它的表现被限制了。 让我们看一个RNN执行一个简单的下一词预测生成任务的例子。只有一个之前的词被模型看到时,预测是不可能非常好的。当你扩大RNN的实现,使其能够看到文本中更多的前面的词,你必须显著地增加模型使用的资源。事实上,当你增加模型看到的文本窗口时,RNN的计算和内存需求呈指数级增长。 关于预测,模型在这里失败了。即使你扩大了模型,它仍然没有看到足够的输入来做出一个好的预测。要成功预测下一个词,模型需要看到的不仅仅是前几个词。模型需要理解整个句子,甚至整个文档。 这里的问题在于,语言是复杂的。在许多语言中,一个词可能有多重含义,这些词被称为同形同音词。在这种情况下,只有在句子的上下文中,我们才能看出这是哪一种银行。在一个句子结构中的词可能是模糊的,或者我们可能称之为语法模糊性。举个例子,这句话:"老师用书教学生。"老师是用书来教学吗,还是学生有书,或者两者都有?如果有时候我们人类都不能理解人类的语言,算法又如何能够理解呢? 然而,在2017年,Google和多伦多大学发布了这篇论文《Attention is All You Need》后,一切都改变了。变换器(Transformer)架构诞生了。这种新颖的方法开启了我们今天看到的生成AI的进步。它可以有效地扩展到使用多核GPU,它可以并行处理输入数据,利用更大的训练数据集,关键的是,它能学会关注它正在处理的词的含义。而关注就是你需要的。这就在标题中。 课程地址:https://www.coursera.org/learn/generative-ai-with-llms/lecture/vSAdg/text-generation-before-transformers 播放列表:https://www.youtube.com/watch?v=X7r4rL2T2lg&list=PLiuLMb-dLdWL4KBaU3FTM5f_oMcSvXcZw
打开封面
下载高清视频
观看高清视频
视频下载器
生成式AI学习5——编码器-解码器架构(上)概述
使用Gradio构建生成式AI应用1:课程介绍
面向所有人的生成式 AI 入门课程 7 - 生成式 AI 应用 - 聊天
Mistral 入门指南 —— 如何从头实现一个简单的检索增强生成(RAG)
开源项目 postgres.new 使用自然语言设计数据库,可视化查看表的关系图,聊天界面对数据库的数据增删改查,生成图表
Google的教学视频《生成式AI介绍》(中英双语字幕)
WWDC24: 使用 Core ML 在设备上部署机器学习和 AI 模型 | Apple
面向所有人的生成式 AI 入门课程 5 - 生成式 AI 应用 - 写作
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
来自 Anima Anandkumar 的 TED 演讲:AI 让数字世界和物理世界连接到了一起(双语字幕)
面向所有人的生成式 AI 入门课程 4 - 什么是生成式 AI - AI 是一种通用技术
大型语言模型与生成式AI——使用指令对LLM进行微调4——多任务指令微调
面向所有人的生成式 AI 入门课程 8 - 生成式 AI 应用 - 大语言模型的能力与局限
生成式AI学习8——Transformer模型和BERT模型(上)概述
一分钟学 AI 之 —— 什么是向量搜索
小札视频介绍 Meta AI 和 Llama 3
【包学包会】不需要高配置!6分钟教会你使用Ollama在本机运行部署llama3.1 || 大模型本地部署、LLM、
Ilya Sutskever 和黄仁勋的炉边谈话-- LLM 所做的远不止预测下一个词
大模型做 OCR? Llama OCR 和 Zerox 介绍
Google的教学视频《Introduction to Large Language Models | 大语言模型介绍》
基于LangChain的大语言模型应用开发1——介绍
一起学多 AI 智能体系统(双语字幕)- 3. 什么是 AI 智能体
Kaggle&Gemini《生成式AI五天快速课程|5-Day Gen AI Intensive Course Kaggle》deepseek翻译
合成数据能否解锁 AI 的递归自我进化?— 马克·扎克伯格
Google Project Astra 演示:陪你一起看 Google I/O 直播并为你解说
从商业思维到AI实施:利用Semantic Kernel构建插件之路2 —— Semantic Kernel就像你的AI“烹饪厨房”
越学越爽!4小时从零入门大模型教程,2024最详细的学习路线,让你少走99%弯路!(大模型/LLM/Agent/提示工程)
【2024最新版】清华大佬终于把AI大模型(LLM+RAG系统+GPT-4o+OpenAI)讲清楚了!全程干货讲解,通俗易懂!学不会我退出IT圈!
The Prompt with Trevor Noah | 第1集:IHME 人口制图
2024吃透AI大模型(LLM+RAG系统+GPT-4o+OpenAI)通俗易懂,学完即就业!拿走不谢,学不会我退出IT圈!!!
一起学多 AI 智能体系统(双语字幕)- 5. AI 智能体的 6 个关键要素
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期 1——课程介绍
【Coze教程】这可能是全网最系统的Coze入门教程了!手把手教你用Coze手搓Agent智能体到搭建Coze工作流,入门到精通!
使用Gradio构建生成式AI应用5:图文互生游戏
是什么让大语言模型有了推理的能力?
The Prompt with Trevor Noah | 第3集:AI 如何帮助放射科医生更早更准确地检测乳腺癌
【秒懂教程】10分钟学会部署大模型GLM4,本地部署+模型微调+效果展示详细教程!草履虫都能学会~
使用Gradio构建生成式AI应用3:图片描述应用
自制大模型在浏览器上推理:WebAssembly加速现已支持
最近 CNBC 对 Airbnb CEO Brian Chesky 采访的一段视频,谈到了去年 OpenAI 宫斗以及 Airbnb 在 AI 的应用