V
主页
京东 11.11 红包
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期6——Transformer架构
发布人
https://www.coursera.org/learn/generative-ai-with-llms/lecture/3AqWI/transformers-architecture 大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期6——Transformer架构 #大型语言模型与生成式AI# 使用Transformer架构构建大型语言模型显著提升了自然语言任务的性能,主要原因在于它能够学习句子中所有单词的相关性和上下文。这种模型通过应用注意力权重来理解每个单词与其他所有单词的相关性,无论它们在句子中的位置如何。 Transformer架构分为编码器和解码器两部分。在将文本传入模型之前,需要将单词转换成数字(分词),然后传入嵌入层。在嵌入层中,每个token(数字)都被表示为一个向量,并占据嵌入空间中的独特位置。这些向量可以学习编码输入序列中每个token的含义和上下文。 模型还使用了位置编码来保存单词顺序的信息。经过输入tokens和位置编码的求和,将结果向量传递给自注意力层,在这里模型分析输入序列中tokens之间的关系。这种多头自注意力机制允许模型关注输入序列的不同部分,以捕捉单词之间的上下文依赖关系。 最后,所有的注意力权重被应用到输入数据上,然后通过一个全连接的前向网络进行处理。输出是一个对数向量,对应每个单词的概率分数。这些对数被传递给最后的softmax层,归一化为每个单词的概率分数。这个输出包括每个词汇的概率,从而预测最有可能的下一个token。 课程地址:https://www.coursera.org/learn/generative-ai-with-llms/lecture/3AqWI/transformers-architecture 播放列表:https://www.youtube.com/watch?v=X7r4rL2T2lg&list=PLiuLMb-dLdWL4KBaU3FTM5f_oMcSvXcZw
打开封面
下载高清视频
观看高清视频
视频下载器
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期 2——介绍
大型语言模型与生成式AI——使用指令对LLM进行微调4——多任务指令微调
Google的教学视频《生成式AI介绍》(中英双语字幕)
大型语言模型与生成式AI——使用指令对LLM进行微调2——指令微调
大型语言模型与生成式AI——参数高效微调2——PEFT技术1 - LoRA(低秩适应)
生成式AI学习8——Transformer模型和BERT模型(上)概述
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期9——生成配置
大型语言模型与生成式AI——人类反馈强化学习8——奖励攻击
大型语言模型与生成式AI——人类反馈强化学习7——PPO增强学习算法深度解析
使用Gradio构建生成式AI应用5:图文互生游戏
使用Gradio构建生成式AI应用6:构建与大语言模型交互的聊天应用
生成式AI学习12——生成式人工智能工作室介绍
大型语言模型与生成式AI——使用指令对LLM进行微调5——模型评估
大语言模型微调之道1——介绍
大型语言模型与生成式AI——人类反馈强化学习9——扩大人类反馈的规模
生成式AI学习7——注意力机制
大型语言模型与生成式AI——人类反馈强化学习3——通过人类反馈进行强化学习(RLHF)
从商业思维到AI实施:利用Semantic Kernel构建插件之路3 —— 利用 Kernel 烹制美味的 SWOT 商业分析
生成式AI学习3——负责任的人工智能入门
大型语言模型与生成式AI——参数高效微调3——PEFT技术2 - 软提示
大语言模型微调之道4——指令微调
200元显卡大战Qwen2.5-32B,垃圾佬也想跑本地大模型,P104双卡Linux下Ollama跑Local LLM
Geoffrey Hinton 对 AI 未来的见解(双语字幕)
面向所有人的生成式 AI 入门课程 5 - 生成式 AI 应用 - 写作
面向所有人的生成式 AI 入门课程 6 - 生成式 AI 应用 - 阅读
扎克伯格吐槽苹果和Google,以及谈为什么开源 AI
马斯克访谈 —— 尼古拉·坦根采访,谈 AI、特斯拉、中国电动汽车、Twitter(X)、SpaceX、中国电动汽车、企业文化与管理、火星殖民
基于LangChain的大语言模型应用开发2——模型,提示和输出解析
基于LangChain的大语言模型应用开发3——记忆
从商业思维到AI实施:利用Semantic Kernel构建插件之路1 —— 介绍
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期7——用Transformer生成文本
大模型项目失败的十大原因(一)
面向所有人的生成式 AI 入门课程 4 - 什么是生成式 AI - AI 是一种通用技术
基于LangChain的大语言模型应用开发1——介绍
标题:吴恩达 - AI领域的机遇 - 斯坦福在线 2023
基于LangChain的大语言模型应用开发6——评估
WWDC24: 在Apple GPU上训练您的机器学习和AI模型 | Apple
一分钟学 AI 之 —— 什么是生成式 AI
转:揭开AI编程的未来——对话Cursor创始工程师Ian
LangChain:构建与数据对话的聊天机器人1——介绍