V
主页
大型语言模型与生成式AI——参数高效微调1——参数高效微调(PEFT)
发布人
大型语言模型与生成式AI——参数高效微调1——参数高效微调(PEFT) #大型语言模型与生成式AI 欢迎来到我们的新一期视频,本期我们将深入探讨生成性AI与LLM的参数高效微调(PEFT)。在这个过程中,我们将解释为什么全面微调在计算上是如此密集,并且需要大量的内存来存储模型和训练过程中的各种参数。 我们将详细介绍PEFT的工作原理,它如何通过只更新一小部分参数,而不是更新每个模型权重,来提高效率。我们还将解释PEFT如何使训练的内存需求更易管理,以及它如何避免全面微调的灾难性遗忘问题。 此外,我们将讨论如何使用PEFT来解决全面微调可能导致的存储问题,以及如何通过参数高效微调来训练少量的权重,从而减少整体的占用空间。 在本期视频中,我们还将介绍几种可以用于参数高效微调的方法,包括选择性方法、重新参数化方法和添加方法,以及它们在参数效率、内存效率、训练速度、模型质量和推理成本上的权衡。 最后,我们将深入探讨一种特定的软提示技术,称为提示调整,以及LoRA方法如何减少训练所需的内存。希望你能从中受益,记得订阅我们的频道,获取更多有关AI和LLM的最新信息! 课程地址:https://www.coursera.org/learn/generative-ai-with-llms/lecture/rCE9r/parameter-efficient-fine-tuning-peft 播放列表: 油管:https://www.youtube.com/watch?v=X7r4rL2T2lg&list=PLiuLMb-dLdWL4KBaU3FTM5f_oMcSvXcZw B站:https://www.bilibili.com/video/BV12s4y1r7jf/?spm_id_from=333.999.section.playall&vd_source=e71f65cbc40a72fce570b20ffcb28b22
打开封面
下载高清视频
观看高清视频
视频下载器
The Prompt with Trevor Noah | 第1集:IHME 人口制图
面向所有人的生成式 AI 入门课程 4 - 什么是生成式 AI - AI 是一种通用技术
来自 Anima Anandkumar 的 TED 演讲:AI 让数字世界和物理世界连接到了一起(双语字幕)
面向所有人的生成式 AI 入门课程 7 - 生成式 AI 应用 - 聊天
Zapier 的联合创始人 Mike Knoop 演示新的 AI 自动化工作流
面向所有人的生成式 AI 入门课程 6 - 生成式 AI 应用 - 阅读
【保姆级教程】使用LLaMA-Factory,实现Llama3中文增强模型微调+法律大模型微调
大语言模型微调之道4——指令微调
The Prompt with Trevor Noah | 第2集:AI 如何保护脆弱社区?
面向所有人的生成式 AI 入门课程 9 - 生成式 AI 应用 - 高效提示词撰写技巧
The Prompt with Trevor Noah | 第5集:AI 如何助力临床医生提升胰腺癌早期检测?
科技向善:借助 AI 让 ALS(肌萎缩性侧索硬化症)患者也能进行艺术创作
大型语言模型与生成式AI——使用指令对LLM进行微调4——多任务指令微调
使用API构建LLM系统介绍
生成式AI学习8——Transformer模型和BERT模型(上)概述
一起学多 AI 智能体系统(双语字幕)- 1. 介绍
Mistral 入门指南 —— 介绍
一分钟学 AI 之 —— 什么是生成式 AI
生成式AI学习7——注意力机制
三大 AI 设备比拼: Rabbit R1 vs. Meta 眼镜 vs. Humane Pin | 华尔街日报
Mistral 入门指南 —— 总结
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期 2——介绍
生成式AI学习3——负责任的人工智能入门
AutoCodeRover —— 自动修复 Bug 智能体
【大模型应用框架】LangChain系统教程,从零基础入门到实战!全程干货讲解,通俗易懂!(LLM/大模型/LangChain/RAG)
面向所有人的生成式 AI 入门课程 10 - 生成式 AI 应用 - 图像生成
生成式 AI 入门教程 2 - 什么是生成式 AI - 原理和指南
大型语言模型与生成式AI——人类反馈强化学习1——引言
【秒懂教程】10分钟学会部署大模型GLM4,本地部署+模型微调+效果展示详细教程!草履虫都能学会~
生成式AI学习1——生成式人工智能简介
大型语言模型与生成式AI——参数高效微调2——PEFT技术1 - LoRA(低秩适应)
大型语言模型与生成式AI——使用指令对LLM进行微调5——模型评估
大型语言模型与生成式AI——参数高效微调3——PEFT技术2 - 软提示
马斯克:AI 虽然会替代部分工作岗位,但是也会创建新的工作岗位
一起学多 AI 智能体系统(双语字幕)- 3. 什么是 AI 智能体
黄仁勋在 AI 技术复兴期对所有人的建议
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期5——Transformer之前的文本生成
LangChain:构建与数据对话的聊天机器人7——完整功能的聊天机器人
大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期3——生成式AI和大语言模型的输出
大型语言模型与生成式AI——人类反馈强化学习7——PPO增强学习算法深度解析