V
主页
【手把手带你实战HuggingFace Transformers-分布式训练篇】Accelerate + Deepspeed
发布人
本章节为分布式训练篇的最后一节,讲解了如何在Accelerate中集成Deepspeed进行训练,希望大家喜欢! 代码将在视频过审后更新在github上,地址:https://github.com/zyds/transformers-code ,有需要的小伙伴可以自取,别忘了点个star喔!
打开封面
下载高清视频
观看高清视频
视频下载器
【手把手带你实战YOLOv8-入门篇】YOLOv8 模型训练
【手把手带你实战HuggingFace Transformers-分布式训练篇】分布式训练与环境配置
【手把手带你实战HuggingFace Transformers-高效微调篇】Prompt-Tuning原理与实战
【手把手带你实战HuggingFace Transformers-分布式训练篇】分布式数据并行原理与应用
【手把手带你实战HuggingFace Transformers-入门篇】基础知识与环境安装
【手把手带你实战HuggingFace Transformers-分布式训练篇】Accelerate 使用进阶(上)
【手把手带你实战HuggingFace Transformers-分布式训练篇】Accelerate分布式训练入门
【手把手带你实战HuggingFace Transformers-低精度训练篇】4bit量化与QLoRA模型训练
【手把手带你实战HuggingFace Transformers-实战篇】实战演练之预训练模型
【手把手带你实战YOLOv5-入门篇】YOLOv5 模型训练
【手把手带你实战HuggingFace Transformers-低精度训练篇】低精度训练与大模型下载
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Model(下)BERT文本分类代码实例
【手把手带你实战HuggingFace Transformers-低精度训练篇】LLaMA2训练细节补充
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Evaluate
【手把手带你实战HuggingFace Transformers-高效微调篇】LoRA 原理与实战
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Datasets
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Pipeline
【手把手带你实战HuggingFace Transformers-番外技能篇】基于Optuna的transformers模型自动调参
【手把手带你实战HuggingFace Transformers-分布式训练篇】DataParallel原理与应用
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Tokenizer
【手把手带你实战HuggingFace Transformers-分布式训练篇】Accelerate 使用进阶(下)
【手把手带你实战HuggingFace Transformers-高效微调篇】参数高效微调与BitFit实战
【手把手带你实战HuggingFace Transformers-入门篇】基础组件之Trainer
【手把手带你实战HuggingFace Transformers-实战篇】实战演练之检索机器人
【手把手带你实战HuggingFace Transformers-实战篇】基于Transformers的NLP解决方案
【手把手带你实战HuggingFace Transformers-实战篇】实战演练之文本摘要(GLM)
【手把手带你实战HuggingFace Transformers-低精度训练篇】半精度训练与LLaMA2训练实战
【手把手带你实战HuggingFace Transformers-高效微调篇】PEFT 进阶操作
【手把手带你实战HuggingFace Transformers-高效微调篇】Prefix-Tuning 原理与实战
【手把手带你实战YOLOv8-入门篇】YOLOv8 环境安装
【手把手带你实战HuggingFace Transformers-实战篇】实战演练之命名实体识别
【手把手带你实战Ultralytics】02-环境安装与配置
【手把手带你实战Ultralytics】01-Ultralytics 简介
【手把手带你实战YOLOv5-入门篇】YOLOv5 环境安装
【研1.5基本功 (真的很简单)DeepSpeed & Accelerate】学点大模型基建准没错
[pytorch distributed] 从 DDP、模型并行、流水线并行到 FSDP(NCCL,deepspeed 与 Accelerate)
怎么加快大模型推理?10分钟学懂VLLM内部原理,KV Cache,PageAttention
transformers源码阅读——入门(提高nlp工程师的工程能力)
第十五课:LLaMA
第二十课:MoE