V
主页
从十亿到万亿规模SOTA大模型有哪些?BERT、GPT3、Switch算法来啦!【分布式算法】系列第03篇
发布人
【分布式算法】系列第03篇:从十亿到万亿规模SOTA大模型有哪些?BERT、GPT3、Switch Transformer、GLaM算法原理! 大模型为AI算法带来无监督学习大规模应用和部署,还解决了模型碎片化和进一步突破任务精度。本次分享的内容分为上下两部分,一起来分享大模型从十亿到万亿规模,中间里程碑的BERT、GPT3、Switch Transformer、GLaM 4个核心SOTA模型!
打开封面
下载高清视频
观看高清视频
视频下载器
腾讯混元大模型负责人王迪:揭秘万亿 MoE 系统工程之道|智者访谈
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
PyTorch数据并行怎么实现?DP、DDP、FSDP数据并行原理?【分布式并行】系列第02篇
分布式训练、分布式集群的基础介绍!【分布式集群】第01篇
深入GPU原理:线程和缓存关系【AI芯片】GPU原理01
AI集群的软硬件通信:从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理!【分布式集群】系列第03篇
给大模型新人的经验,刷到少走3年弯路!
大模型算法有哪种结构?怎么样才算大模型呢?从Transformer和MOE结构看大模型发展!【分布式算法】系列第02篇
分布式并行策略基础介绍!【分布式并行】系列第01篇
研一如何快速入门三维重建?华东理工博士带你通俗易懂的讲解三维重建的原理与算法,3小时就能学会!赶紧收藏
大模型是什么?大模型有什么用?训练大模型会遇到哪些挑战?【分布式算法】第01篇
RAG实战系列(医疗知识问答),从零开始实现多路召回检索,带你了解检索流程和算法原理
(超爽中英!) 2024公认最好的【吴恩达RAG】教程!更适合中国宝宝体质,全程干货无废话,学完成为AGI大佬!
模型并行的流水线并行来啦!了解下GPipe和PipeDream?【分布式并行】系列第05篇
【整整600集】字节大佬196小时讲完的AI大模型教程(LLM)零基础入门到精通全套教程,全程干货无废话,这还学不会,我退出IT圈!微调/模型训练/私有化部署
Transformer最新进展:性能大幅度超出一众SOTA模型!26种魔改方法
什么是张量并行?张量并行的数学原理是什么?【分布式并行】系列第03篇
LLVM架构了解下?为什么LLVM这么火?一起初体验实操LLVM【AI编译器】系列第四篇
大模型训练需要多少GPU?大模型显存怎么算? #大模型 #AI系统
编译器和解释器啥区别?AOT和JIT啥区别?Pass和IR又是什么?【AI编译器】系列01篇
【多模态+知识图谱】半天居然就跟着博士从零构建知识图谱!基于知识图谱的六大项目实战!医药问答系统、知识抽取、推荐系统、Neo4j数据库、大模型
GPU硬件架构与CUDA如何对应?【AI芯片】GPU架构01
为什么AI框架都用计算图?什么是计算图?到底计算图有什么用?【计算图】系列第二篇
分布式训练总结!【大模型与分布式训练】系列第07篇
为什么需要AI编译器?跟传统编译器啥关系吗?【AI编译器】系列第一篇
ECCV'24开源 | LocoTrack: 塑造SLAM新纪元!6倍加速! 跟踪一切最新SOTA!
这本书就是学大模型的神!大模型人请务必翻烂!!!大模型Agent搭建实例,从入门到实战!手把手教你动手做AI Agent!
AI集群用什么服务器架构?Ring All Reduce算法跟物理网络啥关系?【分布式集群】系列第02篇
大模型为什么需要微调?有哪些微调方式?#大模型 #微调
AI集群机器间是怎么通信?通信原语是个什么玩意?【分布式集群】系列第04篇
张量还能自动并行?MindSpore张量自动并行啥原理?【大模型与分布式训练】系列04篇
混合并行?多维并行?有多维度混合在一起并行吗?【分布式并行】系列第06篇
为什么大模型都用Transformer结构? #AIInfra #大模型 #Transformer
大模型是怎么训起来的?分布式并行框架介绍 #大模型 #分布式并行 #训练
企业级实战!基于LangChain实现RAG检索增强,原理讲解+代码解析,草履虫都能看懂!LLM大模型_RAG_大模型微调_多模态
AI框架如何实现分布式训练?SISD和SIMT又是什么?【分布式集群】系列第05篇
FTTransformer,一个比LightGBM还要能打的模型
【手把手带你实战HuggingFace】 自然语言处理必备神器Huggingface系列实战/NLP/文本处理/BERT/GPT/Transforme/知识图谱
强推!这可能是唯一能将AI Agent讲清楚的课程了,公认最适合新手入门Agent大模型实战系列,3小时全流程解读分析,简直比刷剧还爽!人工智能|大模型
我愿称之为2024年B站【AI大模型】公开课天花板!清华大佬刘知远团队带你从入门到实战,全都是干货!!!