V
主页
NVIDIA大佬揭秘《LLMs揭秘长上下文秘密》
发布人
Transformer 架构已成为众多尖端人工智能(AI)模型的首选,其在多个AI应用场景中展现出了出色的性能。但是,Transformer在处理长序列数据时对内存的高需求成为了一个限制,这使得在复杂环境下处理视频、动作以及其他长序列数据和模态成为一个挑战。为此,我们提出了一种创新的方法——环状注意力与分块 Transformer(Ring Attention)。该方法通过分块计算自我注意力(self-attention)和前向传播(feedforward),实现了长序列数据在多个设备间的分布式处理,并且能够在计算分块注意力的同时,与关键值块的数据传输过程实现完全的时间重叠。这种方法让我们能够训练和推断的序列长度,达到以往内存效率较高的 Transformer 所能处理序列长度的数倍,而且不需要任何形式的近似处理或引入额外的通信及计算负担。通过在语言模型和强化学习任务上的大量实验,我们证明了这种方法在支持百万级Token的上下文规模和提升模型性能方面的有效性。 Github链接:https://github.com/cuda-mode/ring-attention 演讲PPT:https://docs.google.com/presentation/d/180lS8XbeR1_bTMaldg21LKYQkjXftHuh9VnZ3xk27qQ/edit 论文:https://arxiv.org/abs/2310.01889
打开封面
下载高清视频
观看高清视频
视频下载器
【全374集】2024最新清华内部版!终于把AI大模型(LLM)讲清楚了!全程干货讲解,通俗易懂,拿走不谢!
(超爽中英!) 2024最好的【吴恩达RAG】教程!更适合程序员,全程干货无废话,学完成为AGI大佬!(附课件+代码)
【李宏毅】2024秋《生成式人工智能导论》教程!LLM大模型入门到进阶,比刷剧爽多了!--附带课件代码
吃透多模态四大模型!计算机大佬带你一口气学会:CLIP BLIP VIT MLLM多模态底层逻辑!真的通俗易懂!带你真正的对话机器人!(人工智能、深度学习)
黄仁勋谈NVIDIA未来最重大的赌注| 最新NoPriors访谈2024.11.7
一位游资大佬的直言不讳:“K线”从不看阴阳,而是看“四要素”,越简单越靠谱!
【全126集】目前B站最系统的Transformer教程!入门到进阶,全程干货讲解!拿走不谢!(神经网络/NLP/注意力机制/大模型/GPT/RNN)
推理、服务、分页注意力和vLLM!
【小白福音】Ollama + AnythingLLM,有手就行本地知识库部署,从安装到部署,手把手教你玩转知识库!
Andrej Karpathy(安德烈·卡帕西)大佬带你从零开始构建GPT!
NVIDIA称AI的下一个前沿:物理AI!
Transformer能做逻辑推理吗?不曾展露的真实实力可能被你忽略了!看完这篇顿悟!
CoT不行?Long Context LLM的Hyper-Multi-Step
超全超简单!同济大佬53集带你零基础吃透GNN图神经网络:GCN图卷积、PYG、图注意力机制、图相似度、轨迹预测实战一口气学完!-人工智能/神经网络/深度学习
强推!草履虫都能一口气学完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM、DBN等八大深度学习神经网络算法!真的比刷剧还爽!
【全398集】清华大佬终于把高中化学做成了动漫片,必修一到必修三详细讲解,通俗易懂,轻松学好高中化学,学完秒变学霸!
FlashAttention: 具有IO意识的快速且内存高效的精确注意力机制!
使用VLLM和PagedAttention进行快速LLM服务!
都2024了,还不知道先学Transformer还是Diffusion?迪哥精讲BERT、Swin、DETR、VIT四大核心模型,原理讲解+论文解读+代码复现!
【AI大模型】斯坦福CS229夏季新课:LLM大模型深度解析来了
【大模型】油管大佬带你从0到1玩转大语言模型!手把手教你打造大模型,少走99%的弯路!
Agent+RAG大模型落地应用实践经验分享(超级干货)
【宝藏级微调教程】使用Llama Factory实现中文llama3微调,这绝对是全B站最用心(没有之一)
CS25-第1集:OpenAI的Jason Wei(语言模型的直觉)和Hyung Won Chung(从Transformer的历史塑造AI的未来)讲座!
Ollama+OpenWebUI超简单部署教程!附安装文档,本地部署大模型教程,让你快速部署属于自己的本地知识库!
剑指Softmax注意力梯度下降,基于指数变换的注意力实在厉害! 深度学习这下真大升级!
LLM训练速度还可以再飙升20倍!英伟达团队祭出全新架构归一化Transformer(nGPT),上下文越长,训练速度越快,还能维持原有精度。
大语言模型课程Lesson1-1 什么是大语言模型?
OpenWebUI+Ollama本地部署保姆级教程(非Docker),轻松搭建大语言模型!
神秘大佬神预言,11月即将大变天了!!
vLLM和PagedAttention是实现快速大模型推理的最佳选择!
【全网最细】质量堪比清华大学的AI大模型公开课!技术大佬带你零基础搞懂大模型,2024最新版本,存下吧,从理论到实践轻松拿捏,看完还不会来找我!
KV缓存:Transformer中的内存使用!
2024AI大模型核心技术揭秘,大模型RAG项目实战基于Llamalndex构建企业级私有知识库
超全超简单!一口气刷完CNN、RNN、GAN、GNN、DQN、Transformer、LSTM、DBN等八大深度学习神经网络算法!真的比刷剧还爽!
【AI大模型】强推!清华大学教授匠心之作 | 从0到1入门AI大模型!
强推!这可能是B站最全的(Python+Transformer+大模型)系列课程了,堪称AI大模型系列课程的巅峰之作!-人工智能/提示词工程/RAG/大模型微调
【喂饭教程】6分钟学会微调大模型GLM-4,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~
AMD FSR 4.0来了!RDNA4显卡首次AI帧生成 终于追上NVIDIA
量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!