V
主页
瞎聊点位置编码|旋转位置编码RoPE简介
发布人
这篇视频主要简单介绍了位置编码的演进和旋转位置编码。 Slides: https://gamma.app/docs/Positional-Encodings-in-Transformer-nlu3woqa9em12i5 视频中提到的参考博客: Transformer学习笔记一:Positional Encoding(位置编码) - 猛猿的文章 - 知乎 https://zhuanlan.zhihu.com/p/454482273 苏剑林. (Feb. 03, 2021). 《让研究人员绞尽脑汁的Transformer位置编码 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/8130 苏剑林. (Mar. 23, 2021). 《Transformer升级之路:2、博采众长的旋转式位置编码 》[Blog post]. Retrieved from https://spaces.ac.cn/archives/8265 其中RoPE的发表原文:RoFormer: Enhanced Transformer with Rotary Position Embedding | Cool Papers - Immersive Paper Discovery 以上来自苏神的博客非常推荐。 主持人: @网十元
打开封面
下载高清视频
观看高清视频
视频下载器
CMU《多模态机器学习|CMU Multimodal Machine Learning, Fall 2023》中英字幕
密歇根大学《Python程序员的羊驼”课程|Llama2 for Python Programmers》中英字幕
transformer中位置编码的理解
Peft: 从Adaptor, Prefix Tuning, 到LoRA
【Proof-Trivial】数学视角下的Transformer【MIT数学系-Philippe Rigollett】
Point Transformer v1 v2 v3简介
时间序列预测 | Autoformer 简介
论文精读:DIT(SORA前置工作)
这就是AI永远替代不了人类的原因2.0
【NobleAI】混合专家模型Mixture of Experts(moe)论文混讲
【产经破壁机002】最担心无人驾驶的不是司机
LLaVA: Visual Instruction Tuning简介
Llama 3.1论文精读 · 1. 导言【论文精读·54】
Transformer: What can I say? Mamba架构详解
为什么LLM认为:9.11大于9.8?
自制智能眼镜|在树莓派上运行LLaVA理解图像并输出语音
强到离谱!全新大模型最强架构TTT问世!有望替代Transformer?彻底改变语言模型,性能比Mamba更好!
B站强推!2024公认最通俗易懂的【AI机器人开发】教程,全套付费课程(附资料)NVIDIA_Isaac_Sim
世界首例GPT植入活人大脑,碾压马斯克脑机接口!
许久不见,小扎已经用东北话发布Llama3.1了!
【AI】反目成仇的三人
NVIDIA AI 加速精讲堂-TensorRT-LLM量化原理、实现与优化
AI4Science串讲: 从GNN+LLM到ReLM
「Llama 3.1」405B 在2台Macbook上成功运行❗️性能媲美GTP-4o|国内大模型喜提更新❓
Ilya 透露最新研究方向,让人工智能更稳定
CRAG: Corrective Retrieval Augmented Generation简介
【CC字幕】一起读Sora Technical Report
比啃书强太多!这可能是唯一能将GPT4o讲明白的完整版教程了,1小时清楚GPT4o凸显了哪些功能特性,以及使用GPT4打造智能程序,还学不会你来打我!
Efficient model与Efficient ViT简介
【CC字幕】论文精读: Depth Anything !!
唠嗑唠嗑一些关于【AI视频】的大实话~
大模型其实没有逻辑能力
CV圈炸了,Meta开源SAM2 采用VIT架构,256块A100训练4天半
LLama3.1:Meta给了李彦宏一记耳光
Transformer+U-Net全新突破:荣登《Nature》,模型准确率暴涨至99.97%!最新14种创新手法
图解GPT可视化Transformer直观理解大模型运行原理
SIGGRAPH Asia'23最佳论文Concept Decomposition for Visual Exploration and Inspiration
【NobleAI】论文精读:SeCoGD(Context-aware Event Forecasting via Graph Distanglement)
谷歌2B小模型出击,跑赢GPT3.5 Turbo
“一提Apple闭源我就愤怒!”扎克伯格与黄仁勋互换外套力挺开源