V
主页
现代Hopfield神经网络对Transformers架构的解释及其拓展
发布人
主讲人:Dmitry Krotov, IBM Research – Cambridge 标题:Modern Hopfield Networks for Novel Transformer Architectures 摘要:现代Hopfield网络或密集关联记忆是具有固定点吸引子状态的循环神经网络,这些状态由能量函数描述。与传统的Hopfield网络(在1980年代很流行)相比,它们的现代版本具有非常大的内存存储容量,这使得它们成为机器学习、认知和神经科学中许多问题的有吸引力的工具。在这次演讲中,我将介绍这类模型的直觉和数学公式,并举例说明人工智能中可以使用这些新思想解决的问题。特别是,我将介绍一种新的Transformer的架构,它用循环的密集关联记忆模型取代了传统的注意力机制。我将解释这种架构选择背后的理论原理,并在具有挑战性的计算机视觉和图网络任务上展示有希望的实证结果。
打开封面
下载高清视频
观看高清视频
视频下载器
ICLR 2024 Spotlight 扩散模型用于运动生成
生成式AI对表示学习的启示
将偏微分算子以多分辨率方式集成到神经网络架构中,用于时空预测 || Seminar on May 3, 2024
流匹配:简化和泛化扩散模型
随机插值:流模型和扩散模型的统一框架
Transformer真的不难!100集带你逐层分解Transformer模型——注意力机制、前馈神经网络、位置编码、编码器、解码器等!算法原理+实战,通俗易懂
IBM关闭中国研究院
物理信息神经网络PINN——误差分析与优化方法
抠图精细到头发丝!全新图像抠图方法,收录顶会SIGGRAPH 2024!
【逆天段子】微博rz机器人已读乱回6
【卡耐基梅隆大学SIGGRAPH2024】Laplacian is All You Need :计算符号距离的扩散方法
发型也可以用AI生成——文本条件下的三维基于线束的人类发型生成模型
英伟达SIGGRAPH2021 实时神经辐射缓存用于实时渲染
还得看吴恩达!一口气讲透CNN、RNN、GAN、LSTM、YOLO、transformer等六大深度学习神经网路算法!真的不要太爽~(AI人工智能丨机器学习)
Transformer技术原理,论文讲解!带你秒懂Transformer底层逻辑原理!真的通俗易懂!(人工智能、深度学习、机器学习算法、神经网络、AI)
【基础篇】transformer入门+进阶教程全套!————AI人工智能丨大模型丨NLP自然语言处理丨机器学习丨深度学习丨编程丨算法丨神经网络丨计算机视觉丨CV
未来蓝海?AI+医疗方向核心两大算法:残差网络Resnet+医疗Transformer被同济大佬用大白话讲明白了!
生成扩散模型中的自发对称性破缺
人类记忆是否被‘清空过’,AI人工智能认为1913年是人类文明的巅峰
北京大学 吴磊研究员:从动力稳定性角度理解随机梯度下降的隐式正则化
你的科研正处在:垃圾时间,红利时间,负债时间?
好尴尬...实验室一块GPU都没有怎么做深度学习?
Transformer及其变体模型如此强大,卷积神经网络真的已无用武之地了吗?还有学习的必要吗?
Transformer技术原理,论文讲解!带你秒懂Transformer底层逻辑原理!真的通俗易懂!(人工智能、深度学习、机器学习算法、神经网络、AI)
Explainable AI 可解释的深度学习用于湍流结构研究
机器学习-深度学习经典网络架构:CNN/RNN/GAN/LSTM/Transformer 计算机博士一次带你学饱!
一小时深度解析【Sora分析】视频生成模型,如何做到文本生成视频?详解背后的技术原理与应用案例!!!
【代码逐行解读】CNN-LSTM-Attention:神经网络时间序列预测!Informer时间序列预测源码解读
从基于物理的建模到科学机器学习的预测性数字孪生
042_基于XGBosst算法的数据回归预测 极限梯度提升算法 Matlab实现过程
Wasserstein拉格朗日流的计算框架
B站强推!2024公认最通俗易懂的【神经网络与深度学习】教程,88集全套课程(附资料)人工智能_机器学习_深度学习
强推!【时间序列预测算法】第一次有人把讲的这么通俗易懂!(Informer | LSTM |Transformer|卡尔曼滤波|神经网络|机器学习)
KAN真的能取代MLP吗
Eric Schmidt的抽象演讲的具象总结
强烈推荐!台大李宏毅终于讲明白了各式各样的自注意力机制变形及Transformer!通俗易懂,草履虫都学的会!—机器学习/人工智能
13.11和13.8谁大?简单问题难倒大模型
扩散模型中如何使用RNN替代attention
【卡耐基梅隆 SIGGRAPH2024】调和函数的球面追踪算法
看完我直接把书扔了!【基于MATLAB的机器学习与优化算法】居然被计算机大佬用大白话讲的如此通俗易懂!