V
主页
【中文】NVIDIA英伟达首席科学家Bill Dally讲解深度学习硬件最新趋势
发布人
摘要:当前人工智能(包括像 ChatGPT 这样的生成式人工智能)的复苏归功于深度学习的进步。目前,基于深度学习的系统在语音识别、物体分类和下围棋等游戏方面的能力已超过人类。深度学习得益于强大、高效的计算硬件。深度学习所使用的算法早在上世纪80年代就已经出现,但直到最近十年,当强大的GPU可以用来训练网络时,这项技术才变得实用起来。现在,DL 的进步受到硬件性能的制约。在过去十年中,GPU 上的 DL 推理效率提高了 1000 倍。这一进步主要归功于数据表示的改进,从开普勒一代 GPU 的 FP32 开始,到霍普一代的 Int8 和 FP8。本讲座将回顾这段历史,并讨论数字表示法的进一步改进,包括对数表示法、最佳剪裁和按向量量化。 个人简历 Bill Dally 于 2009 年 1 月加入英伟达™(NVIDIA®)公司,担任首席科学家,此前他曾在斯坦福大学工作了 12 年,并担任该校计算机科学系主任。Dally 和他的斯坦福团队开发了系统架构、网络架构、信令、路由和同步技术,这些技术目前在大多数大型并行计算机中都能找到。Dally 曾于 1986 年至 1997 年在麻省理工学院工作,在此期间,他和他的团队建立了 J-Machine 和 M-Machine,这些实验性并行计算机系统开创了将机制与编程模型分离的先河,并展示了开销极低的同步和通信机制。1983 年至 1986 年,他在加州理工学院(CalTech)工作,设计了 MOSSIM 仿真引擎和 Torus 路由芯片,开创了 "虫洞 "路由和虚拟通道流量控制的先河。他是美国国家工程院院士、美国艺术与科学院院士、电气与电子工程师协会会员和 ACM 会员,曾获得 ACM Eckert-Mauchly 奖、电气与电子工程师协会 Seymour Cray 奖和 ACM Maurice Wilkes 奖。他发表了 250 多篇论文,拥有 120 多项专利,并撰写了四本教科书。Dally 拥有弗吉尼亚理工大学电气工程学士学位、斯坦福大学电气工程硕士学位和加州理工学院计算机科学博士学位。他是 Velio Communications 公司的共同创始人之一。
打开封面
下载高清视频
观看高清视频
视频下载器
Flash Attention 为什么那么快?原理讲解
深度学习基础 | 计算图、叶子节点/非叶子节点/根节点、requires_grad、grad_fn
太厉害了 已跪!终于有人能把OpenCV图像处理+YOLO目标检测讲的这么通俗易懂了,计算机视觉付费全套教程无偿分享给大家!-深度学习丨计算机视觉丨YOLO
中英双语-前特斯拉自动驾驶首席科学家Andrej Karpathy介绍大语言模型_ Intro to Large Language Models
万物皆可GAN!我竟然用1天就学会了【GAN对抗生成网络】,公认的强大且有趣的算法,讲解通俗易懂!机器学习|深度学习|计算机视觉
深度学习基础 | argparse 模块 | 命令行参数解析
中英双语Tenstorrent公司总裁兼首席技术官Jim Keller演讲在TSMC 2023年进行芯片设计_需要解决的10个问题
快乐,一天580
中英双语No Priors Ep. 13 采访英伟达黄仁勋With Jensen Huang, Founder & CEO of NVIDIA
【中文精校】Ilya:数字生活与OpenAI全新的研究团队“Superalignment”
深度学习并行模块缝合,看了就懂
【中文】彭博原创:人工智能如何彻底改变科学进程,解锁以前仅靠人类努力无法实现的新发现
【中英双语】访谈-谷歌DeepMind联合创始人谢恩·莱格Shane Legg- 2028 AGI,新架构,对齐超人模型
中英双语量子到宇宙:万物简述,肖恩·卡罗尔 (Sean Carroll) 与布莱恩·格林 (Brian Greene) 一起进行一场跨越量子和宇宙的对话
微软首席执行官萨蒂亚·纳德拉关于2024年的AI浪潮和技术
【200集全】不愧是吴恩达教授!CNN、RNN、GAN、Transformer、GNN、LSTM、GRU等八大深度学习神经网络一口气全部学完!真的比刷剧还爽!
中英双语2014年苹果iPhone首席设计师Jony Ive 接受Walter Isaacson的采访在 Vanity Fair 上
【网友提问系列】985硕深度学习学不下去了,能转开发找工作吗?
中英双语_Ilya Sutskever讨论:大型语言模型和Transformer【Simons Institute】
微软首席执行官Satya Nadella- 同理心是一种非常重要的商业技能
研一在读,代码不会,如何快速发表一篇深度学习论文?强烈推荐每一位深度学习初学者一定一定要好好阅读这篇论文!
【中英双语】吴恩达斯坦福大学创业中心演讲: The Near Future of AI
中英双语伊尔亚·苏茨克维Ilya Sutskever阐述人工智能的发展思路, OpenAI
【无人驾驶技术】特斯拉FSD自动驾驶将进入国内,这个自动驾驶系列知识课程,手把手教你如何从入门到提高—感知实战、视觉定位、预测系统、路径规划、控制理论、强化学习
【2024最新】迪哥带你了解图神经网络为什么创新点这么多,以及对GNN本质来说究竟改变了什么呢?
2024最火两大模型:Informer+ARIMA 两大时间序列预测模型,论文精读+代码复现,究极通俗易懂!有手就能跑通!——人工智能|AI|机器学习|深度学习
这三个能提高深度学习炼丹师效率的神器,一定要用起来!
第70集 | 计算机视觉项目 | 分步指南
【中文】OpenAI首席科学家Ilya Sutskever:「An observation on Generalization(对泛化的一种观察)
深度学习论文该如何不看作者或他人代码自主复现?
视频行为分析系统v3.42,CNN+LSTM分析时序视频帧,视频分类算法
牛逼!竟然用3天一口气学完强化学习【PPO、Q-learning、DQN、A3C】十大算法原理及实战玩转超级马里奥!通俗易懂,比啃书强太多了!机器学习|深度学习
计算机博士3小时带你吃透GNN图神经网络!(图卷积、PYG、图注意力机制、图相似度)真的太通俗易懂了!(人工智能、深度学习·、神经网络、Pytorch/AI)
深度学习 | 图像分割任务 | CVPR2024 | 多尺度卷积注意力特征融合EMCAM即插即用模块
研一在读,代码完全不会,怎么入门深度学习 !把这看完【解决90%深度学习问题!】救命的啊!!
后半段,中英双语11月7日奥巴马谈人工智能与社交网络
中英双语生成式人工智能的新视野:科学主题分会场
为啥神经网络(几乎)可以学习任何东西?(CNN卷积神经网络、GAN生成式对抗网络、RNN循环神经网络)6小时一次学会!——(人工智能、深度学习、机器学习、AI)
结合创新,小波变换+注意力机制,实现100%分类准确率
十分钟详解恺明神作ResNet!