V
主页
英伟达首席科学家Bill Dally讲解深度学习硬件最新趋势
发布人
摘要:当前人工智能(包括像 ChatGPT 这样的生成式人工智能)的复苏归功于深度学习的进步。目前,基于深度学习的系统在语音识别、物体分类和下围棋等游戏方面的能力已超过人类。深度学习得益于强大、高效的计算硬件。深度学习所使用的算法早在上世纪80年代就已经出现,但直到最近十年,当强大的GPU可以用来训练网络时,这项技术才变得实用起来。现在,DL 的进步受到硬件性能的制约。在过去十年中,GPU 上的 DL 推理效率提高了 1000 倍。这一进步主要归功于数据表示的改进,从开普勒一代 GPU 的 FP32 开始,到霍普一代的 Int8 和 FP8。本讲座将回顾这段历史,并讨论数字表示法的进一步改进,包括对数表示法、最佳剪裁和按向量量化。 个人简历 Bill Dally 于 2009 年 1 月加入英伟达™(NVIDIA®)公司,担任首席科学家,此前他曾在斯坦福大学工作了 12 年,并担任该校计算机科学系主任。Dally 和他的斯坦福团队开发了系统架构、网络架构、信令、路由和同步技术,这些技术目前在大多数大型并行计算机中都能找到。Dally 曾于 1986 年至 1997 年在麻省理工学院工作,在此期间,他和他的团队建立了 J-Machine 和 M-Machine,这些实验性并行计算机系统开创了将机制与编程模型分离的先河,并展示了开销极低的同步和通信机制。1983 年至 1986 年,他在加州理工学院(CalTech)工作,设计了 MOSSIM 仿真引擎和 Torus 路由芯片,开创了 "虫洞 "路由和虚拟通道流量控制的先河。他是美国国家工程院院士、美国艺术与科学院院士、电气与电子工程师协会会员和 ACM 会员,曾获得 ACM Eckert-Mauchly 奖、电气与电子工程师协会 Seymour Cray 奖和 ACM Maurice Wilkes 奖。他发表了 250 多篇论文,拥有 120 多项专利,并撰写了四本教科书。Dally 拥有弗吉尼亚理工大学电气工程学士学位、斯坦福大学电气工程硕士学位和加州理工学院计算机科学博士学位。他是 Velio Communications 公司的共同创始人之一。
打开封面
下载高清视频
观看高清视频
视频下载器
【2024最新】从入门到提示词工程师:全网最通俗易懂Prompt-Learning提示词学习教程!学不会我退出IT圈!
Agent从入门到项目实战,从入门到精通,看这一个就够了!2024全网最强的Agent保姆级教程!
纯手搓Transformer系列之Decoder部分,一行行代码带敲+解析!-深度学习|神经网络|人工智能
号称能超越GPT-4的大语言模型【llama3】功能调用、微调、量化、部署一条龙讲解,保姆级教程!翻遍全网找不到比这更详细的了!!!(大模型/人工智能课程)
AI人工智能初学者必学课:吴恩达《给AI初学者的Python编程教程》中英双语版!-深度学习/神经网络/机器学习
知乎AI大模型全栈工程师培养计划,零基础入门到精通【就业前景/学习路线/实战学习/就业】
【全568集】清华大佬终于把Python整理成动画片了,教学通俗易懂,2024最新版,学完即可就业!拿走不谢,别再走弯路了,学不会我退出IT界
从GPT到ChatGPT:模型微调、提示工程、RAG等
GLM4结合CHATTS实现文字生成语音实战项目-环境配置、结合方法、效果展示
Python 前置基础知识
5分钟速通最新大模型Llama3.1-8B !环境配置、模型下载,LoRA微调、本地部署
Mistral NeMo:目前最强大的大语言模型!全面测试击败Qwen2与DeepSeek-V2及其他
半块RTX4090 玩转70B大语言模型
付费 VS 免费,AI工具的平替款你都知道吗?
【持续更新ing】2024大模型最新技术实战,LLM热门技术:LangChain从入门到实战(附项目笔记+代码)
CUDA实现矩阵乘法的8种优化策略编程介绍
【全256集】多模态方向是不是同时得学nlp和cv?2024(最新)多模态大模型教程VIT、Clip、SAM等模型实战,由我精讲多模态大模型原理!
黄仁勋和马克·扎克伯格探讨 AI 和下一代计算平台【官方中文字幕】
中英字幕 著名数学家陶哲轩牛津演讲:人工智慧在科学和数学领域的潜力
深度学习聚类再升级!新算法实现剽悍性能,精准度超98%
深度学习时间序列新突破
Mistral发布首个基于Mamba的开源大语言模型Codestral 7B
核能挑战:8GB显存本地跑Llama 405B
【Nvidia超算】新手教学5【看动漫学编程】CUDA编程模式,人工智能硬件基础,PyTorch底层基础,OpenCV机器视觉硬件底层原理,英伟达并发编程
基于RAG+Agent的梦境解析大模型(使用通义千问)
苹果发布大语言模型DCLM-7B,不仅开放了代码和权重,连训练流程和数据集也一起开放了
【官方来源】利用知识图谱、机器学习、大语言模型进行数据洞察和个性化推荐
【Open WebUI+Ollama/vLLM+CosyVoice+Whisper】终极个人聊天互动机器人-环境部署及成果展示
黄仁勋和马克·扎克伯格探讨 AI 和下一代计算平台
【B站最全SD教程】花4w+买的SD教程全都用不上了!秋叶大佬StableDiffusion安装包,涵盖了SD入门到镜头教程 人工智能AIGC绘图 AI绘图
多模态+时间序列
中文开源大语言模型哪家强: 格式化输出测试
吹爆!这本人大发布的大语言模型入门书!从入门到精通,大模型技术全方位解析!
赛博佛祖Karpathy 用900行代码实现Llama3.1
为什么LLM认为:9.11大于9.8?
电脑配置差跑不了大模型? 开源项目exo让手机、平板、电脑一起分布式推理 号称要第一时间支持llama3.1 405B
结合创新!小波变换+注意力机制,实现100%分类准确率
【绝区零/Fairy】我在现实中复刻了一只Fairy电脑助手,将你的电脑交给Fairy操作!
ChatBI:自然语言驱动的数据分析新时代
2024-numpy入门课(完结)