V
主页
京东 11.11 红包
[NSDI 2023] ModelKeeper:根据模型相似性自动化预热,进而加速DNN训练
发布人
https://www.youtube.com/watch?v=Xy32TjglAQU 随着机器学习(ML)模型部署的不断增加,ML开发人员正在训练或重新训练越来越多的深度神经网络(DNN)。他们这样做是为了找到最合适的模型,既能满足他们的准确性要求,又能满足目标环境的资源和时间限制。在大型共享集群中,越来越多的神经结构搜索(NAS)和训练任务经常导致模型与同一或不同ML开发人员的其他模型在结构上具有相似性。然而,现有的解决方案没有提供系统性的机制来识别和利用这种相似性。 我们提出了ModelKeeper,这是第一个自动训练预热系统,可以通过在共享集群中重新利用以前训练的模型来加速DNN训练。我们的关键见解是通过转换已经训练的模型的权重来初始化训练作业的模型可以快速启动并减少总训练量。但是,随着时间的推移提交的模型可能在结构和精度上有所不同。ModelKeeper可扩展地识别新模型与以前训练的模型之间的结构相似性,选择高相似性和良好模型精度的父模型,并执行结构感知的权重转换以在新的模型权重的预热期间从父模型中保留最大信息。我们的评估涵盖了数千个CV和NLP模型,表明ModelKeeper实现了1.3×-4.3×的训练完成速度提升,并且几乎没有开销且不降低模型精度。
打开封面
下载高清视频
观看高清视频
视频下载器
从物理互动中学习结构化世界模型
[SIGCOMM2023] : Offloading
AI Hardware
神经场在机器人操作中的应用
RISC-V Microprocessors
凸集图及在最优控制和运动规划中应用
家庭通用机器人
ICRA2024 LHMP研讨会:Isn't Motion Prediction just Model-based RL?
边缘云端高效的LLM推理
KubeCon China 2023演讲:KubeVirt在Arm上的应用:增强Kubernetes生态系统中的虚拟化能力
DéjàVu: 稀疏上下文的高效LLM推理服务
边缘AI
Stanford CS25: Robotics and Imitation Learning
GPU加速
机器人学习中运动表示
[APNEET2023] 超大规模RDMA:经验和未来方向
Geometric Regularizations for 3D Shape Generation
MIT机器人操作Lecture 2
Stanford CS149 并行计算,并行计算基础 4
Andrej Karpathy,llm.c开发历程
MuxServe:灵活的多路复用实现高效的多个LLM服务
[CVPR24 Vision Foundation Model tutorial] 多模态模型构建通用多模态助手
一种结构化方法来实现机器人学习泛化
ChatGPT发布1年半后,LLMs开源生态
机械工程前沿建设
[NSDI 2024 THC:tensor同态压缩加速分布式DL训练
K8S在边缘端用于AI模型部署的演示
开源通用机器人构建
[NSDI2023] TopoOpt: 为DNN训练作业联合优化网络拓扑和并行化策略
适用于 GenAI 工作负载的以太网结构
[APNET2023] 使用RDMA的微秒级数据中心计算:表征、优化和展望
[NSDI 2024] GRACE: 通过神经编解码实现抗损的实时视频
Seminar in Computer Architecture 2024,计算机架构的未来 II 和基因组分析 3
编译器的黄金时代
LLM与ROS(机器人操作系统)
[NSDI2023] Boggart: 加速回顾型视频分析
贝叶斯思维大脑
Mamba和S4解读:架构、并行扫描、内核融合、循环、卷积、数学
[CoNEXT2023] Datacenter
Stanford CS149 并行计算,GPU架构和CUDA编程 7