1.2 NCCL通信初始化源码详解 ncclGetUniqueId()中ncclInit()、bootstrapGetUniqueId()
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
1.1 NCCL官网案例源码详解One Device per Process or Thread
...
华为集合通信库开源了！HCCL开源链接、架构、拓扑算法、常用接口
...
DeepSpeed和Megatron如何调用NCCL源码解读，通信后端初始化init_distributed()
...
1.1 NCCL的不足，各种集合通信库初步调研BCCL、TCCL、ACCL、HCCL
...
1.1 RDMA基本原理和优势，以太网socket通信为什么要用户空间拷贝到内核空间
...
1.3 NCCL通信器初始化ncclCommInitRank()源码解读
...
1.7 大规模集群训练、通信初始化优化、网络拓扑
...
cpu亲和性设置，NCCL，sched_setaffinity sched_getaffinity，CPU_ZERO、SET、ISSET、linux
...
2.1 NCCL拓扑识别感知总览 源码解读
...
2.2 NCCL源码分析：物理拓扑识别感知xml通信topo构建 ncclTopoGetSystem()
...
1.4 集合通信算法拓扑构建 binary tree为例（MPI 5.0源码解读NCCL可参考）
...
1.4 NCCL源码解读bootstrap网络连接建立bootstrapInit()引导网络
...
1.10 万卡集群集群容错性能监控 心跳检测 自行诊断 故障恢复
...
1.3 bintree二叉树集合通信算法broadcast为例（MPI源码解读NCCL可参考）
...
1.2 RDMA基本元素和组成 通信过程元素关系解析
...
1.5 split bintree集合通信算法broadcast为例（MPI OpenMPI 5.0源码解读NCCL可参考）
...
13. RDMA基本操作类型Send Recv机制和通信过程
...
1.2 PagedAttention VLLM核心思想 原理 推理框架 Efficient Memory Management for Large Langua
...
1.4 RDMA基本操作类型Write,Read机制和通信过程
...
1.8 大规模集群大模型训练，网络拥塞控制 ECMP PFC DCQCN NCCL通信超时重传
...
1.5 RDMA MR(Memory Region, 内存区域)基本概念和作用
...
1.2 BookSim2源码解读1：NoC片上网络模拟 核心函数调用逻辑
...
网络百科 | 华为星河AI变电站网络解决方案，提供强安全、大带宽、高可靠的通信网络，助力变电站数智化升级。
...
2.2阿里十万卡集群 网络拓扑架构和优势 Alibaba HPN: A Data Center Network for Large Language Model
...
1.6 RDMA PD(Protection Domain)保护域机制
...
3.1异构万卡集群，GPU与国产计算卡芯片异构通信
...
1.2 basic linear集合通信算法broadcast为例（Open MPI 5.0源码解读，NCCL可参考）
...
AI的无限潜能，由下一代网络释放，通信史上最紧迫的技术升级来啦！
...
1.5 万卡训练 张量并行优化 数据切片计算通信并行 大规模集群
...
1.2 zero分布式数据并行方案 zero1，zero2，zero3
...
1.6 大规模训练数据加载优化，消除多余加载器，数据加载通信并行，万卡集群MegaScale
...
1.1 OpenMPI 集合通信算法选择 broadcast为例 （MPI 5.0源码解读）
...
进程线程间通信，消息队列编程和案例mq_send mq_receive mq_open mq_close mq_unlink
...
对话IEEE 802.11be技术主编Edward Au第五期：为什么选择华为Wi-Fi 7？Wi-Fi密盾技术能为客户带来哪些更高级的
...
1.3 万卡分布式训练，ZeRO数据并行优化 通信与数据加载并行
...
2.1 ECMP等价多路由，大模型训练流量特点，拥塞冲突极化产生原因
...
1.1 字节大规模/万卡集群训练平台MegaScale的挑战、设计原则、考虑因素、出现原因Scaling Large Language
...
1.2 大语言模型LLM训练优化，并行注意力、滑动窗口、增加batchsize单次训练数据量，万卡加速训练MegaScale Scaling Large
...
1.1 VLLM pagedattention出现的原因 推理框架 Efficient Memory Management for Large Language
...
如何建立营级通信链-通信排战术程序