V
主页
[linux tools] tmux 分屏(终端复用器)
发布人
本期 code:https://github.com/chunhuizhang/deeplearning-envs/blob/main/tmux.ipynb
打开封面
下载高清视频
观看高清视频
视频下载器
[工具使用] tmux 会话管理及会话持久性
【深度学习环境搭建】01 本机、GPU服务器端深度学习环境搭建(代码、数据共享)
[动手写神经网络] 01 认识 pytorch 中的 dataset、dataloader(mnist、fashionmnist、cifar10)
[Python 机器学习] 深入理解 numpy(ndarray)的 axis(轴/维度)
【工具的使用】飞书云文档(更好的 markdown,latex)以及跨平台跨终端云同步协同
[动手写bert系列] 01 huggingface tokenizer (vocab,encode,decode)原理及细节
[pytorch distributed] 01 nn.DataParallel 数据并行初步
📦 glow: 让你的终端秒变 Markdown 阅读器
[pytorch] [求导练习] 03 计算图(computation graph)及链式法则(chain rule)反向传播过程
[pytorch 强化学习] 11 逐行写代码实现 DQN(ReplayMemory,Transition,DQN as Q function)
[pytorch] [求导练习] 04 前向计算与反向传播与梯度更新(forward,loss.backward(), optimizer.step)
[python 多进程、多线程以及协程] 01 关于进程(multiprocessing,pid、ppid)
[全栈深度学习] 02 vscode remote(远程)gpus 服务器开发调试 debugger(以 nanoGPT 为例)
[动手写神经网络] 如何设计卷积核(conv kernel)实现降2采样,以及初探vggnet/resnet 卷积设计思路(不断降空间尺度,升channel)
openstack 搭建详细版
[pytorch 网络拓扑结构] 深入理解 nn.LayerNorm 的计算过程
[工具的使用] python jupyter 环境安装配置拓展(nbextension)(ExcecuteTime:执行时间,Table of Content)
[LLMs 实践] 15 llama2 源码初步(text completion & chat completion)
[personal chatgpt] 从 RoPE 到 CoPE(绝对位置编码,相对位置编码,Contextual Position Encoding)
[蒙特卡洛方法] 02 重要性采样(importance sampling)及 python 实现
[数据可视化] 绘制交互式 3d plot(interactive 3d plot, Axes3d) z=f(x, y) (三维空间中的 surface)
[动手写 Transformer] 手动实现 Transformer Decoder(交叉注意力,encoder-decoder cross attentio)
[番外] float16 与 bf16 表示和计算细节
[pytorch distributed] accelerate 基本用法(config,launch)数据并行
[pytorch] 多项式分布及采样(torch.multinomial, torch distribution Categorical)
[AI硬件科普] 内存/显存带宽,从 NVIDIA 到苹果 M4
【机器学习中的数学】【概率论】正态分布的导数与拐点(inflection points)
[pytorch] 激活函数,从 ReLU、LeakyRELU 到 GELU 及其梯度(gradient)(BertLayer,FFN,GELU)
[蒙特卡洛方法] 01 从黎曼和式积分(Reimann Sum)到蒙特卡洛估计(monte carlo estimation)求积分求期望
[LLMs 实践] 11 gradient accumulation 显存优化 trick
[bert、t5、gpt] 11 知识蒸馏(knowledge distill)huggingface trainer pipeline
[LLMs 实践] 07 fp16 与自动混合精度训练(amp)显著提升 batch size
[pytorch 模型拓扑结构] 深入理解 nn.BCELoss 计算过程及 backward 及其与 CrossEntropyLoss 的区别与联系
[LLMs 实践] 04 PEFT/LoRA 源码分析
[数据可视化] 绘制 z=f(x, y) (三维空间中的 surface)
[bert、t5、gpt] 01 fine tune transformers 文本分类/情感分析
[LLMs 实践] 19 llama2 源码分析 RoPE apply_rotary_emb 从绝对位置编码到相对位置编码
[LLMs 实践] 10 预训练语料,mapping & streaming(load_dataset)
[LLMs 实践] 14 llama2 introduction 及 fine tune llama2(guanaco dataset)
【flask web 核心】03 前后端分离(传输 matplotlib 图像到前端),图像编码(base64)与数据传输(render_template)