V
主页
秋招项目-从零自制大模型推理框架-张量类的设计
发布人
手写C++大模型推理框架,支持LLama的推理以及文本生成等功能。CUDA对算子的加速,让大模型推理框架的运算速度更上一层楼,在这里你会学习到CUDA编程语言的写法,尤其能学到怎么用CUDA去写一个算子。
打开封面
下载高清视频
观看高清视频
视频下载器
自制大模型推理框架-使用Nsight compute对Cuda算子调优
从零自制大模型推理框架,一个靠谱的C++程序员是怎么练成的。
自制大模型推理框架-支持大模型int8分组量化
秋招好项目-《动手自制大模型推理框架》-算子的创建和权重的载入
自制大模型推理框架-Cuda算子再优化和NVCompute分析性能
秋招、转行必备-动手自制大模型推理框架-CUDA显存管理
试看马上删-从零自制大模型推理框架,内存和显存资源是怎么被管理的。
自制深度学习推理框架-张量类Tensor的实现-第二课
秋招必备-《动手自制大模型推理框架》-用Cuda实现GEMV算子
自制深度学习推理框架-第五课-起飞!框架中的算子注册机制
Cuda从零学-秋招转行拿高薪-从零自制大模型推理框架
自制深度学习推理框架-第10节-卷积算子的实现和im2col加速计算的原理
从零自制深度学习推理框架:第九讲 自制一个支持yolov5的推理框架
GitHub大模型免费玩!Llama3.1、GPT4o任你调! 那么请问我能玩吗?
自制深度学习推理框架-对计算图知识的补充
我们训练了一个没有道德限制的大模型
自制深度学习推理框架-第十一节-再探Tensor类,构建计算图的图关系以及对算子的输入输出预分配
自制深度学习推理框架-第六课-MaxPooling算子的实现
自制深度学习推理框架-从CSV文件初始化Tensor张量-第三课
自制深度学习推理框架-第8.2节-计算图中的表达式下
记上周秋招面试一小伙的全过程- AI HPC/AI推理优化方向
小扎放大招,llama彻底开源,我们又要遥遥领先了
自制深度学习推理框架-第8.1节-计算图中的表达式上
【网友提问系列】双非本,211硕,最近大厂面试有些不太顺利,感觉c++岗位少,找不到能求职的岗位,怎么办?
Dify快速入门 | 本地部署Dify基于Llama 3.1和OpenAI创建聊天机器人与知识库
C++ 全栈聊天项目(37) 第一季完结
自制深度学习推理框架-第十二节-算子的执行流程
【文献梳理】(特邀)大模型微调总结及实现
5分钟学会如何本地部署Llama 3.1 8B模型自己的电脑上。不需要GPU和高配置
2024最新AI大模型训练营
深信服C++一面必问:malloc/free vs new/delete 区别解析
自制大模型推理框架-KVCache动手实现-秋招快人一步
计算机专业非儿戏!计算机专业学姐亲身经历告诉你:慎重考虑,别让辛苦成遗憾!!!
nature 重磅论文:用 AI 生成的数据训练 AI,会导致大模型崩溃
起猛了,居然听到C++演奏《起风了》,效果炸裂!!
多模态大模型 MiniCPM-V 2.6「实时视频理解」首次上端!
自制深度学习推理框架-第13课-用我们自制的推理框架完成ResNet网络的推理和图片的分类
【C++】校招、跳槽、练手必备的C++开发项目,可以直接写到简历上(面试加分必备实战项目)
微调Llama 3.1,用神器Unsloth
【C++校招项目】Qt+FFMpeg+SDL播放器开发,可以写进简历里的项目,有源码~