V
主页
第7节:awq和gptq适配
发布人
TensorRT-LLM 为用户提供了一个易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最新优化的 TensorRT 引擎,以便在 NVIDIA GPU 上高效执行推理。TensorRT-LLM 还包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件。 文档链接:https://www.kdocs.cn/l/cplkfsxOMXfa 本节课主要讲述awq/gptq量化后的int4 qwen模型,适配TensorRT-LLM的过程。
打开封面
下载高清视频
观看高清视频
视频下载器
第5节:如何Debug
第3节:初步适配(上)
第6节:weight only支持
第4节:初步适配(下)
【全168集】华为大佬终于把AI大模型落地做成了教程,通俗易懂,2024最新内部版,学完即就业!
【全119集】高斯数学 史上最全 三年级完整版(上)
第2节:在TensorRT-LLM中体验gpt2
【含金量就是这么高!】吴恩达老师和openAI的LLM入门系列必修课程出精华教程了!完全适合国内学习人员的风格!!!
B站强推!这可能是唯一能将LLama大模型讲清楚的教程了,LLama系列复现-微调-预训练-应用实例解读,草履虫都能看懂!人工智能/多模态大模型
太强了!由上海交大出的大模型中文课程!堪比udemy付费课程!想要入门大模型的同学一定不能错过!
LLM大模型入门必学:全网最通俗易懂Prompt提示词工程入门教程!-Prompt Engineering (附文档+书籍)
【挑战不可能】超强AI大模型零基础入门实战教程,AI技术专家手把手带你从零基础/小白到就业
Karpathy官宣创业,AI+教育新模式,人人免费学
大模型其实没有真正意义上的开源
【整整548集】别再走弯路了!2024最全最细AI大模型全套教程,逼自己一周学完,LLM技术猛涨!从零基础小白到精通LLM只要这个就够了!
WILL老师听力真传,7分+必备技能(空闲录制版✌)
UCB CS 194/294-267 Understanding Large Language Models: Foundations and Safety
密歇根大学《Python程序员的羊驼”课程|Llama2 for Python Programmers》中英字幕
最强开源模型Llama3.1发布,号称堪比GPT4o,一起看看实测水平如何?
esp32接入llm的超简单方案,支持家电控制,ai对话,离线唤醒,插件开发,播放歌曲等…
2024年最新清华大学公开课!【AI大模型LLM】精讲!清华大佬终于把AI大模型(LLM)讲清楚了!通俗易懂!(人工智能、神经网络、机器学习、图像处理)
第1节:TensorRT-LLM介绍
微软《生成式AI入门|Microsoft Generative AI for Beginners 2024》中英字幕(豆包翻译
手机安装运行最新开源的Qwen2-7B-Instruct大语言模型(可断网使用)
【200道+】2024年八股文前端高频面试题(js、vue2、vue3、uniapp、es6、echarts、webpack、算法、git、hr交流、技巧现状)
Python零基础入门爬虫与数据分析(第一部分)
Microsoft GraphRAG | 基于知识图谱的RAG套件,构建更完善的知识库
这本大模型书籍的含金量你懂不懂,还没正式出版就已经高达20k标星!我不信看完还没有你掌握不了的知识
2025竞培营-电控组-第一课
想要uzi跳枪课程,你配吗?
【附源码】超实用的12个LLM大模型实战项目,通俗易懂,2024最新内部版,学完即就业!超级适合小白入门学习
【精选200集】人工智能课程:大模型时代,如何学习人工智能技术!人工智能学习路线 pytorch教程 transformer模型 大模型入门 AI人工智能开发
【网友炸锅了】Andrej Karpathy提出未来计算机2.0构想,类似人脑?!
ESP -AI 硬件接入AI的解决方案,支持插件开发啦!海豚配音插件演示
【全129集】[已全部更新完,B站最最最全】中国近代史,各大重点事件一遍背完,完整逻辑框架梳理,初中历史冲刺期末考试
吴恩达《提示压缩和查询优化|Prompt Compression and Query Optimization》中英字幕
Agentic RAG based on graph with RAGFlow
GLM4结合CHATTS实现文字生成语音实战项目-环境配置、结合方法、效果展示
看网课,毁了很多人的高中。三大雷区踩了一个,都会前功尽弃
IBM科学家AI技术讲解:创建新AI模型的五个步骤(人工智能技术 大模型训练)