V
主页
京东 11.11 红包
10分钟搞明白如何设置大模型推理参数,top_k,top_p, temperature, num_beams。温度,beam search。
发布人
10分钟搞明白如何设置大模型推理参数,top_k,top_p, temperature, num_beams。以及它们如何配合工作。
打开封面
下载高清视频
观看高清视频
视频下载器
怎么加快大模型推理?10分钟学懂VLLM内部原理,KV Cache,PageAttention
Temperature、Top P 和 Top K,AI 大模型的参数
如何知道一个大模型在推理和训练时需要多少显存?
【卢菁老师说】Agent就是一场彻头彻尾的AI泡沫
十分钟搞明白Adam和AdamW,SGD,Momentum,RMSProp,Adam,AdamW
【实战】通义千问1.8B大模型微调,实现天气预报功能
理解大模型的参数和参数量
部署本地大模型和知识库,最简单的方法
AI 大模型的幻觉,三种解决方案:模型微调,方法调用和检索增强生成
动画理解Pytorch 大模型分布式训练技术 DP,DDP,DeepSpeed ZeRO技术
大模型训练如何计算显存占用
3分钟通俗讲解注意力机制到底怎么乘的
AI 工程师都应该知道的GPU工作原理,TensorCore
让我们一起构建GPT分词器 - Andrej Karpathy
改朝换代!Transformer被ko!第一个基于Mamba 的开源模型来了!机器学习/深度学习/人工智能
大模型修炼之道(三): Llama系列讲解 Llama1,Llama2, Llama3
Pytorch里的register_parameter和register_buffer是干什么的?
模型量化一:量化基础 对称量化 非对称量化 极大值量化 零点量化
大模型预训练看这个视频就够了
模型量化二:训练后动态量化 PTQ PTDQ,pytorch里进行模型训练后动态量化
国内大模型基本就是靠两个洋雷锋
100万Token窗口长度的大模型背后实现技术原理
你还不懂旋转位置编码吗?
【现代炼丹基础】手动档优化器迭代传奇 持续为您播出
为什么Sora比ChatGPT更厉害?
Flash Attention 为什么那么快?原理讲解
你真的理解交叉熵损失函数了吗?
【机器学习】直观理解信息量和信息熵的含义
三分钟学会大模型PEFT的LORA算法 lora_rank, lora_alpha
大模型修炼之道(一): Transformer Attention is all you need
通义千问-一起写个agent吧!
一层神经网络也可以拟合任意函数?
大为震撼!神经网络参数实时可视化太太太漂亮了!
Batch Normalization(批归一化)和 Layer Normalization(层归一化)的一些细节可能和你想的并不一样
DPO (Direct Preference Optimization) 算法讲解
用Python训练AI玩2048到底多丧心病狂,十几秒光速合成
神经网络可视化
[强化学习]AI挑战是男人就下100层
零基础学习强化学习算法:ppo
神经网络不是这么用的啊混蛋!