V
主页
微软把LLM里矩阵参数全改为-1、0、1。解决了一大难题
发布人
https://youtu.be/ZpxQec_3t38?si=KVcbN9elUCtPDHnL In this video we dive into a recent research paper by Microsoft: "The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits". This paper introduce an interesting and exciting architecture for large language models, called BitNet b1.58, which significantly reduces LLMs memory consumption, and speeds-up LLMs inference latency. All of that, while showing promising results, that do not fall from a comparable LLaMA model! Large language models quantization is already tackling the same problem, and we'll explain the benefits of BitNet b1.58 comparing to common quantization techniques. BitNet b1.58 is an improvement for the BitNet model presented few months ago. BitNet b1.58 paper - https://arxiv.org/abs/2402.17764 BitNet paper - https://arxiv.org/abs/2310.11453 ----------------------------------------------------------------------------------------------- ✉️ Join the newsletter - https://aipapersacademy.com/newsletter/ 👍 Please like & subscribe if you enjoy this content We use VideoScribe to edit our videos - https://tidd.ly/44TZEiX (affiliate) -----------------------------------------------------------------------------------------------
打开封面
下载高清视频
观看高清视频
视频下载器
bitnet.cpp 推理,速度超越 llama.cpp,内存最高降低 16 倍 | 附 BitNet b1.58 模型安装演示
微软发布2.7B小模型,碾压谷歌Gemini!性能直接打平比自己大25倍的大模型?
BitNet开源:1.58比特让大模型轻如燕,CPU就能跑100B参数
【YOLO关键点检测】YOLO暴力追踪测试
ToDesk: 设备代码:625 533 452 临时密码:uf0mkim6
GitHub - microsoft-BitNet- 1-bit LLMs 的官方推理框架 --- GitHub - microsoft-BitNet- Off
普通CPU也能跑千亿参数大模型?微软重磅开源大模型推理框架!
舍友不会做毕设,我花了一周时间做了个智能家居系统不知道能不能作为他的毕设。就我这水平能找个嵌入式或者硬件开发吗,助理也行
吞吐量惊人提升近30倍!田渊栋团队封神!最新论文解决大模型部署难题(附大模型资源)
为什么还是有很多傻der源源不断地涌入计算机视觉?
AI狂潮下,加速效果比gpu更好的FPGA为何黯然失色?
研究生话题:实验室研二师妹说她在yolo-v5里面加了transformer网络是什么水平?
CPU反超NPU,llama.cpp生成速度翻5倍! LLM端侧部署新范式T-MAC开源
LeetCode407 3D接雨水,最最臭名昭著劝退题,真的很难吗?
微软 BitNet:CPU 加速运行 LLM 的新突破
新的AI越狱方法粉碎了GPT-4、Claude、Gemini和LLaMA
心态快崩了,已经卡了好久了,q-learning算法无论怎么样运行都不收敛,而sara算法是正常的
“AI行业被困在了六七年前的原型上”
leetcode刷题看到的逆天老哥
35年首次证明!神经网络登Nature:神经网络具有类人泛化能力,举一反三超GPT-4!
基于llama2的整数奇偶性判别算法(已开源)
AI也是地域黑,矫正训练后,依然无法解决
k-means算法聚类过程
YOLO-World杀疯了!加速20倍!顶会CVPR 2024!
炸雷 炸雷 炸雷| 某计算机专业学生,买了成品源码项目,没有注意源码文件最后修改时间导致延毕???
BitNet 微软的1比特LLM官方推理框架,只用i7跑100B模型
OpenAI公关跳起来捂嘴:transformer作者自爆参与Q*项目!Trans八子访谈内幕来了!
首发!大二电信新生耗费二整晚用C++写了个基于蒙特卡洛树搜索思想的中国象棋AI(附代码乱写及解释乱讲
GPT-6的新能力震惊了所有人!(GPT5,GPT-6,GPT-7)文件揭示了所有内容
Python性能这么差,为什么会在AI中大量使用
李飞飞表示:大语言模型并非AI大模型未来发展方向
基于深度学习的整数奇偶性判别算法哈哈哈哈
天才AI学者何恺明
通俗易懂-大模型的关键技术之一:旋转位置编码rope (2)
Transformer王者归来!无需修改任何模块,时序预测全面领先!
如何知道一个大模型在推理和训练时需要多少显存?
【博士Vlog】大语言模型只需要1.58bit?人人都能训练大模型了!极限模型压缩效果反而更好?怎么做到的?
用 300 元的显卡推理 Qwen1.5-14B 效果展示
iPad一键开启爱国模式
Copilot:震惊,这个代码插件竟然会骂人,啊啊啊啊啊啊!!!