bitnet.cpp 推理，速度超越 llama.cpp，内存最高降低 16 倍 | 附 BitNet b1.58 模型安装演示
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
BitNet开源：1.58比特让大模型轻如燕，CPU就能跑100B参数
...
CPU反超NPU，llama.cpp生成速度翻5倍！ LLM端侧部署新范式T-MAC开源
...
【13B大模型无用】大家不需要用自己的8G显存跑大模型了，没意义，70B也许成，我试试
...
核能挑战：8GB显存本地跑Llama 405B
...
小模型的时代终于来了，1.5B参数量模型也能轻松构建GraphRAG
...
Llama小模型实测超惊艳，端侧AI要变天了
...
在摩尔线程原生驱动上进行Llama.cpp的推理（没有使用vulkan）
...
微软 BitNet：CPU 加速运行 LLM 的新突破
...
英伟达最强开源模型 Llama 3.1 Nemotron 70B ：超越GPT-4o？| 英伟达 Nim 平台值得探索
...
认识ARIA：即将让GPT-4显得过时的新开源AI
...
Qwen2.5 Coder：文本转 SQL 能力超越对手？实测告诉你！
...
惊艳！1.5B小模型也能玩转代码解释，Qwen Code Interpreter测试及本地部署7B模型
...
ollama支持Llama3.2-vision多模态大模型轻松实现监控找人！重磅分享：详细讲解提示词工程+视觉大模型实现视频目标查找！无需高端显卡，本地运行流畅
...
CPU逆袭AI领域？ bitnet.cpp颠覆GPU霸权？！
...
微软发布2.7B小模型，碾压谷歌Gemini！性能直接打平比自己大25倍的大模型？
...
openai继续向AGI狂奔将要发布下一代模型
...
微软把LLM里矩阵参数全改为-1、0、1。解决了一大难题
...
【大模型量化】llama.cpp轻量化模型部署及量化
...
普通CPU也能跑千亿参数大模型？微软重磅开源大模型推理框架！
...
BitNet 微软的1比特LLM官方推理框架，只用i7跑100B模型
...
【博士Vlog】大语言模型只需要1.58bit？人人都能训练大模型了！极限模型压缩效果反而更好？怎么做到的？
...
Claude 3.5 计算机使用功能安装&实测
...
步步高重大发现！Termux的签名可以绕检测安装！
...
CogAgent：具备GUI能力的大模型
...
【疯狂的Rust库】iced 优雅的跨平台GUI库
...
Qwen2-VL-7B实现精准pdf转markdown，从原理、代码实现、存在问题以及优化方向全流程讲解
...
【大模型】几小时完全从头训练一个仅有26M的小参数GPT，仅需入门显卡即可推理/训练！
...
详解本地运行大模型的三种实用渠道：Jan、LM Studio、Ollama，Hugging Face 海量 GGUF 模型可以通过 Ollama 一键运行
...
transformers一个非常严重的bug——在使用梯度累计的时候 loss不等效
...
从0.5B到340B的LLM都需要多少显存？
...
【中文转译】最佳cursor工作流，提升10倍效率
...
「Github一周热点46期」大模型OCR、IPTV直播源、工作流程自动化、下一代信息浏览器和下载金融数据工具
...
OmniParser：微软发布截屏解析器， 可识别任何截屏中的可交互图标，理解屏幕中各个元素的含义，从而可准确地将预期动作与屏幕上的相应区域关联操作
...
WebStorm它免费了！我原本的计划也暂时泡汤了！
...
详解 GitHub Universe 2024 重磅更新 | Copilot 新增 Claude 模型、多文件编辑、Web 搜索，全新 AI 工具 Spark
...
发明Netron的人真是个天才，能把复杂难懂的代码以图形化的方式展示！
...
清醒梦重大突破！人类首次实现梦中对话，【科学快报177】
...
6款超实用免费开源工具推荐！轻松提升工作效率 | 零度解说
...
70年老算法Dijkstra被证明普遍最优 斩获顶会FOCS 2024最佳论文
...
盘点一周AI大事(10月27日)｜GPT5 12月发布，仿生机器人问世