CPU反超NPU，llama.cpp生成速度翻5倍！ LLM端侧部署新范式T-MAC开源
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
bitnet.cpp 推理，速度超越 llama.cpp，内存最高降低 16 倍 | 附 BitNet b1.58 模型安装演示
...
本地运行通义千问72B！兼容AMD显卡或纯CPU【LM Studio】
...
6Tops的瑞芯微NPU算力别浪费了，跑个YOLO v5吧
...
【13B大模型无用】大家不需要用自己的8G显存跑大模型了，没意义，70B也许成，我试试
...
多模态大模型QWen2-VL 72B在安防任务火焰识别的表现
...
M3MAX 128G 运行llama2-70B
...
Fish Speech 1.4 开源: 稳定流畅多语言支持
...
4张tesla P100 16G显存运行 llama3.1 70B大模型
...
硬核CPU跑llama3 70B模型速度如何？
...
从0.5B到340B的LLM都需要多少显存？
...
【极客湾云飞】如何使用NPU？GPU、NPU都是噱头？一次性说清楚！
...
BitNet开源：1.58比特让大模型轻如燕，CPU就能跑100B参数
...
看完极客湾的视频不敢开Windows的高性能电源模式？我有一个好办法
...
你以为的三年前的CPUvs实际三年前的CPU
...
普通CPU也能跑千亿参数大模型？微软重磅开源大模型推理框架！
...
MiniCPM3-4B开源 4B参数挑战7B性能！真的吗？ #小工蚁
...
知道为什么卡丁车都只能体验8分钟左右吗？看完你就知道了。
...
BitNet 微软的1比特LLM官方推理框架，只用i7跑100B模型
...
cpu + gpu 一起运行大模型到底行不行？- 基准测试跑跑看
...
【强烈推荐】开源的AI驱动的OCR文字识别神器开启OCR2.0时代（GOT-OCR2.0）
...
ollama vs vllm - 开启并发之后的 ollama 和 vllm 相比怎么样？
...
免费性能提升近20%？AMD连环更新补丁，CPU也在战未来
...
Apple M2 Ultra 192G 简单比较各模型推理能力：Llama3.1-70B, Mistral-Large, DeekSeek-v2-256B 等
...
📦 uv: 超越 pip 的现代化 Python 包和项目管理器
...
惊艳！1.5B小模型也能玩转代码解释，Qwen Code Interpreter测试及本地部署7B模型
...
微软把LLM里矩阵参数全改为-1、0、1。解决了一大难题
...
兄弟喜新厌旧的速度太快了
...
3.5 小时出证！LangGraph 官方课程 🆓 重磅上线🔥🔥🔥
...
为什么在CFD圈，有些导师把代码看的比命还重要
...
首创AI处理器能效已超英某达？端侧小芯片跑大模型轻松get！
...
lunar lake 拔电功耗15瓦r24曝光
...
无需显卡！用CPU搞定大模型运行部署！【详细手把手演示】
...
英特尔如何做到：新Ultra 200V系CPU功耗-50%，内存+32GB？
...
CPU 快到没对手！A18 芯片直接飞跃两代，Apple Intelligence 能否驱动换机潮？
...
退隐三年，上一线敲代码，Google创始人：我不想错过AI这场变革
...
台湾网红：太荒谬了！原来CPU是可以零售的？
...
ARM处理器：5年拿下一半Windows市场