V
主页
京东 11.11 红包
主论坛演讲:用WasmEdge和Kuasar 在Kubernetes上部署LLM工作负载【英文字幕】
发布人
LLM是强大的人工智能模型,能够理解和生成自然语言。然而,传统的运行LLM的方法存在重大挑战,包括复杂的软件包安装、GPU设备兼容性问题、不灵活的扩展性、有限的资源监控和统计,以及在本地平台上的安全漏洞。 WasmEdge提出了一种解决方案,可以开发快速、灵活、资源高效和安全的LLM应用程序。Kuasar使应用程序能够在Kubernetes上运行,具有更快的容器启动速度和减少的管理开销。本场演讲将演示如何使用WasmEdge和Kuasar作为容器运行时,在Kubernetes集群上运行Llama3-8B。与会者将探索Kubernetes如何提高LLM部署和运营的效率、可扩展性和稳定性。
打开封面
下载高清视频
观看高清视频
视频下载器
Mewz:专为运行 Wasm 应用程序而设计并与 WASI 兼容的 unikernel — Saza & AiNozaki
GOTC云原生峰会:容器工具构建和管理 WebAssemly 应用 Michael Yuan | Founder of WasmEdge
Civo Cloud上的Wasm函数-WasmEdge三月社区月会
WasmEdge Community月会 #29 Llama+Lima +WASI-NN RPC demo, 用YOLO, Docker在GPU上跑大模型
LLaMa 3.2 - 1B 在树莓派 5 使用ollama部署调用
2024最新最详细教程完整版【Kubernetes(k8s)】全套入门运维工程师必修,涉及入门到精通,实战,pod调度Linux等,需要的来!
自建AI编程助手 | 本地 Yi-Coder模型 + Cursor5分钟写一个网页
WasmEdge社区月会 #32 大模型Gemma-2-9B + Groqbook写书; WasmEdge Q3路线图
在异构云上高效和跨平台的 LLM 推理 - Michael Yuan,WasmEdge
【Docker社区大会】教你玩转Docker+Wasm:在Docker中运行WebAssembly应用
完整版Kubernetes(K8S)全套入门+微服务实战项目,带你一站式深入掌握K8S核心能力
【中英精校】2024.10.17 | 英伟达发布最新开源大模型 | 超越GPT-4o和3.5 Sonnet
用K8s运行基于 WebAssembly 的边缘端AI即服务AI as a Service
如何申请GSOC 2024谷歌开源之夏?
【Docker最新发布】全新跨平台AI应用革命!一次构建,处处运行——WebGPU x WasmEdge
K8s弃用Docker
在摩尔线程原生驱动上进行Llama.cpp的推理(没有使用vulkan)
WASI Preview 2 Discussion – Bailey Hayes (WasmEdge community meeting Feb)
Demo: 世界上最小的大模型通义千问Qwen1.5-0.5B-Chat 拿出Mac测测效果如何
Demo: 在Mac上用LLM进行工具调用,开源大模型也能调用函数!(英文字幕)
Demo:本地运行马斯克开源的大模型Grok,可完全跨平台
吴恩达同步最新AI课,第56讲:Llama 3.2多模态综合开发--Introducing Multimodal Llama 3.2
WasmEdge 社区会议#33:跨CPU运行 Stable Diffusion、大模型函数调用demo、LFX实习机会
Docker❤️Wasm Demo1: 用WasmEdge在Docker创建运行Rust写的AI推理微服务——WasmEdge创始人
Rancher Prime vs. Rancher 最新功能解读
教主技术进化论2024第21期 Llama Stack 开源AI开发平台
Demo: 用Mac起一个本地开源大模型并替换掉OpenAI API,Run a GaiaNet node on top of WasmEdge
Demo:用Wasm在自己的设备运行大模型 Use WebAssembly to Run LLMs on Your Own Device【简易字幕】
VideoLingo 一键自动翻译视频
使用 KIND 启动与管理 WebAssembly 应用
通过 Rust 扩展 Quickjs,并在 WasmEdge 里运行 JavaScript 程序
【Rust Meetup】用 Rust 将你的 GitHub 工作流自动化
用Wasm在GPU、CPU、操作系统和云原生环境中进行可移植的AI推理
云原生计算基金会最新 Wasm 全景图发布
Milvus 向量数据库:大模型的长期记忆体
Demo: 跨平台+Mac运行多模态大模型 Llava,用图片和LLM对话!
为什么埃隆·马斯克说 Rust 是 AGI 的语言?
(熟肉)开源大模型+Cursor 5分钟从零写出Rust应用,Rust从未如此简单!
AI教父Hinton:AI会让普通人失去工作,需要更关注AI安全!
手机本地运行AI大模型 最全面横评 效果实测(二)6B-8B参数模型