京东 11.11 红包
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【ai技术】（3）：树莓派4，成功安装ollama软件，内存4G，安装命令行版本，使用raspi-config配置wifi，速度9 t/s
...
【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快
...
【candle】（4）：使用rsproxy安装rust环境，使用candle项目，成功运行Qwen1.5-0.5B-Chat模型，修改hf-hub下载地址
...
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
【ollama】（6）：在本地使用docker-compose启动ollama镜像，对接chatgpt-web服务，配置成功，可以进行web聊天了，配置在简介里
...
【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai调用成功
...
【LocalAI】（7）：在autodl上使用4090D部署，成功部署localai-cuda-12的二进制文件，至少cuda版本是12.4才可以，运行qwen
...
【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明
...
【fastllm】学习框架，本地运行，速度还可以，可以成功运行chatglm2模型
...
【ai技术】（4）：在树莓派4上，使用ollama部署qwen0.5b大模型+chatgptweb前端界面，搭建本地大模型聊天工具，速度飞快
...
【ollama】（3）：在linux搭建环境中，安装ollama工具，并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快，支持http接口和命令行
...
【Dify知识库】（1）：本地环境运行dity+fastchat的ChatGLM3模型，可以使用chat/completions接口调用chatglm3模型
...
【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功
...
【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协
...
OpenHarmony 触觉智能rk3588开发板部署ollama玩转大语言模型
...
1小时使用RAGFlow+Ollama构建本地知识库！采用OCR和深度文档理解结合的新一代RAG引擎，windows、docker
...
使用llama.cpp项目bin文件运行，glm4-chat-9b大模型，速度不快，建议选择量化小的Q2试试
...
使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，用vllm优化，增加 --num-gpu 2，速度23 words/s
...
【chatglm3】（10）：使用fastchat本地部署chatlgm3-6b模型，并配合chatgpt-web的漂亮界面做展示，调用成功，vue的开源项目
...
使用autodl服务器，RTX 3090 * 3 显卡上运行， Yi-34B-Chat模型，显存占用60G
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【ollama】（1）：本地运行大型语言模型（LLM）的新利器，本地运行qwen2-1.5B大模型
...
【xinference】（2）：在autodl上，使用xinference部署qwen-chat大模型，支持函数调用，使用openai接口调用成功！
...
【wails】（7）：运行llama.go项目，使用纯golang写的代码，下载了模型文件，然后可以本地执行了，可以执行，就是模型文件26G，运行速度慢
...
【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型
...
特别推荐！在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s
...
【大模型研究】（9）：通义金融-14B-Chat-Int4金融大模型部署研究，在autodl上一键部署，解决启动问题，占用显存10G，有非常多的股票专业信息
...
【从零开始学大模型】五分钟学会本地部署！拥有自己的免费大模型！100%成功，零基础也能轻松看懂！-LLAMA/Qwen/大模型部署
...
ubuntu上使用arduino编译demo，上传到设备中，运行成功。需要使用root帐号
...
【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G
...
【Dify知识库】（8）：使用Docker镜像打补丁方式，解决Dify升级，且需要支持MySQL数据库。可以启动成功，并读取MySQL数据库数据。
...
【LocalAI】（1）：localai项目学习，通过使用docker形式，使用golang+grpc的方式实现本地大模型运行
...
在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！
...
【LocalAI】（4）：在autodl上使用3080Ti部署LocalAIGPU版本，成功运行qwen-1.5-7b大模型，速度特别快，特别依赖cuda版本
...
【大模型研究】（5）：在AutoDL上部署，一键部署DeepSeek-MOE-16B大模型，可以使用FastChat成功部署，显存占用38G，运行效果不错。
...
【LocalAI】（12）：本地使用CPU运行LocalAI，piper语音模型已经切换到了hugging faces上了，测试中文语音包成功！
...
【ai技术】（1）：发现一个大模型可视化项目，使用nodejs编写的，llm-viz，可以本地运行展示大模型结构。
...
Qt+Ollama开源大模型随意部署，免安装解压即用
...
【Tauri】（1）：使用Tauri1.5版本，进行桌面应用开发，在windows，linux进行桌面GUI应用程序开发，可以打包成功，使用 vite 最方便