京东 11.11 红包
【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
香橙派Orange Pi zero3刷CasaOS轻NAS系统与远程浏览本地文档或影视资源
...
OrangePi 5 Plus性能测试：1080P/4K下的视频播放、测量功耗
...
【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！
...
【xinference】：目前最全大模型推理框架xinference，简单介绍项目，咱们国人开发的推理框架，目前github有3.3k星星
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
【candle】（4）：使用rsproxy安装rust环境，使用candle项目，成功运行Qwen1.5-0.5B-Chat模型，修改hf-hub下载地址
...
【compshare】（1）：推荐一个GPU按小时租的平台，使用实体机部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特别方便
...
【xinference】（10）：在autodl上运行xinf和chatgpt-web配置联动，xinf运行qwen-1.5大模型做api后端
...
【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协
...
【OrangePi】（1）：香橙派联合华为精心打造OrangePi AIpro(8T)的硬件，搭载昇腾AI芯片，8TOPS算力，有丰富的接口和性能
...
[OrangePi 5] LineageOS 19
...
【ollama】（3）：在linux搭建环境中，安装ollama工具，并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快，支持http接口和命令行
...
【OrangePi 系列教程】Linux镜像编译脚本的使用：制作完整镜像的方法
...
【Orange Pi系列教程】Ubuntu Xfce桌面系统使用：Ubuntu Xfce 桌面系统
...
特别推荐！在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s
...
【candle】（3）：安装rust环境，使用GPU进行加速，成功运行qwen的0.5b，4b，7b模型，搭建rust环境，配置candle，下使用hf-mir
...
【Orange Pi系列教程】Ubuntu Xfce桌面系统使用：通过nmcli 命令连接Wi-Fi 的方法
...
【xinference】（19）：在L40设备上通过Xinference框架，快速部署CogVideoX-5b模型，可以生成6秒视频，速度快一点
...
【LocalAI】（4）：在autodl上使用3080Ti部署LocalAIGPU版本，成功运行qwen-1.5-7b大模型，速度特别快，特别依赖cuda版本
...
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装
...
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明
...
【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功
...
【xinference】（18）：在4090设备上通过Xinference框架，快速部署CogVideoX-5b模型，可以生成6秒视频，效果还可以，只支持英文，
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
【ollama】（1）：本地运行大型语言模型（LLM）的新利器，本地运行qwen2-1.5B大模型
...
【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型
...
【OrangePi 系列教程】Linux镜像编译脚本的使用：制作Linux 镜像所需软硬件
...
【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G
...
【OrangePi 系列教程】Linux镜像编译脚本的使用： 制作最小镜像的方法
...
【LocalAI】（7）：在autodl上使用4090D部署，成功部署localai-cuda-12的二进制文件，至少cuda版本是12.4才可以，运行qwen
...
【ai技术】（4）：在树莓派4上，使用ollama部署qwen0.5b大模型+chatgptweb前端界面，搭建本地大模型聊天工具，速度飞快
...
【Orange Pi系列教程】Ubuntu Xfce桌面系统使用：以太网口测试
...
【xinference】（4）：在autodl上，使用xinference部署sd-turbo模型，可以根据文本生成图片，在RTX3080-20G上耗时1分钟
...
【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功
...
【Tauri】（1）：使用Tauri1.5版本，进行桌面应用开发，在windows，linux进行桌面GUI应用程序开发，可以打包成功，使用 vite 最方便
...
【xinference】（17）：在本地CPU上，运行xinference，使用llama.cpp运行qwen2-7B大模型，解决内存18G溢出问题