京东 11.11 红包
【大模型研究】（9）：通义金融-14B-Chat-Int4金融大模型部署研究，在autodl上一键部署，解决启动问题，占用显存10G，有非常多的股票专业信息
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【大模型研究】（8）：在AutoDL上部署，一键部署Qwen-1_8B-Chat-Int4量化版，需要2.5G显存，非常适合在智能机器人/边缘计算上部署
...
Qwen大模型本地部署教程！教你本地微调一个法律大模型，无需GPU，只要5G内存！附安装包和微调文档！
...
使用autodl服务器，RTX 3090 * 3 显卡上运行， Yi-34B-Chat模型，显存占用60G
...
【Dify知识库】（10）：Dify0.4.9版，改造支持MySQL，成功接入通义千问-7B-Chat-Int4做对话，本地使用fastchat启动，占6G显存
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，用vllm优化，增加 --num-gpu 2，速度23 words/s
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
【大模型研究】（7）：在AutoDL上部署，一键部署最新的chatglm3-6b，8bit量化需要8G内存，发现下载需要48G硬盘了，但是模型只有12G
...
【大模型研究】（10）：在autodl上部署语音模型，测试语音识别和语音合成，非常简单方便就测试成功了，机器人语音交互解方案有了
...
【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G
...
【大模型研究】（2）：在AutoDL上部署，猎户星空-14B-Chat-Plugin大模型，使用脚本一键部署fastchat服务和界面，显存占用28G
...
【大模型研究】（6）：在AutoDL上部署，成功部署Mixtral-8x7B大模型，8bit量化，需要77G显存，355G硬盘
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【Dify知识库】（11）：Dify0.4.9改造支持MySQL，成功接入yi-6b 做对话，本地使用fastchat启动，占8G显存，完成知识库配置
...
【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协
...
【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai调用成功
...
【大模型研究】（5）：在AutoDL上部署，一键部署DeepSeek-MOE-16B大模型，可以使用FastChat成功部署，显存占用38G，运行效果不错。
...
【xinference】（4）：在autodl上，使用xinference部署sd-turbo模型，可以根据文本生成图片，在RTX3080-20G上耗时1分钟
...
【创新思考】（1）：使用x86架构+Nvidia消费显卡12G显存，搭建智能终端，将大模型本地化部署，语音交互机器人设计，初步设计
...
【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本
...
【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
【xinference】（5）：在autodl上，使用xinference部署sdxl-turbo模型，效果好太多了，模型的进步效果更好，图像更加细腻
...
【candle】（4）：使用rsproxy安装rust环境，使用candle项目，成功运行Qwen1.5-0.5B-Chat模型，修改hf-hub下载地址
...
【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功
...
在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！
...
一键部署本地私人专属知识库，开源免费！1000多种开源大模型随意部署！
...
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装
...
全面超越GraphRAG，速度更快，效果更好，落地部署更方便。从原理、本地Qwen2.5-3B模型部署到源码解读，带你全流程解析LightRAG
...
【deepseek】（2）：使用3080Ti显卡，fastchat运行deepseek-coder-6.7b-instruct模型，出现死循环EOT的BUG
...
【xinference】（17）：在本地CPU上，运行xinference，使用llama.cpp运行qwen2-7B大模型，解决内存18G溢出问题
...
【喂饭教程】20分钟学会微调大模型Qwen2，环境配置+模型微调+模型部署+效果展示详细教程！草履虫都能学会~
...
【ollama】（4）：在autodl中安装ollama工具，配置环境变量，修改端口，使用RTX 3080 Ti显卡，测试coder代码生成大模型
...
Yi-VL-34B（5）：使用3个3090显卡24G版本，运行Yi-VL-34B模型，支持命令行和web界面方式，理解图片的内容转换成文字
...
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
...
【大模型研究】（3）：在AutoDL上部署，使用脚本一键部署fastchat服务和界面，部署生成姜子牙-代码生成大模型-15B，可以本地运行，提高效率
...
【LocalAI】（4）：在autodl上使用3080Ti部署LocalAIGPU版本，成功运行qwen-1.5-7b大模型，速度特别快，特别依赖cuda版本
...
使用llama.cpp项目bin文件运行，glm4-chat-9b大模型，速度不快，建议选择量化小的Q2试试
...
【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功
...
【chatglm】（9）：使用fastchat和vllm部署chatlgm3-6b模型，并简单的进行速度测试对比。vllm确实速度更快些。