【compshare】（3）：使用UCloud(优刻得)的compshare算力平台，新增加SD-webui和大模型镜像，可以快速启动，非常方便，部署特别简单
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【chatglm3】（7）：大模型训练利器，使用LLaMa-Factory开源项目，对ChatGLM3进行训练，特别方便，支持多个模型，非常方方便
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【compshare】（1）：推荐一个GPU按小时租的平台，使用实体机部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特别方便
...
【compshare】（5）：使用UCloud(优刻得)的compshare算力平台，运行stable-diffusion-3-medium-comfyui镜像
...
【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快
...
【大模型研究】（9）：通义金融-14B-Chat-Int4金融大模型部署研究，在autodl上一键部署，解决启动问题，占用显存10G，有非常多的股票专业信息
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
【ollama】（6）：在本地使用docker-compose启动ollama镜像，对接chatgpt-web服务，配置成功，可以进行web聊天了，配置在简介里
...
【大模型研究】（1）：从零开始部署书生·浦语2-20B大模型，使用fastchat和webui部署测试，autodl申请2张显卡，占用显存40G可以运行
...
【chatglm】（9）：使用fastchat和vllm部署chatlgm3-6b模型，并简单的进行速度测试对比。vllm确实速度更快些。
...
【Dify知识库】（11）：Dify0.4.9改造支持MySQL，成功接入yi-6b 做对话，本地使用fastchat启动，占8G显存，完成知识库配置
...
【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协
...
【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功
...
【xinference】（4）：在autodl上，使用xinference部署sd-turbo模型，可以根据文本生成图片，在RTX3080-20G上耗时1分钟
...
【deepseek】（1）：12月1日新大模型deepseek发布！使用3080显卡，运行7b模型，可以正常运行WebUI了，速度9 words/s。
...
【大模型知识库】（2）：开源大模型+知识库方案，docker-compose部署本地知识库和大模型，毕昇+fastchat的ChatGLM3，BGE-zh模型
...
pythonstock开源股票系统（1）：概要介绍/说明，使用docker-compose本地运行启动，初始化数据库，可以进行web展示
...
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
【xinference】（1）：在autodl上，使用xinference部署chatglm3大模型，支持函数调用，使用openai接口调用成功！
...
【xinference】（18）：在4090设备上通过Xinference框架，快速部署CogVideoX-5b模型，可以生成6秒视频，效果还可以，只支持英文，
...
【Dify知识库】（8）：使用Docker镜像打补丁方式，解决Dify升级，且需要支持MySQL数据库。可以启动成功，并读取MySQL数据库数据。
...
【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G
...
【xinference】（19）：在L40设备上通过Xinference框架，快速部署CogVideoX-5b模型，可以生成6秒视频，速度快一点
...
【Dify知识库】（2）：开源大模型+知识库方案，Dify+fastchat的BGE模型，可以使用embedding接口对知识库进行向量化，绑定聊天应用
...
【ollama】（3）：在linux搭建环境中，安装ollama工具，并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快，支持http接口和命令行
...
在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！
...
推荐国内使用hub.atomgit.com下载docker镜像，速度快，镜像经过安全扫描，常用的开发工具，软件都有啦！
...
【xinference】（3）：在autodl上，使用xinference部署whisper-tiny音频模型，并成功将语音转换成文本
...
【LocalAI】（4）：在autodl上使用3080Ti部署LocalAIGPU版本，成功运行qwen-1.5-7b大模型，速度特别快，特别依赖cuda版本
...
【大模型研究】（6）：在AutoDL上部署，成功部署Mixtral-8x7B大模型，8bit量化，需要77G显存，355G硬盘
...
【Dify知识库】（1）：本地环境运行dity+fastchat的ChatGLM3模型，可以使用chat/completions接口调用chatglm3模型
...
使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，用vllm优化，增加 --num-gpu 2，速度23 words/s
...
【创新思考】（1）：使用x86架构+Nvidia消费显卡12G显存，搭建智能终端，将大模型本地化部署，语音交互机器人设计，初步设计
...
终于弄明白FastChat服务了，本地部署ChatGLM3，BEG模型，可部署聊天接口，web展示和Embedding服务！
...
【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明
...
【大模型研究】（10）：在autodl上部署语音模型，测试语音识别和语音合成，非常简单方便就测试成功了，机器人语音交互解方案有了
...
【ChatGLM3】（6）：使用1个2080Ti-11G版本，运行ChatGLM3-Int8模型，可以正常运行，速度6 words/s，不支持vllm启动