京东 11.11 红包
【LocalAI】（2）：LocalAI项目学习，使用hf-mirror.com镜像下载phi2大模型，通过克隆项目实现
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4_0.bin文件，并设置HF_HOME运行
...
【LocalAI】（4）：在autodl上使用3080Ti部署LocalAIGPU版本，成功运行qwen-1.5-7b大模型，速度特别快，特别依赖cuda版本
...
【LocalAI】（5）：在autodl上使用4090Ti部署LocalAIGPU版本，成功运行qwen-1.5-14b大模型，占用显存8G
...
【LocalAI】（8）：使用LocalAI镜像，本地使用CPU运行stablediffusion组件，可以生成256x256的图片，生产速度较慢
...
【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型
...
【compshare】（3）：使用UCloud(优刻得)的compshare算力平台，新增加SD-webui和大模型镜像，可以快速启动，非常方便，部署特别简单
...
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
...
【wails】（7）：运行llama.go项目，使用纯golang写的代码，下载了模型文件，然后可以本地执行了，可以执行，就是模型文件26G，运行速度慢
...
【LocalAI】（7）：在autodl上使用4090D部署，成功部署localai-cuda-12的二进制文件，至少cuda版本是12.4才可以，运行qwen
...
【Dify知识库】（8）：使用Docker镜像打补丁方式，解决Dify升级，且需要支持MySQL数据库。可以启动成功，并读取MySQL数据库数据。
...
使用llama.cpp项目bin文件运行，glm4-chat-9b大模型，速度不快，建议选择量化小的Q2试试
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
【LocalAI】（3）：超级简单！在linux上使用一个二进制文件，成功运行embeddings和qwen-1.5大模型，速度特别快，有gitee配置说明
...
【wails】（1）：使用go做桌面应用开发，wails框架入门学习，在Linux上搭建环境，运行demo项目，并打包测试
...
【candle】（1）：学习huggingface的candle项目，新的模型部署框架，搭建rust环境，并将rust安装到制定目录，执行rust命令
...
【xinference】：目前最全大模型推理框架xinference，简单介绍项目，咱们国人开发的推理框架，目前github有3.3k星星
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
推荐国内使用hub.atomgit.com下载docker镜像，速度快，镜像经过安全扫描，常用的开发工具，软件都有啦！
...
【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功
...
【chatglm3】（10）：使用fastchat本地部署chatlgm3-6b模型，并配合chatgpt-web的漂亮界面做展示，调用成功，vue的开源项目
...
【Dify知识库】（9）：使用Docker镜像打补丁方式，解决Dify0.4.7版本，支持MySQL数据库。解决统计查询问题，演示Dify0.4.7版本功能
...
【LocalAI】（1）：localai项目学习，通过使用docker形式，使用golang+grpc的方式实现本地大模型运行
...
【xinference】（4）：在autodl上，使用xinference部署sd-turbo模型，可以根据文本生成图片，在RTX3080-20G上耗时1分钟
...
【candle】（4）：使用rsproxy安装rust环境，使用candle项目，成功运行Qwen1.5-0.5B-Chat模型，修改hf-hub下载地址
...
【candle】（3）：安装rust环境，使用GPU进行加速，成功运行qwen的0.5b，4b，7b模型，搭建rust环境，配置candle，下使用hf-mir
...
【大模型知识库】（3）：本地环境运行flowise+fastchat的ChatGLM3模型，通过拖拽/配置方式实现大模型编程，可以使用completions接口
...
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
【fly-iot】（2）：重启开源项目Actorcloud项目，切换MySQL数据库，使用flask deploy防守方，初始化数据库表
...
【Dify知识库】（3）：开源大模型+知识库方案，使用Dify配置智谱AI的key，可以进行聊天和知识库问答，效果更好。
...
【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字互转
...
【LocalAI】（12）：本地使用CPU运行LocalAI，piper语音模型已经切换到了hugging faces上了，测试中文语音包成功！
...
【ollama】（6）：在本地使用docker-compose启动ollama镜像，对接chatgpt-web服务，配置成功，可以进行web聊天了，配置在简介里
...
【wails】（4）：使用wails做桌面应用开发，整合chatgpt-web项目做前端，进行本地开发，web端也可以连调，使用websocket实现
...
【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快
...
【ai技术】（4）：在树莓派4上，使用ollama部署qwen0.5b大模型+chatgptweb前端界面，搭建本地大模型聊天工具，速度飞快
...
【AI大模型】使用Ollama+Dify搭建一个专属于自己的知识库！支持多种文件类型，本地部署大模型，效果出奇的好！
...
使用autodl服务器，在A40显卡上运行， Yi-34B-Chat-int4模型，并使用vllm优化加速，显存占用42G，速度18 words/s
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【fly-iot】（1）：介绍fly-iot项目，使用docker-compose启动PG版本，注册帐号，创建设备成功。