V
主页
京东 11.11 红包
【xinference】(15):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!!
发布人
【xinference】(14):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!! docker-compose脚本: https://gitee.com/fly-llm/xinference-run-llm/tree/master/docker-compose/xinf-chatgptweb 安装nvidia-docker脚本: https://gitee.com/fly-llm/xinference-run-llm/blob/master/install-nvidia-docker.sh
打开封面
下载高清视频
观看高清视频
视频下载器
【xinference】(16):在本地CPU上,使用docker-compose运行xinference和chatgpt-web项目,运行0.5B和1.5B
使用RAGFlow+Ollama搭建超好用的中文知识库!基于OCR和文档解析的RAG,多模态大模型、人工智能
pythonstock开源股票系统(1):概要介绍/说明,使用docker-compose本地运行启动,初始化数据库,可以进行web展示
【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型,非常简单方便
【ollama】(6):在本地使用docker-compose启动ollama镜像,对接chatgpt-web服务,配置成功,可以进行web聊天了,配置在简介里
【xinference】(12):目前最全大模型推理框架xinference,发布0.12.2版本,支持qwen2函数调用,0.5,1.5,7b版本都支持
【chatglm3】(10):使用fastchat本地部署chatlgm3-6b模型,并配合chatgpt-web的漂亮界面做展示,调用成功,vue的开源项目
【xinference】(9):本地使用docker构建环境,一次部署embedding,rerank,qwen多个大模型,成功运行,非常推荐
【喂饭教程】20分钟学会微调大模型Qwen2,环境配置+模型微调+模型部署+效果展示详细教程!草履虫都能学会~
【compshare】(1):推荐一个GPU按小时租的平台,使用实体机部署,可以方便快速的部署xinf推理框架并提供web展示,部署qwen大模型,特别方便
【Dify知识库】(12):在autodl上,使用xinference部署chatglm3,embedding,rerank大模型,并在Dify上配置成功
【xinference】(11):在compshare上使用4090D运行xinf和chatgpt-web,部署GLM-4-9B-Chat大模型,占用显存18G
Qwen大模型本地部署教程!教你本地微调一个法律大模型,无需GPU,只要5G内存!附安装包和微调文档!
1小时使用RAGFlow+Ollama构建本地知识库!采用OCR和深度文档理解结合的新一代RAG引擎,windows、docker
Gorse Go 推荐系统引擎,可以使用docker-compose本地运行,github有8.5k星
【Dify知识库】(10):Dify0.4.9版,改造支持MySQL,成功接入通义千问-7B-Chat-Int4做对话,本地使用fastchat启动,占6G显存
【compshare】(4):在容器的linxux上,安装nvidia-docker方法,配置当前用户权限
【wails】(4):使用wails做桌面应用开发,整合chatgpt-web项目做前端,进行本地开发,web端也可以连调,使用websocket实现
【xinference】(10):在autodl上运行xinf和chatgpt-web配置联动,xinf运行qwen-1.5大模型做api后端
【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型
【Tauri】(2):使用Tauri应用开发,使用开源的Chatgpt-web应用做前端,使用rust 的candle做后端,本地运行小模型桌面应用
【ollama】(5):在本地使用docker-compose启动ollama镜像,并下载qwen-0.5b模型,速度飞快
【xinference】(3):在autodl上,使用xinference部署whisper-tiny音频模型,并成功将语音转换成文本
【Dify知识库】(3):开源大模型+知识库方案,使用Dify配置智谱AI的key,可以进行聊天和知识库问答,效果更好。
【xinference】:目前最全大模型推理框架xinference,简单介绍项目,咱们国人开发的推理框架,目前github有3.3k星星
【fly-iot】(1):介绍fly-iot项目,使用docker-compose启动PG版本,注册帐号,创建设备成功。
OpenAI-o1免费使用教程!从此实现OpenAI-o1自由,OpenAI的o1草莓模型被这家国内公司给免费了,无限白嫖快上车!
【ai技术】(5):推荐本地Ai应用chatbox,支持win/mac/linux系统,可以接入xinference的qwen1.5-chat大模型
推荐国内使用hub.atomgit.com下载docker镜像,速度快,镜像经过安全扫描,常用的开发工具,软件都有啦!
【LocalAI】(1):localai项目学习,通过使用docker形式,使用golang+grpc的方式实现本地大模型运行
终于弄明白FastChat服务了,本地部署ChatGLM3,BEG模型,可部署聊天接口,web展示和Embedding服务!
【LocalAI】(6):在autodl上使用4090部署LocalAIGPU版本,成功运行qwen-1.5-32b大模型,占用显存18G,速度 84t/s
【LocalAI】(10):在autodl上编译embeddings.cpp项目,转换bge-base-zh-v1.5模型成ggml格式,本地运行main成功
使用docker运行最新chatglm3-6b,对外的http服务,使用python代码执行函数调用,查询北京天气代码演示和说明
【Dify知识库】(11):Dify0.4.9改造支持MySQL,成功接入yi-6b 做对话,本地使用fastchat启动,占8G显存,完成知识库配置
在AutoDL上,使用4090显卡,部署ChatGLM3API服务,并微调AdvertiseGen数据集,完成微调并测试成功!
【xinference】(17):在本地CPU上,运行xinference,使用llama.cpp运行qwen2-7B大模型,解决内存18G溢出问题
【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了
ubuntu上使用arduino编译demo,上传到设备中,运行成功。需要使用root帐号
【candle】(3):安装rust环境,使用GPU进行加速,成功运行qwen的0.5b,4b,7b模型,搭建rust环境,配置candle,下使用hf-mir