V
主页
【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型,非常简单方便
发布人
【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型 https://www.compshare.cn/?ytag=GPU_flyiot_Lcsdn_csdn_display docker run -e XINFERENCE_MODEL_SRC=modelscope -v /data/xinf-cache:/root/.cache -p 8188:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug
打开封面
下载高清视频
观看高清视频
视频下载器
【xinference】(9):本地使用docker构建环境,一次部署embedding,rerank,qwen多个大模型,成功运行,非常推荐
全场最佳,但是由AI重新生成【守望先锋】
GPT-o2推理超神,GPT-o1为何被 “冷落”? 大模型训练
NAS3个有趣的项目丨这才是正确打卡方式
【大模型研究】(9):通义金融-14B-Chat-Int4金融大模型部署研究,在autodl上一键部署,解决启动问题,占用显存10G,有非常多的股票专业信息
【xinference】:目前最全大模型推理框架xinference,简单介绍项目,咱们国人开发的推理框架,目前github有3.3k星星
pythonstock开源股票系统(1):概要介绍/说明,使用docker-compose本地运行启动,初始化数据库,可以进行web展示
【compshare】(1):推荐一个GPU按小时租的平台,使用实体机部署,可以方便快速的部署xinf推理框架并提供web展示,部署qwen大模型,特别方便
【xinference】(11):在compshare上使用4090D运行xinf和chatgpt-web,部署GLM-4-9B-Chat大模型,占用显存18G
【xinference】(15):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!!
AI视频一致性被攻克!马斯克被我玩坏了?
5分钟docker动画详解
【wails】(5):经过一段时间的研究,使用wails做桌面应用开发,使用gin+go-chatglm.cpp本地运行大模型,开发接口,在linux上运成功!
AI直接操控电脑:这才是人机自动化的终极形态 feat.claude 3.5 AI 使用计算机模型
Yi-34B(4):使用4个2080Ti显卡11G版本,运行Yi-34B模型,5年前老显卡是支持的,可以正常运行,速度 21 words/s
【chatglm3】(8):模型执行速度优化,在4090上使用fastllm框架,运行ChatGLM3-6B模型,速度1.1w tokens/s,真的超级快。
大模型生成凡人修仙模拟世界
【LocalAI】(6):在autodl上使用4090部署LocalAIGPU版本,成功运行qwen-1.5-32b大模型,占用显存18G,速度 84t/s
【LocalAI】(1):localai项目学习,通过使用docker形式,使用golang+grpc的方式实现本地大模型运行
内存和显存都是金子?macmini M1对比4060ti16G大语言模型性能!
pythonstock开源股票系统(2):重新使用vue+elementui做前端页面,实现动态表单,已经连调成功。
让飞牛NAS中的Docker使用更简单~飞牛懒人包,一键安装全部程序,重装更简单~
【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了
【xinference】(12):目前最全大模型推理框架xinference,发布0.12.2版本,支持qwen2函数调用,0.5,1.5,7b版本都支持
终于有人将大模型可视化了!3D演示+文字详解,深度拆解推理过程
【ai技术】(4):在树莓派4上,使用ollama部署qwen0.5b大模型+chatgptweb前端界面,搭建本地大模型聊天工具,速度飞快
使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,用vllm优化,增加 --num-gpu 2,速度23 words/s
推荐国内使用hub.atomgit.com下载docker镜像,速度快,镜像经过安全扫描,常用的开发工具,软件都有啦!
【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型
【xinference】(17):在本地CPU上,运行xinference,使用llama.cpp运行qwen2-7B大模型,解决内存18G溢出问题
Docker拉取镜像失败?不存在的!
Gorse Go 推荐系统引擎,可以使用docker-compose本地运行,github有8.5k星
【B站最详细】使用Ollama+fastGpt搭建一个全能知识库!专属自己!支持多种文件类型,实现本地化大型模型部署,效果非凡!
【xinference】(16):在本地CPU上,使用docker-compose运行xinference和chatgpt-web项目,运行0.5B和1.5B
lobechat--超好用AI聚合平台 数据库部署模式
NAS追剧自动化,Home Assistant交互搜索电影,提交订阅下载
【LocalAI】(4):在autodl上使用3080Ti部署LocalAIGPU版本,成功运行qwen-1.5-7b大模型,速度特别快,特别依赖cuda版本
【LocalAI】(3):超级简单!在linux上使用一个二进制文件,成功运行embeddings和qwen-1.5大模型,速度特别快,有gitee配置说明
喂饭教程!25分钟本地部署Qwen2大模型:配置、微调、部署+效果展示,带你训练自己的行业大模型!
【chatglm3】(7):大模型训练利器,使用LLaMa-Factory开源项目,对ChatGLM3进行训练,特别方便,支持多个模型,非常方方便