V
主页
【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型,非常简单方便
发布人
【xinference】(14):在compshare上,使用nvidia-docker方式,成功启动推理框架xinference,并运行大模型 https://www.compshare.cn/?ytag=GPU_flyiot_Lcsdn_csdn_display docker run -e XINFERENCE_MODEL_SRC=modelscope -v /data/xinf-cache:/root/.cache -p 8188:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0 --log-level debug
打开封面
下载高清视频
观看高清视频
视频下载器
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
pythonstock开源股票系统(1):概要介绍/说明,使用docker-compose本地运行启动,初始化数据库,可以进行web展示
【chatglm3】(7):大模型训练利器,使用LLaMa-Factory开源项目,对ChatGLM3进行训练,特别方便,支持多个模型,非常方方便
【xinference】(9):本地使用docker构建环境,一次部署embedding,rerank,qwen多个大模型,成功运行,非常推荐
【xinference】:目前最全大模型推理框架xinference,简单介绍项目,咱们国人开发的推理框架,目前github有3.3k星星
【整整600集】字节大佬196小时讲完的AI大模型教程(LLM)零基础入门到精通全套教程,全程干货无废话,这还学不会,我退出IT圈!微调/模型训练/私有化部署
【xinference】(15):在compshare上,使用docker-compose运行xinference和chatgpt-web项目,配置成功!!!
【compshare】(3):使用UCloud(优刻得)的compshare算力平台,新增加SD-webui和大模型镜像,可以快速启动,非常方便,部署特别简单
【xinference】(11):在compshare上使用4090D运行xinf和chatgpt-web,部署GLM-4-9B-Chat大模型,占用显存18G
【compshare】(1):推荐一个GPU按小时租的平台,使用实体机部署,可以方便快速的部署xinf推理框架并提供web展示,部署qwen大模型,特别方便
【2024最新】54个大模型实战项目,练完即可就业,从入门到进阶,基础到框架,你想要的全都有,建议码住!超级适合小白入门学习,大模型教程
【大模型知识库】(3):本地环境运行flowise+fastchat的ChatGLM3模型,通过拖拽/配置方式实现大模型编程,可以使用completions接口
【多模态+知识图谱】半天居然就跟着博士从零构建知识图谱!基于知识图谱的六大项目实战!医药问答系统、知识抽取、推荐系统、Neo4j数据库、大模型
【大模型研究】(9):通义金融-14B-Chat-Int4金融大模型部署研究,在autodl上一键部署,解决启动问题,占用显存10G,有非常多的股票专业信息
【xinference】(1):在autodl上,使用xinference部署chatglm3大模型,支持函数调用,使用openai接口调用成功!
使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,用vllm优化,增加 --num-gpu 2,速度23 words/s
给大模型新人的经验,刷到少走3年弯路!
最全面最详细的Flux使用说明书:30分钟学会Flux的一切
【OrangePi】(2):香橙派OrangePi AIpro设备,安装xinference框架,运行qwen1.5大模型
在云主机上使用4090部署,使用fastchat框架成功部署Baichuan2-13B-Chat模型,8bit运行模式,可以进行问答啦!
2024年吃透经典AI大模型面试题500问,7天学完,让你面试少走99%弯路!!大模型与深度学习算法面试指南。【存下吧,附80W字面试宝典】
大模型微调看这个视频就够了 SFT NEFTune
【xinference】(8):在autodl上,使用xinference部署qwen1.5大模型,速度特别快,同时还支持函数调用,测试成功!
【xinference】(17):在本地CPU上,运行xinference,使用llama.cpp运行qwen2-7B大模型,解决内存18G溢出问题
秋招看过来!自制大模型推理框架-怎么用Cuda实现LLama模型中的MLP层
【Dify知识库】(12):在autodl上,使用xinference部署chatglm3,embedding,rerank大模型,并在Dify上配置成功
【compshare】(4):在容器的linxux上,安装nvidia-docker方法,配置当前用户权限
【ollama】(6):在本地使用docker-compose启动ollama镜像,对接chatgpt-web服务,配置成功,可以进行web聊天了,配置在简介里
【ollama】(5):在本地使用docker-compose启动ollama镜像,并下载qwen-0.5b模型,速度飞快
【Dify知识库】(3):开源大模型+知识库方案,使用Dify配置智谱AI的key,可以进行聊天和知识库问答,效果更好。
【大模型研究】(1):从零开始部署书生·浦语2-20B大模型,使用fastchat和webui部署测试,autodl申请2张显卡,占用显存40G可以运行
这本书就是学大模型的神!大模型人请务必翻烂!!!大模型Agent搭建实例,从入门到实战!手把手教你动手做AI Agent!
【Dify知识库】(1):本地环境运行dity+fastchat的ChatGLM3模型,可以使用chat/completions接口调用chatglm3模型
【Dify知识库】(8):使用Docker镜像打补丁方式,解决Dify升级,且需要支持MySQL数据库。可以启动成功,并读取MySQL数据库数据。
【fastllm】学习框架,本地运行,速度还可以,可以成功运行chatglm2模型
【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型
【ollama】(7):使用Nvidia Jetson Nano设备,成功运行ollama,运行qwen:0.5b-chat,速度还可以,可以做创新项目了
【chatglm3】(8):模型执行速度优化,在4090上使用fastllm框架,运行ChatGLM3-6B模型,速度1.1w tokens/s,真的超级快。
使用docker运行最新chatglm3-6b,对外的http服务,使用python代码执行函数调用,查询北京天气代码演示和说明
4070 Ti Super微调大模型GLM4,定制化大模型输出