【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
【2024最新】54个大模型实战项目，练完即可就业，从入门到进阶，基础到框架，你想要的全都有，建议码住！超级适合小白入门学习，大模型教程
...
pythonstock开源股票系统（1）：概要介绍/说明，使用docker-compose本地运行启动，初始化数据库，可以进行web展示
...
【chatglm3】（7）：大模型训练利器，使用LLaMa-Factory开源项目，对ChatGLM3进行训练，特别方便，支持多个模型，非常方方便
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
【xinference】：目前最全大模型推理框架xinference，简单介绍项目，咱们国人开发的推理框架，目前github有3.3k星星
...
【整整600集】字节大佬196小时讲完的AI大模型教程（LLM）零基础入门到精通全套教程，全程干货无废话，这还学不会，我退出IT圈！微调/模型训练/私有化部署
...
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
...
【compshare】（3）：使用UCloud(优刻得)的compshare算力平台，新增加SD-webui和大模型镜像，可以快速启动，非常方便，部署特别简单
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
【compshare】（1）：推荐一个GPU按小时租的平台，使用实体机部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特别方便
...
【2024最新】54个大模型实战项目，练完即可就业，从入门到进阶，基础到框架，你想要的全都有，建议码住！超级适合小白入门学习，大模型教程
...
【大模型知识库】（3）：本地环境运行flowise+fastchat的ChatGLM3模型，通过拖拽/配置方式实现大模型编程，可以使用completions接口
...
【多模态+知识图谱】半天居然就跟着博士从零构建知识图谱！基于知识图谱的六大项目实战！医药问答系统、知识抽取、推荐系统、Neo4j数据库、大模型
...
【大模型研究】（9）：通义金融-14B-Chat-Int4金融大模型部署研究，在autodl上一键部署，解决启动问题，占用显存10G，有非常多的股票专业信息
...
【xinference】（1）：在autodl上，使用xinference部署chatglm3大模型，支持函数调用，使用openai接口调用成功！
...
使用autodl服务器，两个3090显卡上运行， Yi-34B-Chat-int4模型，用vllm优化，增加 --num-gpu 2，速度23 words/s
...
给大模型新人的经验，刷到少走3年弯路！
...
最全面最详细的Flux使用说明书：30分钟学会Flux的一切
...
【OrangePi】（2）：香橙派OrangePi AIpro设备，安装xinference框架，运行qwen1.5大模型
...
在云主机上使用4090部署，使用fastchat框架成功部署Baichuan2-13B-Chat模型，8bit运行模式，可以进行问答啦！
...
2024年吃透经典AI大模型面试题500问，7天学完，让你面试少走99%弯路！！大模型与深度学习算法面试指南。【存下吧，附80W字面试宝典】
...
大模型微调看这个视频就够了 SFT NEFTune
...
【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！
...
【xinference】（17）：在本地CPU上，运行xinference，使用llama.cpp运行qwen2-7B大模型，解决内存18G溢出问题
...
秋招看过来！自制大模型推理框架-怎么用Cuda实现LLama模型中的MLP层
...
【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功
...
【compshare】（4）：在容器的linxux上，安装nvidia-docker方法，配置当前用户权限
...
【ollama】（6）：在本地使用docker-compose启动ollama镜像，对接chatgpt-web服务，配置成功，可以进行web聊天了，配置在简介里
...
【ollama】（5）：在本地使用docker-compose启动ollama镜像，并下载qwen-0.5b模型，速度飞快
...
【Dify知识库】（3）：开源大模型+知识库方案，使用Dify配置智谱AI的key，可以进行聊天和知识库问答，效果更好。
...
【大模型研究】（1）：从零开始部署书生·浦语2-20B大模型，使用fastchat和webui部署测试，autodl申请2张显卡，占用显存40G可以运行
...
这本书就是学大模型的神！大模型人请务必翻烂！！！大模型Agent搭建实例，从入门到实战！手把手教你动手做AI Agent!
...
【Dify知识库】（1）：本地环境运行dity+fastchat的ChatGLM3模型，可以使用chat/completions接口调用chatglm3模型
...
【Dify知识库】（8）：使用Docker镜像打补丁方式，解决Dify升级，且需要支持MySQL数据库。可以启动成功，并读取MySQL数据库数据。
...
【fastllm】学习框架，本地运行，速度还可以，可以成功运行chatglm2模型
...
【大模型知识库】（2）：开源大模型+知识库方案，docker-compose部署本地知识库和大模型，毕昇+fastchat的ChatGLM3，BGE-zh模型
...
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
...
【chatglm3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度1.1w tokens/s，真的超级快。
...
使用docker运行最新chatglm3-6b，对外的http服务，使用python代码执行函数调用，查询北京天气代码演示和说明
...
4070 Ti Super微调大模型GLM4，定制化大模型输出