【xinference】（17）：在本地CPU上，运行xinference，使用llama.cpp运行qwen2-7B大模型，解决内存18G溢出问题
发布人
打开封面 下载高清视频 观看高清视频 视频下载器
...
RAG增效SQL语句生成，开启大模型做数据查询新思路，本地Qwen2-7b模型也能又快又准
...
【2024最新】54个大模型实战项目，练完即可就业，从入门到进阶，基础到框架，你想要的全都有，建议码住！超级适合小白入门学习，大模型教程
...
【ollama】（1）：本地运行大型语言模型（LLM）的新利器，本地运行qwen2-1.5B大模型
...
【wails】（2）：使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度还可以，等待下一版本更新
...
【wails】（10）：在windows上利用CPU使用llama.cpp工具运行qwen2-7B大模型，速度和可以，同时也支持ChatGLM6大模型
...
强推！目前B站最全最细的LlamaIndex零基础全套课程，大模型实战系列，全流程解读分析，包含所有干货！七天就能从小白到大神！存下吧！简直比刷剧还爽！
...
【全374集】2024最新清华内部版！终于把AI大模型（LLM）讲清楚了！全程干货讲解，通俗易懂，拿走不谢！
...
xinference一键实现各种大模型本地部署（包含llm,tts,asr,embedding,rerank等模型）
...
使用llama.cpp项目bin文件运行，glm4-chat-9b大模型，速度不快，建议选择量化小的Q2试试
...
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装
...
吴恩达大佬又出新课了！《Hugging Face中的开源模型》双语字幕，16集全，建议收藏！-huggingface、开源模型、吴恩达
...
【xinference】（14）：在compshare上，使用nvidia-docker方式，成功启动推理框架xinference，并运行大模型，非常简单方便
...
【xinference】（18）：在4090设备上通过Xinference框架，快速部署CogVideoX-5b模型，可以生成6秒视频，效果还可以，只支持英文，
...
【2024版】ChatGLM-6B + LangChain 与训练及模型微调教程，新手看完信手拈来，拿走不谢，允许白嫖！！
...
强推！这可能是唯一能将AI Agent讲清楚的课程了，公认最适合新手入门Agent大模型实战系列，3小时全流程解读分析，简直比刷剧还爽！人工智能|大模型
...
为了大模型腾讯正在白嫖12亿用户
...
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
...
【B站强推】一小时彻底掌握提示工程（Prompt Engineering）超详细，草履虫都能听懂！！！（大模型|LLM|多模态|人工智能）
...
本地构建AI智能体 Agent RAG 知识库 Llama3.1 ollama dify
...
【LocalAI】（9）：本地使用CPU运行LocalAI，一次运行4个大模型，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字模型
...
【LocalAI】（6）：在autodl上使用4090部署LocalAIGPU版本，成功运行qwen-1.5-32b大模型，占用显存18G，速度 84t/s
...
【大模型研究】（5）：在AutoDL上部署，一键部署DeepSeek-MOE-16B大模型，可以使用FastChat成功部署，显存占用38G，运行效果不错。
...
【xinference】（9）：本地使用docker构建环境，一次部署embedding，rerank，qwen多个大模型，成功运行，非常推荐
...
我们训练了一个没有道德限制的大模型
...
【大模型研究】（1）：从零开始部署书生·浦语2-20B大模型，使用fastchat和webui部署测试，autodl申请2张显卡，占用显存40G可以运行
...
【大模型研究】（6）：在AutoDL上部署，成功部署Mixtral-8x7B大模型，8bit量化，需要77G显存，355G硬盘
...
【SAM2+YOLOV8】Meta首个能在图片和视频中实时分割对象的统一开源AI模型！博士精讲论文及源码复现！
...
【xinference】（1）：在autodl上，使用xinference部署chatglm3大模型，支持函数调用，使用openai接口调用成功！
...
【LocalAI】（10）：在autodl上编译embeddings.cpp项目，转换bge-base-zh-v1.5模型成ggml格式，本地运行main成功
...
【wails】（5）：经过一段时间的研究，使用wails做桌面应用开发，使用gin+go-chatglm.cpp本地运行大模型，开发接口，在linux上运成功！
...
GraphRAG+阿里云通义千问大模型、百度文心千帆、智谱ChatGML等打造本地知识库，本地搜索、全局搜索二合一！#graphrag #rag #通义千问
...
【xinference】（11）：在compshare上使用4090D运行xinf和chatgpt-web，部署GLM-4-9B-Chat大模型，占用显存18G
...
特别推荐！在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s
...
【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4_0.bin文件，并设置HF_HOME运行
...
pythonstock开源股票系统（1）：概要介绍/说明，使用docker-compose本地运行启动，初始化数据库，可以进行web展示
...
十分钟带你【本地搭建大模型+知识库】不挑环境，不挑配置，一键部署应用，小白也能轻松搭建纯本地化的专属AI产品！-人工智能、大模型
...
OpenAI 最新 o1 模型震撼发布！国内也能使用！具有更强的推理和编程能力，完整解读模型特点，，看看它比GPT-4o强多少！
...
【LocalAI】（11）：本地使用CPU运行LocalAI，一次运行5个能力，embedding模型，qwen-1.5-05b模型，生成图模型，语音转文字互转
...
【大模型研究】（9）：通义金融-14B-Chat-Int4金融大模型部署研究，在autodl上一键部署，解决启动问题，占用显存10G，有非常多的股票专业信息
...
2024大模型RAG企业项目实战：从零开始搭建一套完整的RAG系统，理论+原理+代码深入解析，小白都能学会的实战教程！【LLM大模型+RAG】