V
主页
京东 11.11 红包
全网非ollama的最简单启动本地大模型方法!
发布人
目标是让开发人员和所有用户更容易使用开源模型进行本地运行。为此我将LLM 的所有复杂性进行封装,提供了一个免安装,一键启动,无需CPU,OpenAI接口兼容的接口,并提供本地AI应用调用大模型的示例,真的只要10分钟就能上手。 使用方式: 1. 普罗大众模式 请点击 "普罗大众-我要通过命令行与大模型对话.bat"脚本,就可以跟选择一个模型与AI会话,输入模型前面几个字母Tab键可以自动补全 2. 开发者模式-(本地插件开发,本地知识库),启动一个OpenAI API兼容的接口,OpenAI的客户端可以直接用,只需要配置地址和API密钥 请点击 "开发者-我要启动一个后台API服务.bat"脚本,就可以跟选择一个模型启动本地API,输入模型前面几个字母Tab键可以自动补全 python开发:查看直接可以用的示例,见"开发者-我要使用Python调用底层大模型接口.txt"文档 其他语言:查看可以直接用的示例,见"开发者-我要使用RespAP调用底层大模型接口.txt"文档 3. 新增模型 去Huggingface或者其他地方找gguf格式的大模型,放到当前的gguf模型同级目录下,点击脚本就会自动检查新模型,可以选择使用 如果自己无法去Huggingface下载,可以联系作者 整合包链接:见评论区,记得一键三联,谢谢啦
打开封面
下载高清视频
观看高清视频
视频下载器
Ollama使用离线整合包本地运行大模型LLama3 8B 和Phi-3 mini 4k
打游戏连胜的必备套餐...
大模型运行门槛再次降低?只要一分钟就可以在只有CPU的笔记本上跑大模型!
Ollama + AnythingLLM 搭建私有知识库!一键安装部署,解读本地文档,支持多种文件类型,本地部署大模型,效果好到尖叫!新人小白必看教程!
大模型面经--微调篇
大模型项目失败的十大原因(一)
Qwen大模型本地部署教程!教你本地微调一个法律大模型,无需GPU,只要5G内存!附安装包和微调文档!
Qwen大模型本地部署教程!无需GPU,只要5G内存!超简单的部署教程,本地微调一个法律大模型,附安装包和微调文档!
【Langchain-Chatchat】一键包 可离线部署的RAG与Agent 0.3.1.3全新版本
【中英精校】2024.10.17 | 英伟达发布最新开源大模型 | 超越GPT-4o和3.5 Sonnet
Xinference+Langchain-Chatchat一键运行qwen2.5
用Llama Factory训练自己Llama3!中文版指令微调教程,模型下载、微调、webUI对话、模型合并和量化。
AI 生成3D模型,真是太惊艳了
【精心打磨】2024最详细的大模型学习路线整理出来啦!计算机博士手把手教你最高效的大模型学习方法,轻松搞定AIGC大模型!(大模型训练_大模型微调)
如何选择算力平台?AutoDL等三大算力平台选择
三分钟轻松搭建本地大模型! Ollama + Open WebUI本地化部署大模型,知识库+多模态+文生图功能详解,超详细的教程,附安装包和安装文档!
AIGC即将迎来实时生图时代!SSD-1B开源!SDXL最快,最小模型诞生!
本地部署Molmo-7B多模态大模型媲美Llama3.2-90B!全方位测评:图像识别、视频分析,打造多模态视觉AI助手!轻松实现监控视频快速找人
【AI音色克隆】交大最新AI音色克隆,F5-TTS,效果超级强大!一键启动整合包!解压即用,完全免费!| AI音色克隆 | F5-TTS | TTS
从0到1入门Llama3!大模型Llama3保姆级教程,从微调到量化-部署-应用实例解读,草履虫都能看懂!人工智能/多模态大模型
【CogView3】一键包 智谱开源5G显存文生图 diffusers模型更新 全网首发
超级实用!我如何从办公室访问在家运行的 ComfyUI?
【CogVideoX】一键包 图生视频开源模型 三种视频生成模式已齐全
酒馆SillyTavern-1.12.6整合包,手机客户端访问AI前端,claude-3-5-sonnet破限方法,claude破甲
Qwen2.5保姆级部署教程,环境配置、模型下载、搭建本地知识库、RAG增强详细教程!
roop_unleashed v4.3.1 开源AI换脸工具 离线整合包 更新超勤快的AI换脸工具 一键整合包
大模型项目失败的十大原因(二)
20分钟教会你把大模型部署成openai兼容API
【共享RAG前沿】 港大开源LightRAG检索增强生成系统,加州大学大模型和知识图谱融合GIVE新推理框架
我开源了一个国产版NoteBookLM
【精选课程】大模型Agent详解:全面理解Agent工作原理;AI Agent是什么?如何解决大模型幻觉问题?agent框架详解 提示词prompt设计模式!
AI提示词小白到专家需要掌握的25个提示词技巧!
如何快速部署和运行lightRag(轻量版的GraphRag), 并且进行知识图谱的可视化。
【大模型实战合集】2024年公认最好的大模型实战项目教程,大模型零基础到进阶,学完即就业超越99%的人(附带源码和文档)
【全48集】目前B站最全最细的Llama3零基础全套教程,Llama3微调-量化-部署-应用实例解读七天就能从小白到大神!少走99%的弯路!存下吧!很难找全的!
3秒声音极速克隆CosyVoice整合包下载,流畅自然的文字转语音模型
自制Cuda大模型推理框架-讲解一个从零手写的Qwen2.5推理
【Paints-UNDO】一键包 AI模拟绘画过程 张吕敏大神发布