V
主页
尘白禁区!本地大模型中文Graphrag
发布人
以下是本地部署LLM(eg千问)和Graphrag的避坑指南。因为本地部署比用openai的麻烦一些,所以需要使用者已经熟悉LLM生态和常用操作。 克隆Graphrag。【注意】因为a)和中文相关的问题是近期才集中爆出来的,Graphrag对中文的支持并不好。此外b)对于开源大模型的支持也不行。对于中文,可以看下Graphrag repo里面的issue #596,对于开源大模型可以看#609。考虑到Graphrag随时更新,pip库可能会有更新延迟,万能药是从github安装,pip install git+ graphrag仓库地址 ollama起LLM,LM Studio起embedding模型,或者hack下openai_embeddings_llm.py (eg路径 venv/lib/python3.11/site-packages/graphrag/llm/openai/openai_embeddings_llm.py 首先初始化python -m graphrag.index --init --root . 如果是ollama起LLM,LM Studio起embedding,修改yaml文件的llm和embedding部分 llm model改成your model llm api_base改成 http://localhost:11434/v1 即ollama的端口 llm request_timeout建议从180改大,我用的3600。避免后续接到timeout error (如果你在log中持续看到) embedding model改成你的model embedding api_base改成http://localhost:1234/v1 即LM Studio的端口 如果是hack openai_embeddings_llm.py,修改36-40行(参见介绍最后部分) 因为对中文支持不好,用默认的prompt template大概率也是有问题的。详情可以看https://microsoft.github.io/graphrag/posts/prompt_tuning/auto_prompt_tuning/ 这里建议prompt tuning command是 python -m graphrag.prompt_tune -- root . --language Chinese --output prompts_zh --no-entity-types。【注意】一定要加no entity types,此外避免加别的参数,我跑的时候测了其他的都会报错。这样出来的template是能用,但是更好的效果,需要手动修改。也有人把英文template扔给chatgpt翻译,去掉不必要的例子等等。但是手动修改,确保中文输出格式和英文中template格式是一致的。 然后在yaml文件里修改GRAPHRAG_ENTITY_EXTRACTION_PROMPT_FILE = "prompts/entity_extraction.txt";GRAPHRAG_COMMUNITY_REPORT_PROMPT_FILE = "prompts/community_report.txt";GRAPHRAG_SUMMARIZE_DESCRIPTIONS_PROMPT_FILE = "prompts/summarize_descriptions.txt";即刚才prompt tuning指定的路径 之后就可以正常的建立index和问询测试。 hack openai_embeddings_llm.py (不建议,万一后面它又改了) BEFORE: embedding = await self.client.embeddings.create( input=input, **args, ) return [d.embedding for d in embedding.data] AFTER: embedding_list = [] for inp in input: embedding = ollama.embeddings(model=你的model, prompt = inp) embedding_list.append(embedding["embedding"]) return embedding_list
打开封面
下载高清视频
观看高清视频
视频下载器
GraphRAG太烧钱?Qwen2-7b本地部署GraphRAG,无需Ollama,从环境搭建到报错解决全流程
GraphRAG替代方案
【RAG论文解读】GraphRAG
0成本graphrag模型-Triplex
GraphRAG的概念、工作原理和优势
基于 ollama 本地部署 graphRAG
GPT-4o,GPT-4o mini,DeepSeek提取GraphRAG知识图谱的比较
颠覆传统RAG!GraphRAG结合本地大模型:Gemma 2+Nomic Embed齐上阵,轻松掌握GraphRAG+Chainlit+Ollama技术栈
ollama启动向量模型服务本地部署GraphRAG,从报错到更改,带你定位源码,更改源码
LlamaIndex支持工作流啦 🎊 | 一个RAG工作流的例子
最近火爆的GraphRAG是什么? 真的那么有用吗?
Microsoft GraphRAG 三种模型快速上手部署, GPT模型太贵?如何使用本地模型或者Groq部署?
不知道GraphRAG怎么存储文档?知识图谱可视化,带你最直观的感受GraphRAG
GraphRAG高级用法:GraphRAG+scrapy爬虫构建GitHub项目智能知识库!AI赋能程序员:FastAPI+Chainlit打造代码助手
👋8️⃣👋 基于 SiliconCloud 使能 GraphRAG 🏠 Marscode
GraphRAG制作的《凡人修仙传》知识图谱长什么样?
大模型RAG企业项目实战:手把手带你搭建一套完整的RAG系统,原理讲解+代码解析,草履虫都能学明白!LLM大模型_RAG_大模型微调_多模态
GraphRAG-Ollama-UI + GraphRAG4OpenWebUI 融合版,WebUI + API,提供win整合包,值得一玩喵【开源项目】
GraphRAG自动微调适配中文和你的文档领域,更有可访问实体参考链接,方便确认信息真伪
零代码微调Llama3.1 8b大模型!中文文本分块+数据集制作!Axolotl+qLoRA十分钟光速微调打造法律大模型!#llama3 #finetuning
展示篇:2.实时流式Ai数字人(免费版效果)
从传统RAG到GraphRAG
我给GraphRAG加了一个WebServer,配合桌面应用,支持流式输出,秒速响应,集成neo4j可视化
GraphRAG:很好,但很贵!
核能挑战:8GB显存本地跑Llama 405B
尘白也有全剧情Graph Rag知识图谱:AI知道所有的事情
Qwen2+RAG 测试凯茜娅机器人的理解力
不懂黑神话背景不要紧,凯茜娅傻瓜上手AI助理
【关大洲x尘白禁区】燃灯庆佳节,盼愿成所得—《明灯引》
【尘白禁区】琴诺来喊你起床啦!
“文王拘而演《周易》” 辰星读《报任安书》
尘白AI读书1个月,聊聊未来畅想:智能语音机器人
速成音色克隆凯茜娅~年轻人的第一款二次元AI
[尘白禁区]一周年了,还有人记得最初的三体人嘛
《尘白禁区》「芬妮-辉耀」角色PV——洗澡权的“争夺战”
被zzzq恶心坏了的老外,玩到尘白禁区之后感动坏了。
尘白禁区的活动三大问题,已经失望透顶
【尘白禁区】喜报!!!金山旗下尘白禁区1周年X腾讯产品穿越火线130周年联动,献唱联动主题曲《你看到的我》(整活)!!
《尘白禁区》周年庆登陆界面主题曲「危步云端」
新恩雅百万英镑 | 体验包容一切1小时