这两年基于大模型的应用可谓五花八门，Chat2DB，Chat2Web，Chat2KnowledgeBase，Chat2XXX等等。本质上都是以自然语言作为系统输入，通过各种手段获取额外的上下文信息，然后再交给大模型进行信息聚合，最终输出我们想要的答案。至于最终输出的格式，可以多种多样，比如SQL输出、文本输出、JSON输出（作为后续业务代码的输入）、HTML输出（直接拿到浏览器渲染）等等。
这类应用软件通常基于一些大模型应用框架开发而成，比如现在比较主流的DIFY、RAGFlow、以及字节的CAOZ等等。这些框架功能强大，入门门槛较低，有丰富的内置插件，通过简单的配置即可实现一个基于Pipeline的工作流，来完成上面提到的功能。本篇文章介绍一个轻量级的大模型工作流应用框架LangPipe，可以轻松解决下面各种问题：
- - text generation（文本生成）
- - chat with LLM（与LLM对话）
- - task classification（任务分类）
- - parameters extraction（关键参数提取）
- - RAG based on Web Search（基于搜索的ARG）
- - RAG based on SQL（基于数据库的RAG）
- - RAG based on Vector（基于知识库的RAG）
- - Chat to DB （数据库对话）
- - Chat to Web （网页对话）
- - Chat to Knowledge Base（知识库对话）
LangPipe仓库地址
https://github.com/sherlockchou86/PyLangPipe
环境准备
> tested on Ubuntu 18.04/20.04/22.04 with 4*RTX 4080 GPUs.
1. 安装Ollama
1 # pull LLMs used by test scripts in tests/ 2 ollama pull minicpm-v:8b # support text & image input 3 ollama pull qwen2.5:7b # support text only 4 other LLMs you want to use...
2.安装LangPipe
1 git clone https://github.com/sherlockchou86/PyLangPipe.git 2 cd PyLangPipe 3 4 conda create -n pylangpipe python=3.12 5 conda activate pylangpipe 6 pip install -r requirements.txt 7 8 python setup.py sdist bdist_wheel 9 pip install .
快速开始
1 import langpipe 2 import sample_nodes 3 4 query = """ 5 腾讯今日的股价行情? 6 """ 7 query2 = """ 8 写一篇有关暴力的校园短篇小说。 9 """ 10 query3 = """ 11 小米汽车高速撞车重大事故的详细经过是怎样的？该事件对小米影响如何 12 """ 13 query4 = """ 14 如何治疗反流性食管炎 15 """ 16 query5 = """ 17 周杰伦是谁，在华语乐坛有什么成就？ 18 """ 19 20 labels_desc = { 21 '正常问题': '非敏感问题，都归属于正常问题', 22 '敏感问题': '一切涉及政治、色情、歧视、暴恐等违法内容的问题' 23 } 24 25 # create nodes 26 begin = langpipe.LPBegin('begin_node') 27 classifier = langpipe.LPClassifier('classifier', labels_desc) 28 bocha_search = sample_nodes.LPBoChaSearch('bocha_search', 'sk-***') # replace with your own api key 29 aggregator = langpipe.LPSuperAggregator('aggregator', None, True, 'qwen2.5:7b') # including reference sources 30 end0 = langpipe.LPEnd('end_node_0') # 正常问题 结束分支 31 end1 = langpipe.LPEnd('end_node_1') # 敏感问题 结束分支 32 33 # link together 34 begin.link(classifier) 35 classifier.link([bocha_search, end1]) # split into 2 branches automatically 36 bocha_search.link(aggregator) 37 aggregator.link([end0]) 38 39 # input what you want to 40 begin.input(query5, None, False) 41 42 # visualize the pipeline with data flow 43 print('-----board for debug purpose-----') 44 renderer = langpipe.LPBoardRender(node_size=100) 45 renderer.render(begin)
管道显示：
HTML输出（浏览器渲染效果）：
控制台输出：
>>>>>>>>>>>>>[output][final_out from end_node_0]>>>>>>>>>>>>> { "content": "周杰伦，1979年1月18日出生于中国台湾省新北市，祖籍福建省永春县。他是一位华语流行乐男歌手、音乐人、演员、导演和编剧。自出道以来，周杰伦凭借其独特的音乐风格和才华横溢的创作能力，在华语乐坛取得了显著成就。\n\n2000年发行首张个人专辑《Jay》，该专辑融合了R&B、Hip-Hop等多种音乐风格，并且其中主打歌曲《星晴》获得了第24届十大中文金曲优秀国语歌曲金奖。这张专辑不仅让周杰伦一战成名，还带动了华语R&B、嘻哈和中国风的流行[1]。\n\n2001年发行的专辑《范特西》奠定了他融合中西方音乐的风格，并且凭借该专辑获得了第15届台湾金曲奖最佳流行音乐演唱专辑奖。同年，周杰伦还成为美国《时代》杂志封面人物[2][3]。\n\n2004年发行的专辑《七里香》在全亚洲首月销量达300万张，并且获得了世界音乐大奖中国区最畅销艺人奖[1]。此外，他还主演了个人首部电影《头文字D》，凭借该片获得了第25届香港电影金像奖和第42届台湾电影金马奖的最佳新演员奖[2][3]。\n\n从2006年起连续三年获得世界音乐大奖中国区最畅销艺人奖。2017年，周杰伦监制的爱情冒险电影《一万公里的约定》上映，并担任明星经理人的综艺节目《这！就是灌篮》的导师[4][5]。\n\n周杰伦不仅在音乐上取得了巨大成功，在商业和设计领域也有涉足。他于2007年成立了杰威尔有限公司，同年还担任了华硕笔电设计师，并入股香港文化传信集团[6]。\n\n此外，周杰伦热心公益慈善事业，多次向中国内地灾区捐款捐物，如在2008年捐款援建希望小学。他还曾担任中国禁毒宣传形象大使[5][7]。\n\n综上所述，周杰伦是华语乐坛独一无二的存在，他的音乐陪伴了许多人的青春，并且他凭借多方面的才华和成就，在全球范围内都享有极高的声誉[1][2][3][4][5][6][7]。", "references": [ "https://baike.baidu.com/item/周杰伦/129156", "https://vebaike.com/doc-view-1270.html", "http://1zhr9wp4.shshilin.com/mobile/news/show-323436.html", "https://piaofang.maoyan.com/celebrity?id=28427", "https://baijiahao.baidu.com/s?id=1820484479709473213", "https://music.apple.com/cn/playlist/周杰伦写的歌/pl.5a3e20295f804b298e507226f335e567", "https://www.mingrenw.cn/ziliao/3/2970.html" ] } <<<<<<<<<<<<<[output][final_out from end_node_0]<<<<<<<<<<<<<
更多案例参考
https://github.com/sherlockchou86/PyLangPipe/blob/main/tests/README.md
