admin管理员组文章数量:1130349
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
1.引言
随着今年上半年 ChatGPT 的迅速出圈，引爆了 AI 行业变革，大模型成为新的风口。近期伴随着各大厂商和科研机构更多大模型的开源（其中中文大模型的也越来越多），已然有井喷之势，基于大模型的应用场景被更多的从业者关注。更多参数较小且部署和微调成本较小的大模型，让更多的开发者看到了无数的可能性并可以付诸于行动。在大模型带来的需求井喷之下，如何在不同行业落地行业专属大模型及相关解决方案，以下就介绍一下针对大模型行业落地和试点做的一些工程化实践工作。
针对大语言模型（Large Language Model，LLM）的落地实践，团队在之前的系列ATA内容中，分别从系统工程实现侧和模型调优侧，对行业专属大模型的全流程落地技术方案，以及大模型的Prompt调优和RLHF优化，进行了较为系统地总结和实践。
2.技术方案
2.1、系统流程
在大模型纷繁复杂的众多应用场景中，选取来自日常项目服务的政企客户最普遍的一个需求，即知识问答。基于传统信息检索技术（IR，Information retrieval）的知识问答，往往缺乏语义信息，理解能力较差；基于传统 NLP 的知识问答，常常由于 NLG（自然语言生成）效果不佳，很难模拟出较好的人机交互效果；而基于知识图谱类的知识问答，日常维护成本也相对较高。大语言模型的一个基础能力就是基于给出的上下文信息进行结果总结或生成，在输入时给模型提供问题的相关知识信息和限制要求，能够让模型更加针对性的回答问题。利用这
LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案
1.引言
随着今年上半年 ChatGPT 的迅速出圈，引爆了 AI 行业变革，大模型成为新的风口。近期伴随着各大厂商和科研机构更多大模型的开源（其中中文大模型的也越来越多），已然有井喷之势，基于大模型的应用场景被更多的从业者关注。更多参数较小且部署和微调成本较小的大模型，让更多的开发者看到了无数的可能性并可以付诸于行动。在大模型带来的需求井喷之下，如何在不同行业落地行业专属大模型及相关解决方案，以下就介绍一下针对大模型行业落地和试点做的一些工程化实践工作。
针对大语言模型（Large Language Model，LLM）的落地实践，团队在之前的系列ATA内容中，分别从系统工程实现侧和模型调优侧，对行业专属大模型的全流程落地技术方案，以及大模型的Prompt调优和RLHF优化，进行了较为系统地总结和实践。
2.技术方案
2.1、系统流程
在大模型纷繁复杂的众多应用场景中，选取来自日常项目服务的政企客户最普遍的一个需求，即知识问答。基于传统信息检索技术（IR，Information retrieval）的知识问答，往往缺乏语义信息，理解能力较差；基于传统 NLP 的知识问答，常常由于 NLG（自然语言生成）效果不佳，很难模拟出较好的人机交互效果；而基于知识图谱类的知识问答，日常维护成本也相对较高。大语言模型的一个基础能力就是基于给出的上下文信息进行结果总结或生成，在输入时给模型提供问题的相关知识信息和限制要求，能够让模型更加针对性的回答问题。利用这
版权声明：本文标题：LLM系列(1)：构建面向知识库的行业专属大模型系统——全流程落地技术方案 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754771639a2726267.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论