admin管理员组文章数量:1130349
PaddleNLP 支持主流LLM 对话模型，同时支持自动构建多轮对话，可通过以下脚本。
使用对话模板
from paddlenlp.transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-v1.1")
# 单论对话
query = "北京有什么好玩的"
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")
# 多轮对话
query = [["1+1=", "1+1=2"], ["再加一"]]
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")
自定义对话模板
在介绍如何自定义对话模板之前，介绍对话模板构造的逻辑：final_query = system + conversation_history + query。
-
system: 在最终 prompt 最前面的固定文本，比如：你是一个人工智能助手，风趣幽默，通常喜欢用比较文艺的语言风格跟人们沟通。
-
conversation_history: 将多轮对话构造成一个 query，不同模型通常会有不同的构造规则。
-
query: 用户最新的输入。
构建自定义对话模板非常简单，只需要创建一个 chat_template.json 文件即可，如下所示：
-
创建 chat_template 文件
文件名默认为：
chat_template.json
PaddleNLP 支持主流LLM 对话模型，同时支持自动构建多轮对话，可通过以下脚本。
使用对话模板
from paddlenlp.transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-v1.1")
# 单论对话
query = "北京有什么好玩的"
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")
# 多轮对话
query = [["1+1=", "1+1=2"], ["再加一"]]
inputs = tokenizer.apply_chat_template(query, return_tensors="pd")
自定义对话模板
在介绍如何自定义对话模板之前，介绍对话模板构造的逻辑：final_query = system + conversation_history + query。
-
system: 在最终 prompt 最前面的固定文本，比如：你是一个人工智能助手，风趣幽默，通常喜欢用比较文艺的语言风格跟人们沟通。
-
conversation_history: 将多轮对话构造成一个 query，不同模型通常会有不同的构造规则。
-
query: 用户最新的输入。
构建自定义对话模板非常简单，只需要创建一个 chat_template.json 文件即可，如下所示：
-
创建 chat_template 文件
文件名默认为：
chat_template.json
本文标签： 模板
版权声明：本文标题：对话生成模板 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754605982a2707810.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论