admin管理员组

文章数量:1130349

Ref

  • Neural Responding Machine for Short-Text Conversation,Lifeng Shang, Zhengdong Lu, Hang Li,2015

Introduction

  • 李航老师团队的成果
  • 基于seq2seq + attention 建模
  • 贡献了包含440w条多轮对话的语料，数据来自微博

problem

沿用 seq2seq+attention 模型对 post-response pair 建模。由于post-response pair 并是不严格的平行语料，同一个word 在不同的context 中可能具有不同的meanings, 考虑将 context information 加入到经典的seq2seq+attention 模型中作为补充。

model

  • 一轮对话
  • end2end framework，RNN with GRU
  • global scheme: 将 RNN 中的last hidden state hgT 作为整个句子的全局信息
  • local scheme:采用经典的seq2seq+attention, 将 注解 hj 称为局部信息
  • 将 hgT 与 hj 拼接，作为具有上下文信息的 attention signal
  • global encode 和 local encode 分开训练
  • 最大似然估计
  • decode 采用beam search, beam size = 10
  • 评估：设计评分规则，人工评测

模型架构图如下

comment

发布了一个对话系统数据集；模型在attention的基础上加入context information 思路可取，但是方法的创新性不足。

Ref

  • Neural Responding Machine for Short-Text Conversation,Lifeng Shang, Zhengdong Lu, Hang Li,2015

Introduction

  • 李航老师团队的成果
  • 基于seq2seq + attention 建模
  • 贡献了包含440w条多轮对话的语料，数据来自微博

problem

沿用 seq2seq+attention 模型对 post-response pair 建模。由于post-response pair 并是不严格的平行语料，同一个word 在不同的context 中可能具有不同的meanings, 考虑将 context information 加入到经典的seq2seq+attention 模型中作为补充。

model

  • 一轮对话
  • end2end framework，RNN with GRU
  • global scheme: 将 RNN 中的last hidden state hgT 作为整个句子的全局信息
  • local scheme:采用经典的seq2seq+attention, 将 注解 hj 称为局部信息
  • 将 hgT 与 hj 拼接，作为具有上下文信息的 attention signal
  • global encode 和 local encode 分开训练
  • 最大似然估计
  • decode 采用beam search, beam size = 10
  • 评估：设计评分规则，人工评测

模型架构图如下

comment

发布了一个对话系统数据集；模型在attention的基础上加入context information 思路可取，但是方法的创新性不足。

本文标签： 笔记neuralSYSTEMdialogtext

版权声明：本文标题：[dialog system] 阅读笔记 - 2015__Neural Responding Machine for Short-Text Conversation 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754604734a2707606.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。