admin管理员组

文章数量:1130349

0. NLP 的四种范式

最近几年，有人将近代 NLP 技术的发展总结为四种范式，他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练，精调范式 (Pre-train, Fine-tune)
P4. 预训练，提示，预测范式 (Pre-train, Prompt, Predict)

在不同范式变迁过程中，我们可以发现一些规律，比如：

规律1: 每个范式都会涉及繁琐的，需要人来参与(提供先验)的工程(engineering)
  • P1 特征工程(Feature Engineering)：进行“无聊”的特征模版定义环节
  • P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力，但是也需要人工去设计合适网络结构。
  • P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上，以便让其更适配下游任务。
  • P4 Prompt挖掘工程：这个过程往往不对预训练语言模型做太多改动，而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义
规律2: 新范式带来的收益可以让我们暂时“忽略”额外需要的人力代价

虽然这可能是一句“废话”，但是我们需要注意的是，“收益”并不仅仅局限为某个任务性能的提升，还可以是“帮我们做一些过去框架不能做的事情”，或者是新的研究场景。

0. NLP 的四种范式

最近几年，有人将近代 NLP 技术的发展总结为四种范式，他们分别是:
P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network)
P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network)
P3. 预训练，精调范式 (Pre-train, Fine-tune)
P4. 预训练，提示，预测范式 (Pre-train, Prompt, Predict)

在不同范式变迁过程中，我们可以发现一些规律，比如：

规律1: 每个范式都会涉及繁琐的，需要人来参与(提供先验)的工程(engineering)
  • P1 特征工程(Feature Engineering)：进行“无聊”的特征模版定义环节
  • P2 结构工程(Architecture Engineering): 神经网络虽然解放手动配置特征模版所需要的人力，但是也需要人工去设计合适网络结构。
  • P3 目标函数挖掘 (Objective Engineering): 这个过程需要引入额外的目标函数到预训练语言模型上，以便让其更适配下游任务。
  • P4 Prompt挖掘工程：这个过程往往不对预训练语言模型做太多改动，而是希望通过对合适 prompt 的利用将下游任务建模的方式重新定义
规律2: 新范式带来的收益可以让我们暂时“忽略”额外需要的人力代价

虽然这可能是一句“废话”，但是我们需要注意的是，“收益”并不仅仅局限为某个任务性能的提升，还可以是“帮我们做一些过去框架不能做的事情”，或者是新的研究场景。

本文标签： 新宠nlpPrompt

版权声明：本文标题：NLP 新宠 prompt 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1763931580a2972553.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。