admin管理员组文章数量:1130349
这篇文章提出了DEITA的数据集筛选方法
进化复杂度
目前评估复杂度的几种方法：
- 随机选择
- 长度
- 困惑度
- 大模型评分
- 指令结点数
- 评分模型（Instag）
- IFD
本文的做法：
让GPT给一个指令增加复杂度，生成6段对应的文本。然后用GPT给这六段文本打分和排序。不同于一次一次打分，一次给6段原意相同的文本再打分，作者说效果更好。作者说如果是一个一个单独评，大模型倾向都给高分。
进化质量
方法完全相同，直接看结果
多样性方法：
直接使用embedding，然后计算余弦距离d，当d<threshold才加入？感觉这里是写错了，应该是余弦相似度？选距离近的点怎么会增加多样性。
完整方法
先从质量和复杂度两个角度，将一个指令扩展成6个指令，然后让GPT对这6个指令一起打分。得到打分的结果后，训练两个Llama对数据进行评价。
得到质量和复杂度两个评价后，简单的将两者相乘，作为指标的结果。然后按照这个得分排序，一
这篇文章提出了DEITA的数据集筛选方法
进化复杂度
目前评估复杂度的几种方法：
- 随机选择
- 长度
- 困惑度
- 大模型评分
- 指令结点数
- 评分模型（Instag）
- IFD
本文的做法：
让GPT给一个指令增加复杂度，生成6段对应的文本。然后用GPT给这六段文本打分和排序。不同于一次一次打分，一次给6段原意相同的文本再打分，作者说效果更好。作者说如果是一个一个单独评，大模型倾向都给高分。
进化质量
方法完全相同，直接看结果
多样性方法：
直接使用embedding，然后计算余弦距离d，当d<threshold才加入？感觉这里是写错了，应该是余弦相似度？选距离近的点怎么会增加多样性。
完整方法
先从质量和复杂度两个角度，将一个指令扩展成6个指令，然后让GPT对这6个指令一起打分。得到打分的结果后，训练两个Llama对数据进行评价。
得到质量和复杂度两个评价后，简单的将两者相乘，作为指标的结果。然后按照这个得分排序，一
本文标签： ALIGNMENTComprehensiveGoodDATASelection
版权声明：本文标题：WHAT MAKES GOOD DATA FOR ALIGNMENT? A COMPREHENSIVE STUDY OF AUTOMATIC DATA SELECTION IN INSTRUCTION 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1758721842a2783324.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论