admin管理员组

文章数量:1130349

fastchat 一年没发版了，但是代码里是支持 llama3 的，参考这里直接修改pip依赖源码：https://github/lm-sys/FastChat/blob/main/fastchat/conversation.py#L164
【搜LLAMA3关键字】只有几处；

其次修改 PAIR_config.yaml，在里面配置llama3模型：

local_llama3_8b_instruct:
  target_model:
    model_name_or_path: 【你自己的模型本地路径】
    use_fast_tokenizer: False
    dtype: bfloat16
    pad_token: <|end_of_text|>
    num_gpus: 1
    use_vllm: True
    fschat_template: llama-3

fastchat 一年没发版了，但是代码里是支持 llama3 的，参考这里直接修改pip依赖源码：https://github/lm-sys/FastChat/blob/main/fastchat/conversation.py#L164
【搜LLAMA3关键字】只有几处；

其次修改 PAIR_config.yaml，在里面配置llama3模型：

local_llama3_8b_instruct:
  target_model:
    model_name_or_path: 【你自己的模型本地路径】
    use_fast_tokenizer: False
    dtype: bfloat16
    pad_token: <|end_of_text|>
    num_gpus: 1
    use_vllm: True
    fschat_template: llama-3

本文标签： FastChatampPAIRharmbench

版权声明：本文标题：fastchat 支持llama3 &amp; harmbench PAIR攻击支持 llama3 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754606489a2707893.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。