下载客户端

过去三个月，LLaMA系模型发展如何？指令微调的核心问题又是什么？

2023-06-30 14:35

来源：澎湃新闻·澎湃号·湃客

机器之心发布

作者：符尧

符尧（yao.fu@ed.ac.uk），爱丁堡大学 (University of Edinburgh) 博士生，本科毕业于北京大学。

ChatGPT 大火之后，在 2023 年 2 月 24 日，LLaMA 的出现让 instruction tuning 这个方向变得火热；3 月 18 日，Alpaca 让大家看到从成熟的模型 distill 小模型成为还不错的 ChatBot 的可能性，从而引发羊驼系模型寒武纪大爆发。但仅仅过去三个月，大家开始发现意识到用 ChatGPT 的数据训练 LLaMA 的各种问题。本文回顾在过去三个月内的 LLaMA 系模型的发展，讨论 Instruction Tuning 的下一步挑战。

Disclaimer: 这篇文章算是一个 quick research memo，是从我近期的一个分享大纲里 edit 出来的，做了一些删减和补充；现阶段开源社区对于 LLM 训练清楚 / 不清楚的地方同时存在，我尽量做到引用 / 讨论的内容都是有切实证据，而不是基于流言。很多的内容是我跟对应论文的原作者直接讨论过的。但即便这样，我的 take 也可能有误，很多也讨论不出来，所以请大家直接在评论区 comment，积极参与讨论，真理越辩越明。

1 - 起源

最开始三篇

InstructGPT: Training language models to follow instructions with human feedback

FLANv1: Finetuned Language Models Are Zero-Shot Learners

T0: Multitask Prompted Training Enables Zero-Shot Task Generalization

对比

InstructGPT 的目标是对齐，zero-shot /cross lingual 是副产物

这篇文章用的 7B 的 Reward model 来对应 175B 的 Policy model，然后被 DeepSpeed Chat 以及之后一系列 RL 的开源工作 follow，这种做法应该是错的。

正确的做法应该是用 Reward model scale up 换取 policy model 减小，见 [Scaling Laws for Reward Model Overoptimization](https://arxiv.org/abs/2210.10760) — 也就是说把两个模型大小换过来，用 175B 的 reward 去 PPO 7B 的 policy

模型上线现阶段 10-50B 是一个比较跑得起的量级，再大太贵了

FLANv1 和 T0 的目标是 zero-shot，所以不对齐

然后是 Self-instruct

Self-Instruct: Aligning Language Models with Self-Generated Instructions

注意 self-instruct 的重点

Base model 可以是任意，不需要是经过了 alignment 之后的模型 (ChatGPT)

复现了从初代 davinci 到 text-davinci-001 的过程 — 非常 insightful!!

然后是 FLANv2 — 很重要，我可能读了十遍以上，建议背诵全文

Scaling Instruction-Finetuned Language Models

效果除了不加 human preference 之外其他都加，等下专门讨论

Human preference 确实是喜欢能说的，但是能说的模型不一定能干活。Flan 能干活，但是不能说，跟程序员一样

2 - LLaMA 出现之后

Alpaca：起始文章，但是模型本身强度并不多高

Vicuna

在开源中只做对话强度不错，格式符合人类喜好，生成内容多，unique token 多

Automatic eval 中，可能 in-context learning /reasoning/knowledge suboptimal (体现在 MMLU，BBH 分数)，不是说它不行，而是说它可以更好

GPT-4 eval 到底行不行还不好说，LMSys 团队自己说行，前提是 prompt engineering 做得足够到位：Judging LLM-as-a-judge with MT-Bench and Chatbot Arena

另外 LMSys 的团队在 efficiency 方面非常强，模型的 serve 看 [vllm](https://github.com/vllm-project/vllm) 这个 project，或许是开源最快的

然后一系列以 GPT-4 做 judge 然后号称自己达到了 GPT3.5 x% 水准的模型，全部不推荐，因为 Eval 不可靠

但是存在几篇工作在 alignment 的时候没有依赖 ChatGPT，这些工作推荐，它们包括

LIMA: Less Is More for Alignment — 关注他们选数据的方法，推荐花一个小时的时间把他们的 [数据](https://huggingface.co/datasets/GAIR/lima) 有感情地朗读一遍，这样就知道什么样的 SFT 的数据是好数据了

Dromedary: Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision — 关注他们 prompt engineering 的方法，这个基本上是一个 LLaMA 版的 Constitutional AI - SFT

然后是一些 paper （终于）开始分析 instruction tuning 的 data mixture

Tulu: How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources

结果非常 mix，没办法下结论哪种 mixture 好

但是知道哪种不好：NLP benchmark

3 - Eval 怎么做

首先，不要在一堆 benchmark 上算分数看平均，特别是不要在 GPT-3 的测试任务上看平均，因为平均下来大家都一样；推荐只看核心的有区分度的 benchmark

没有区分度的例子：

LM-Eval-Harness（https://github.com/EleutherAI/lm-evaluation-harness），benchmark 太多，平均下来掩盖优质 benchmark

这里面其实涵盖了 MMLU 和 MATH，但是被其他数据集平均了

Summarization + Rouge / Translation + BLEU:

Rouge 和 BLEU 模型强弱只有四五分的差别，数字太小 v.s. accuracy 下模型强弱是 90 分和 10 分的差别，数字足够大

Rouge 和 BLEU 和人类偏好不 align — 注意 BLEU 也不完全 align

那么 Pretrain 建议看哪些呢？

区分度，模型强弱需要能一眼看出

分方向，现阶段可以暂时分成

英文知识 — MMLU

中文知识 — C-Eval

推理 — GSM8k / BBH

代码 — HumanEval / MBPP

解决上面四项平衡之后，可以接着做

MATH：高难度 reasoning

Dialog：这个可能只有 human eval 才行，automatic eval 搞不定

接下来讲 Automatic Eval

Automatic Eval - 适合 pretrained checkpoint - 基本上可以看 https://github.com/FranxYao/chain-of-thought-hub 的做法

Knowledge: MMLU

这个数据集很稳定，基本上没有 sensitivity issue

Reasoning:

GSM8k: 也比较稳定，但要注意答案提取函数的提出率，低于九十的话得多加 regular expression

BBH - Algorithmic:

不是很稳定，需要注意答案提出率

BBH - Language:

不是很稳定，需要注意答案提出率 — Chain-of-thought Hub 马上会出一个答案提出率对于结果的 sensitivity 的分析，结论是 BBH 比较 sensitive

现在除了增大模型之外，还不清楚哪些操作可以增加 BBH 数据集上的分数

Coding:

Human Eval / MBPP: 似乎比较稳定但需要注意做 unbiased estimation

先看上面的几个数据集，分数能够 match llama 之后，就看 MATH

MATH：

超级难，GPT-4 的分数

naive prompting: 42

→ complexity based prompting: 50 https://openreview.net/forum?id=yf1icZHC-l9

→ progressive hint prompting: 53 https://arxiv.org/abs/2304.09797

→ majority voting over 18k: 69.6

→ best of n with outcome based reward modeling: 72.4

→ best of n with [process-based reward modeling](https://arxiv.org/abs/2305.20050): 78.2

→ PPO + process-based reward modeling = ? 推测会上 90

泛化？— 应该是比较强的，泛化一般而言跟基础模型大小正相关，跟 SFT 数据总量负相关，跟 SFT 数据丰富度正相关

如果不是 GPT-4

Minerva / PaLM-2: 34.3

Galactica: 33.6 — 这篇文章操作很好，因为 Hallucination 被喷下架导致重要性被严重低估

88B paper + 7B code + 7B encyclopedias, textbooks and educational material + 2B KB + 1B CC + 0.4B prompt /instruction * 4 epochs

LLaMA 65B: 10.6

其他：低于 10 分

对于一个已经 finetune 成了 chatbot 的模型

首先把上述 benchmark 用 few-shot 的方式过一遍，确保不要掉点

如果只是 dialog finetuning 的话可能会伤已有的能力 (MMLU / BBH)

如果掉点，则考虑 LM mixing / FLANv2 mixing

注意 Chatbot 的 few-shot prompting 要用 dialog 的版本因为 single round 里塞很多 in-context example 模型可能不 instruction-following 不够强，见 CoT Hub 的 standard prompt library（https://github.com/FranxYao/chain-of-thought-hub/blob/main/spl/gsm8k/chat/few_shot_cot.chatml）

然后就是去 eval 用户偏好了，这个时候只能人做

如果有很大的，已经训练好了的 reward model，可以用它 eval 上线的小型 / 中等模型，这个其实跟人做 eval 区别不大

对于一个很大的 Policy Model

Online iterative RLHF 前期怎样都需要需要 expert eval

后期需要 expert eval [with AI assistance](https://arxiv.org/abs/2206.05802)

那么能不能用稍微弱一点的模型做 eval 呢？— 可以用，但是注意 query 的难度和分布，注意 prompt engineering

如果不经过 prompt engineering ，肯定不行，因为各种 bias

如果 query 难度不够，diversity 不够，也不一定行

如果 query 难度足够 + 经过了疯狂 prompt engineering，则对于 information seeking 类型的 eval ，或许可以，see https://arxiv.org/abs/2306.05685

但是对于 reasoning 相关，non-information seeking 相关（比如 TLDR），又不一定行

对于 information seeking 相关的 query 会 biased 到长的回复

回复越长，GPT-4 越喜欢，分越高

4 - FLANv2 的效果，Long-Context

FLANv2 是一个很神奇的数据集，它除了不加 user preference 之外什么都加

注意 CoT prompting

只在 62B 之后才会比 Direct 更好

不加 knowledge (MMLU) 只加 reasoning (BBH)

FLANv2 增加的效果有

knowledge (MMLU)

reasoning (BBH)

Multilingual (TyDiQA / MGSM)

注意 FLAN 的作者们验证过，没有数据泄露

注意以上内容对 in-context learning 和 zero-shot 均成立

但是 FLAN 的回复短，所以不加 user preference — Flan 的性格就像直男，能干活儿，话太少

注意区分数据泄漏和分布内泛化

如果一个数据集的测试集被用来训练模型，叫做数据泄漏，此时模型的分数会特别高，不可信

如果一个数据集的训练集被用来训练模型，叫做分布内泛化，此时模型的分数是可信的

有些数据集分布内泛化的难度不高，比如 MMLU / C-Eval，基本上做 data scaling 就可以加分

有些数据集，如果模型不强，即使看过了训练集，模型在测试集上也做不好，比如 GSM8K — 这种类型的数据集是优质 eval 数据集

代码的难度可能介于 MMLU 和 GSM8k 之间，分布内泛化不像 GSM8K 那么难，但也不简单

然后根据最近Zero-Scrolls 上的数据(https://www.zero.scrolls-benchmark.com/leaderboard)，FLAN 还可以加 Long-context Reasoning ，不知道为什么

注意这里 FlanT5 和 T0pp 只有 instruction 的数据集有区别，但是 FlanT5 仅靠 T5 的 relative positional encoding 来 naively scale 到 8k 的 context length 会显著高于 T0

Long Context 或许 data engineering 跟 neural architecture engineering 同样重要

5 - 代码

两篇文章的 data engineering 非常出色

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

通过不断 prompt AlpacaCoder 构造 instruction tuning 数据集，基于wizardlm的方法，使用了 chatgpt 来生成复杂指令和对应的回答

HumanEval，DS-1000 仅次于 GPT-4，超过 Claude / Bard

base model 用的是 StarCoder，这意味着 The Stack V3 的质量再次得到验证，同时注意 pretrain code data 可以过多个 epoch 但网页只过一个 epoch

Phi-1: Textbooks Are All You Need

Pretrain 数据集来源于 filtered code + prompt ChatGPT

Instruction tuning 的数据集来自于 prompt ChatGPT

base model 只有 1B

怎么评价

一定要好好研究他们是如何 prompt base model 的 — 要对 base model 有信心，只要 MMLU / BBH / HumanEval 分高，它的潜力就超过你的想象

prompt 出来的数据集相当于给 HumanEval / MBPP 这种比较短的算法题搞了一个超大训练集

但是不可以认为它对着测试集优化，因为它泛化的空间应该大于 HumanEval / MBPP — 这个泛化空间跟 model scale 显著正相关

在此基础上，比较难的点是

Repo-level code understanding /completion — HumanEval / MBPP 还是有点短

Ability balance — 如果照着 Phi-1 的做法，除了代码之外的其他能力都会被冲掉

另外关于代码和文本的 data mixture: https://arxiv.org/abs/2305.16264

Continue training 时使用 50% 的代码作为 data mixture 不会伤模型 language 的能力，反而会提升 coding 和 reasoning

6 - Putting them together: 能力平衡

目标：

构造一个 instruction tuning data mixture，使得 dialog /coding 增加

同时 MMLU (English knowledge) / C-Eval (Chinese knowledge) / BBH and GSM8K (reasoning) 不掉点

In-context learning 不掉点

思路

可以用 FLAN 打底 — 它非常大几乎相当于 continue training

考虑做一个中文版的 FLAN — 最近智源发的COIG-PC(https://huggingface.co/datasets/BAAI/COIG-PC) 似乎有点像

code 的部分参照 WizardCoder 和 Phi-1 的做法

以上数据做好之后，搜 instruction tuning 的 data mixture and data curriculum 的超参数

用上面提到的方法做 Eval

7 - 总结

现阶段 instruction tuning 核心问题是能力平衡

基础能力的 Eval 可以参照 Chain-of-thought Hub，但 dialog 还是得人来，且人也不一定 eval 得足够好

FLAN 非常神奇，可以考虑做一个中文版

抓紧把 instruction tuning 收尾，快点进到 reward modeling 阶段

注意要先把 reward modeling 本身做好，确保 reward model 有判断力，再去做 PPO

不要 reward model 还没搞清楚就上 PPO ，步子迈太大容易扯到