Scaling Law from Scratch用户9178
逻辑Puzzle上Deepseek R1 Zero成功复现, 三阶段RL，Response长度涨幅超50%，涌现语言混杂，double-check, Verify, Let's Summarize！
输入“/”快速插入内容
逻辑Puzzle上Deepseek R1 Zero成功复现, 三阶段RL，Response长度涨幅超50%，涌现语言混杂，double-check, Verify, Let's Summarize！
逻辑Puzzle上Deepseek R1 Zero成功复现, 三阶段RL，Response长度涨幅超50%，涌现语言混杂，double-check, Verify, Let's Summarize！
用户9178
用户49242025年2月9日修改
我们完整细节的技术报告即将发布！Stay Tuned!
我们将开源完整的wandb曲线和训练日志，在大四的最后一个寒假，捣鼓出了点有意思的东西，非常开心，欢迎各位合作，指导！
1.
先展示一下结果：
原始基座模型在测试集上只会基础的step by step逻辑。
无 Long CoT冷启动蒸馏，三阶段Rule Based RL后，模型学会了
•
迟疑 (标记当前不确定的step等后续验证)，
•
多路径探索 (Les't test both possibilities),
•
回溯之前的分析 (Analyze .. statement again)，
•
阶段性总结 （Let's summarize, Now we have determined），
•
Answer前习惯于最后一次验证答案(Let's verify all statements),
•
Think时偶尔切换多语言作答 （训练数据纯英文的情况下，思考部分是中文，最后answer又切回英文）
Update:测评结果(感谢高梓添的api)
测试集难度N | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
Openai-o1-1217 | 0.83 | 0.51 | 0.38 | 0.38 | 0.35 | 0.30 | 0.20 |
GPT-4o | 0.68 | 0.57 | 0.49 | 0.32 | 0.23 | 0.21 | 0.11 |
Deepseek-Math-7B | 0.35 | 0.21 | 0.08 | 0.06 | 0.02 | 0.00 | 0.00 |
Ours(7B) | 0.68 | 0.59 | 0.44 | 0.34 | 0.22 | 0.16 | 0.15 |
1.1
非常漂亮的回复
demo1:迟疑，回溯，总结，verify。训练后期模型总是倾向于在最后输出answer前，优先全部verify一遍。这些能力是RL训练涌现的，未加任何引导
1.2
偶尔的多语言现象