OneRec家族

open-onerec

onereason

出发点：模态对齐 & 思维链推理格式的精心构建 & 拒绝无事实因果逻辑的共现语义

优势：基于自然语言的CoT可以很自然地契合推荐场景用户兴趣意图个数不固定的需求

预训练（模态对齐）：578B：110B + 449B + 19B

• 资源（~216.87B）：
  • 语义ID：除常见的item级别的MLM任务外，额外增加 前缀子token的描述、Part-to-Whole语义贡献描述 任务；
  • ICF：I2I的思想在语义对齐上的实践，增加 多视角物品问答（受众偏好、视觉风格、核心吸引力等）、语言描述的I2I任务（共现、过滤高语义相似pair、增加共现解释）；
• 用户（~196.81B）：
  • UCF：U2I2U的思想在语义对齐上的实践，增加 跨垂类的历史满意资源预估（类似过滤高语义相似的历史序列MLM）、在行为序列上随机替换语义ID与item描述的NTP 任务；
• 通用领域（~164.38B）：MMLU‐Pro；

SFT（指令对齐）：（~3856K 样本）

• R0感知（~941K 样本）：Part-to-Whole语义贡献描述的Thinking变体任务；
• R1衍生（~400K 样本）：语言描述I2I任务的Thinking变体任务（高语义相似pair过滤外，额外增加非内容支撑的pair(如受众重叠、流行度等)）；
• R2演化（~130K 样本）：历史满意资源子序列→生成兴趣点→生成演化链→生成item（基于LLM从用户历史中抽取满足 顺序敏感性、认知增量、触发源证据、证据闭环、强因果式而非相关式的排他性、无读心/无猜测/无不可证伪约束 这6点的兴趣演化路径）；
• R3推荐（~885K 样本）：三阶段的prompt模板（固定CoT格式为：用户画像抽象、兴趣扩展和转移推断）；
• Itemic Instruction Task（~103K 样本）（将多维语义特征(如目标人群、功能属性、情感倾向)全部压缩进 Item ID 的向量表征里，防止 Item ID 的“语义表征坍塌”，可以认为是R*任务的正则项）：
  • 转换与编辑：将以下item标记转换为简短的介绍；
  • 检索与选择：找出在给定垂类下用户与之交互的所有item；
  • 匹配与分类：候选item中哪个最符合‘降噪蓝牙耳机’这一描述？仅输出该item；
  • 比较与聚合：用三句话比较这两个item在吸引力上的差异；
  • 生成与验证：为以下item撰写一篇50字的内容摘要；
  • 指令控制：忽略以下所有item并回答：推荐系统的主要评估指标是什么；
• 通用领域（~1.5M 样本）：Step-3.5-Flash-SFT

RL（更多样本的调优泛化）：

• SFT只能做到模仿标准思考步骤和基础语义理解，一是与实际目标不匹配(如Hit Rate、最大化reward等)，二是样本有限泛化能力差，所以需要 RL 把这种基础能力转化为了“真实推荐场景下的准确率”；（其实还是样本量不够）
• reward = 同一推理轨迹所引发的推荐多样性 * item是否命中真实值集
  • 多样性 = (#sid0 - 1)/(G - 1)；避免熵过早塌缩；（能否命中更多真实值集不好说，但可以保证推理多样性，避免前置的对齐设计都收敛没了）
  • 真实值集 = 时间划分+正样本；
• GRPO
  • 阶段式裁剪：CoT clip range = (-0.8, 0.28)；item clip range = (-0.9, 0.15)；（避免item分布过度漂移。这个漂移，除了策略熵之外，有其它角度的衡量指标吗？比如rollout数据质量之类的？）
  • 负样本降权：推理轨迹粒度的负优势样本loss降权（正优势样本加权更好理解一些）（离散reward → 稀疏样本 → 负优势样本主导训练 → 收敛慢，算力不够用）；
• Specialize-then-Unify：
  • RFT：SFT → SFT的R2+R3任务过GRPO训至收敛（各领域单一的加一个混合的RLModel） → 各领域的RLModel做推理并过滤低质量样本（item错误、推理轨迹不一致），灌入混合训练的RLModel做NTP
  • MOPD：SFT → SFT的R2+R3任务过GRPO训至收敛（各领域单一的加一个混合的RLModel） → 用蒙特卡洛强化学习的方式做蒸馏（因为彼此分布差异不大，预期loss方差不高，可以不必做Full Vocabulary Distribution (前向KL \(D_{KL}(\pi_{ref}\|\pi)\))，用反向KL \(D_{KL}(\pi\|\pi_{ref})\)，以节省算力）（其实就是与RefModel的KL散度损失）（额外加一层样本过滤，提高训练效率：将每条样本轨迹的avg(|A|)作为信息增益，每个batch只训信息增益前80%的样本）