强化学习：推荐场景落地

推荐场景与RL上四要素的对应关系如下：

基于DL的RS通过用户反馈来学习用户兴趣并更新模型，而基于DRL的RS则接收环境提供的奖励来更新模型；这两者有本质区别？？？好像没有。。。

DRL的任务是利用深度学习来逼近强化学习的值函数/动作策略，并解决高维马尔可夫决策过程（MDPs）。

• 环境：即用户本身。一般用用户的历史行为、bge等信息表示；
• 状态：由环境提供，一般用某些用户信息表示；
• 动作：推荐系统下发的item；
• 奖励：用户的即时反馈，用户的长期折扣累积反馈，或其它预设函数；
• 转移概率：环境在基于当前状态下执行该动作后，转移到下一个状态的概率；

model-based：学转移函数+值函数；

model-free：学值函数 或 动作策略；