Offline RL分布偏移与anti-exploration

离线强化学习（Offline RL）因无需在线探索、可复用历史数据而备受关注，但其核心挑战在于分布偏移（Distribution Shift）：训练数据与策略执行时实际访问的状态-动作分布不一致，导致价值函数高估（Overestimation）及OOD（Out-of-Distribution）动作频发。典型表现是策略在真实环境中性能骤降。

为抑制OOD行为，“anti-exploration”类方法应运而生——反向利用探索奖励机制，将传统鼓励探索的内在激励转为惩罚项。代表性实现包括RND（Random Network Distillation）与CVAE（Conditional Variational Autoencoder）：RND通过固定随机网络生成目标特征，以重建误差衡量动作是否位于数据支撑集内；CVAE则建模状态到动作的条件分布，以重构动作与策略动作的差异作为分布外信号。二者均被嵌入TD3框架，在D4RL Walker2d-medium任务中验证了重建有效性，但端到端性能提升有限。

另辟路径的State Deviation Correction（SDC）则转向鲁棒性设计：不强行约束策略停留于数据覆盖区，而是当状态偏移发生时，主动引导策略回归高置信区域。该思路降低对数据完整性与初始状态覆盖度的依赖，更适配初始状态随机、动态转移存在长尾未见状态的真实部署场景。

评论区

kzhibo球迷

离线强化学习中分布偏移真是个棘手问题！

2026-02-25 22:15:05

kzhibo球迷

anti-exploration策略太巧妙了，稳住OOD动作不踩坑～

2026-02-25 18:15:06

kzhibo球迷

RND结合CVAE做状态表征，泛化能力拉满！

2026-02-26 05:08:11

kzhibo球迷

CVAE重构隐空间缓解分布偏移，思路太清新了！

2026-02-26 07:48:56

kzhibo球迷

离线RL终于有靠谱的anti-exploration解法了！

2026-02-26 04:12:25

kzhibo球迷

RND当不确定性探测器，CVAE做分布校准，绝配！

2026-02-25 23:31:49

kzhibo球迷

用生成模型对抗分布偏移，这波离线学习赢麻了！

2026-02-25 18:36:32

展开更多

　　上一篇：独立国家FBC3:1卡比亚塔

　　下一篇：中华武术流派与世界武术体系