Xiaohongshu（小红书）

Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents

Evolving-RL: 端到端优化经验驱动的自我进化能力

Zhiyuan Fan, Wenwei Jin, Feng Zhang, Bin Li, Yihong Dong, Yao Hu, Jiawei Li

机构 * Xiaohongshu Inc.（小红书公司） ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

AI总结 本文提出Evolving-RL框架，通过联合优化经验提取与利用能力，提升大模型在新型任务中的适应能力，实验显示在ALFWorld和Mind2Web任务中取得显著性能提升。

Comments 17pages, 5 figures

HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents

HyperEyes: 双粒度效率感知强化学习用于并行多模态搜索代理

Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

机构 * Xiaohongshu Inc.（小红书公司） ； University of Cambridge（剑桥大学） 纠错

AI总结 HyperEyes通过双粒度效率感知强化学习，实现并行多模态搜索代理，提升搜索效率与准确性，其在六个基准测试中超越现有开源代理。

Comments Code & Data: https://github.com/DeepExperience/HyperEyes

SLQ: Bridging Modalities via Shared Latent Queries for Retrieval with Frozen MLLMs

SLQ：通过共享潜在查询桥接模态以实现冻结MLLMs的检索

Haoran Lou, Ziyan Liu, Chunxiao Fan, Yuexin Wu, Yue Ming, Hao Wu, Kai Zuo, Yibo Chen, Xu Tang

机构 * School of Electronic Engineering, Beijing University of Posts（北京邮电大学电子工程学院） ； Xiaohongshu Inc., China（小红书公司） 纠错

AI总结 SLQ通过冻结MLLMs的主干，引入共享潜在查询提升多模态检索性能，实验显示其在多个基准上表现优异。

Comments Accepted to ICML-2026

HTPO: Towards Exploration-Exploitation Balanced Policy Optimization via Hierarchical Token-level Objective Control

HTPO: 通过分层令牌级目标控制实现探索-利用平衡的策略优化

Xincheng Yao, Ruoqi Li, Cheng Chen, Daoxin Zhang, Yi Wu, Yao Hu, Chongyang Zhang

机构 * School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） ； Xiaohongshu Inc.（小红书公司） ； MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院） 纠错

AI总结 本文提出HTPO算法，通过分层划分响应令牌为功能组，设计专用优化目标以平衡探索与利用，实验验证其在推理基准上的优越性。

Comments 29 pages