Zhejiang University（浙江大学）

On the Geometry of On-Policy Distillation

论在线策略蒸馏的几何结构

Zhennan Shen, Yanshu Li, Qingyu Yin, Chak Tou Leong, Zhilin Wang, Yanxu Chen, Rongduo Han, Sunbowen Lee, Yi R. Fung

机构 * HKUST（香港科技大学） ； UT Austin（得克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） ； Hong Kong PolyU（香港理工大学） ； USTC（中国科学技术大学） ； BUPT（北京邮电大学） ； Nankai University（南开大学） ； BIT（北京理工大学） 纠错

AI总结 本文通过参数空间诊断，揭示在线策略蒸馏（OPD）的更新轨迹具有松弛离主成分、子空间锁定等独特几何特性，表明其并非介于SFT和RLVR之间的中间方法。

Comments 17 pages, 8 figures

Beyond Retrieval: Learning Compact User Representations for Scalable LLM Personalization

超越检索：学习紧凑用户表示以实现可扩展的LLM个性化

Heng Cao, Fan Zhang, Jian Yao, Yujie Zheng, Changlin Zhao, Lu Hao, Yuxuan Wei, Wangze Ni, Huaiyu Fu, Yuqian Sun, Xuyan Mo

机构 * Microsoft（微软公司） ； Shanghai International Studies University（上海国际问题研究大学） ； Zhejiang University（浙江大学） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） 纠错

AI总结 提出TAP-PER框架，通过可学习的用户状态前缀嵌入编码用户偏好，避免显式提示构建和繁重的每用户适配器，在六个LaMP任务上优于基线方法，并显著减少参数开销。

Comments 16 pages, 6 figures

MedCollab: IBIS-Guided Multi-Agent Collaboration with Hierarchical Disease Relation Chains for Clinical Diagnosis

MedCollab：基于IBIS引导的多智能体协作与分层疾病关系链的临床诊断

Yuqi Zhan, Xinyue Wu, Tianyu Lin, Yutong Bao, Xiaoyu Wang, Weihao Cheng, Huangwei Chen, Feiwei Qin, Zhu Zhu

机构 * Princeton University（普林斯顿大学） ； Springer Heidelberg（斯普林格海德堡） ； ABC Institute（ABC研究所） ； Rupert-Karls-University Heidelberg（海德堡鲁珀特-卡尔大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University（浙江大学） ； Children’s Hospital, Zhejiang University School of Medicine, National Clinical Research Center for Children and Adolescents’ Health and Diseases（浙江大学医学院儿童医院，国家儿童青少年健康与疾病临床研究中心） 纠错

AI总结 提出MedCollab框架，通过IBIS结构化论证和分层疾病关系链（HDRC）增强多智能体协作，提升临床诊断的准确性、可追溯性和报告质量。

SDFLoRA: Selective Decoupled Federated LoRA for Privacy-preserving Fine-tuning with Heterogeneous Clients

SDFLoRA: 面向异构客户隐私保护微调的选择性解耦联邦LoRA

Zhikang Shen, Jianrong Lu, Haiyuan Wan, Jianhai Chen

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） 纠错

AI总结 提出SDFLoRA，通过将LoRA更新解耦为共享和私有组件，仅聚合共享部分并注入差分隐私噪声，解决联邦微调中的秩异构和数据异构问题，提升隐私-效用权衡。

Adaptive $k$NN graph model

自适应 $k$NN 图模型

Jiaye Li, Hang Xu, Shichao Zhang

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Zhejiang University（浙江大学） ； The School of Computer Science and Engineering（计算机科学与工程学院） ； Central South University（中南大学） ； School of Computer Science and Engineering（计算机科学与工程学院） ； Guangxi Normal University（广西师范大学） 纠错

AI总结 提出一种基于分层可导航小世界图与预计算投票机制的自适应图模型，将邻居选择与加权的计算负担转移到训练阶段，在保持分类精度的同时实现实时推理速度。

Comments 31 pages, 5 figures

Raspi$^2$USBL: An open-source Raspberry Pi-Based Passive Inverted Ultra-Short Baseline Positioning System for Underwater Robotics

Raspi$^2$USBL：一种基于树莓派的开源被动倒置超短基线水下机器人定位系统

Jin Huang, Yingqiang Wang, Ying Chen

机构 * State Key Laboratory of Ocean Sensing, Ocean College of Zhejiang University（浙江省海洋传感重点实验室，浙江大学海洋学院） ； School of Oceanography, Shanghai Jiao Tong University（上海交通大学海洋学院） 纠错

AI总结 提出一种基于树莓派的低成本被动倒置超短基线定位系统，通过被动声学接收器和主动信标实现水下定位，在消声池、淡水湖和开放海域测试中达到0.1%斜距精度和0.1°方位角精度。

PISA: A Pragmatic Psych-Inspired Unified Memory System for Enhanced AI Agency

PISA：一种增强AI能动性的实用心理学启发统一记忆系统

Shian Jia, Ziyang Huang, Xinbo Wang, Haofei Zhang, Mingli Song

机构 * Zhejiang University（浙江大学） 纠错

AI总结 受皮亚杰认知发展理论启发，提出PISA统一记忆系统，通过三模态适应机制（模式更新、演化、创建）和混合记忆访问架构，显著提升AI代理的适应性和长期知识保留。

FOUNDv2: Learning Unified User Quantized Tokenizers for User Representation

FOUNDv2: 学习统一的用户量化分词器用于用户表示

Chuan He, Yang Chen, Bin Dou, Wuliang Huang, Baokun Wang, Yongchao Liu, Xing Fu, Yu Cheng, Chuntao Hong, Weiqiang Wang, Zhongle Xie, Jiajun Zheng, Xin-Wei Yao

机构 * Ant Group（蚂蚁集团） ； Zhejiang University of Technology（浙江工业大学） ； Zhejiang University（浙江大学） 纠错

AI总结 提出FOUNDv2框架，通过统一用户量化分词器（U2QT）将异构用户数据转化为离散令牌，结合多视图RQ-VAE和多尺度对齐目标，实现高效存储和预测性能，在多个基准上优于任务特定基线。

Towards Advanced Mathematical Reasoning for LLMs via First-Order Logic Theorem Proving

迈向基于一阶逻辑定理证明的大语言模型高级数学推理

Chuxue Cao, Mengze Li, Juntao Dai, Jinluan Yang, Zijian Zhao, Shengyu Zhang, Weijie Shi, Chengzhong Liu, Sirui Han, Yike Guo

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

AI总结 针对大语言模型在多步一阶逻辑数学推理中的困难，提出DREAM方法，通过公理驱动策略多样化和子命题错误反馈提升推理多样性和正确性，在定理证明数据集上性能提升0.6%-6.4%。

Comments Accepted by EMNLP 25

Photon: Federated LLM Pre-Training

Photon: 联邦大语言模型预训练

Lorenzo Sani, Alex Iacob, Zeyu Cao, Royson Lee, Bill Marino, Yan Gao, Dongqi Cai, Zexi Li, Wanru Zhao, Xinchi Qiu, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Flower Labs（Flower实验室） ； Zhejiang University（浙江大学） 纠错

AI总结 提出Photon系统，首次实现联邦端到端LLM预训练，通过跨孤岛联邦学习在弱连接GPU上训练高达7B参数模型，通信量减少64-512倍，收敛速度比DiLoCo快2倍。

Comments 18 pages, 9 appendix pages, 12 figures, 3 algorithms, 12 tables

Journal ref Proceedings of Machine Learning and Systems 7 (MLSys 2025), 2025