The University of Hong Kong（香港大学）

UniPool: A Globally Shared Expert Pool for Mixture-of-Experts

UniPool: 一种全局共享专家池的混合专家架构

Minbin Huang, Han Shi, Chuanyang Zheng, Yimeng Wu, Guoxuan Chen, Xintong Yu, Yichun Yin, Hong Cheng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Huawei Technologies（华为技术有限公司） ； The University of Hong Kong（香港大学） 纠错

AI总结 UniPool通过全局共享专家池替代传统每层独立专家资源，减少专家参数线性增长需求，提升模型效率和效果。

Transformers Efficiently Perform In-Context Logistic Regression via Normalized Gradient Descent

Transformer 通过归一化梯度下降高效执行上下文逻辑回归

Chenyang Zhang, Yuan Cao

机构 * School of Computing & Data Science, The University of Hong Kong（香港大学计算机与数据科学学院） 纠错

AI总结 本文研究了softmax注意力机制的Transformer在线性分类数据上的上下文学习能力，通过构建多层Transformer实现上下文逻辑回归，证明其可通过训练单层自注意力层并循环应用获得，提供了训练收敛性和分布外泛化性的理论保障。

Comments 94 pages, 8 figures

Continuous Latent Diffusion Language Model

连续潜在扩散语言模型

Hongcan Guo, Qinyu Zhao, Yian Zhao, Shen Nie, Rui Zhu, Qiushan Guo, Feng Wang, Tao Yang, Hengshuang Zhao, Guoqiang Wei, Yan Zeng

机构 * The University of Hong Kong（香港大学） ； The Australian National University（澳大利亚国立大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） 纠错

AI总结 本文提出Cola DLM，通过层次化信息分解实现文本生成，结合文本到潜在空间的映射、连续潜在空间中的全局语义先验建模及条件解码，提升生成效率和语义建模能力。

Comments 99 pages, 31 figures, 9 tables. Project page: https://hongcanguo.github.io/Cola-DLM/

FedFrozen: Two-Stage Federated Optimization via Attention Kernel Freezing

FedFrozen：通过注意力核冻结的两阶段联邦优化

Junye Du, Zhenghao Li, Yushi Feng, Long Feng

机构 * The University of Hong Kong（香港大学） 纠错

AI总结 本文提出FedFrozen框架，通过两阶段训练冻结注意力核中的查询/键模块，提升异构联邦学习中Transformer模型的稳定性和效果。

Comments 25 pages

Human-AI Co-Evolution and Epistemic Collapse: A Dynamical Systems Perspective

人类与人工智能的共演与知识崩溃：一种动态系统视角

Xuening Wu, Yanlan Kang, Qianya Xu, Kexuan Xie, Jiaqi Mi, Honggang Wang, Yubin Liu, Zeping Chen

机构 * Fudan University（复旦大学） ； Tongji University（同济大学） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Nanjing University of Posts and Telecommunications（南京邮电大学） 纠错

AI总结 本文从动态系统视角探讨人类与语言模型的共演及知识崩溃问题，提出人类与模型形成反馈闭环的耦合系统，通过三变量模型揭示共进化增强、脆弱均衡和退化收敛三种动态模式。

Comments 5 pages, 3 figures, ICML EIML Workshop submitted

The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models

粒度轴：语言模型中社会角色的微到宏观潜在方向

Chonghan Qin, Xiachong Feng, Ziyun Song, Xiaocheng Feng, Jing Xiong, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

AI总结 研究揭示语言模型中社会角色粒度的潜在方向，通过定义粒度轴，发现其主导了角色表示空间的几何结构，并通过实验验证其在不同层级和模型间的稳定性与因果相关性。

Comments 28 pages, including appendices

Claw-Eval: Towards Trustworthy Evaluation of Autonomous Agents

Claw-Eval: 向可信的自主代理评估迈进

Bowen Ye, Rang Li, Qibin Yang, Yuanxin Liu, Linli Yao, Hanglong Lv, Zhihui Xie, Chenxin An, Lei Li, Lingpeng Kong, Qi Liu, Zhifang Sui, Tong Yang

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； The University of Hong Kong（香港大学） 纠错

AI总结 Claw-Eval通过300人验证任务覆盖9类任务，采用轨迹感知评分体系，揭示自主代理在安全、鲁棒性及一致性上的多维特性，验证传统评估方法的局限性。

On the Role of Language Representations in Auto-Bidding: Findings and Implications

语言表示在自动出价中的作用：发现与启示

Guanyu Zhu, Jining Luan, Hanwen Du, Xinyu Fang, Sibo Xu, Ersheng Ni, Hongji Li, Jincheng Fang, Ronghao Chen, Huacan Wang, Xuanqi Lan, Yongxin Ni, Yiqi Sun, Youhua Li

机构 * City University of Hong Kong（香港城市大学） ； South China Agricultural University（华南农业大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Ohio State University, Columbus（俄亥俄州立大学） ； Hefei University of Technology（合肥工业大学） ； School of Economics and Management, Wuhan University（武汉大学经济管理学院） ； Faculty of Engineering, The University of Queensland（昆士兰大学工程学院） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； The Hong Kong University of Science and Technology（香港科学大学） ； Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Santa Clara University（圣克拉拉大学） ； Boston University（波士顿大学） ； The University of Hong Kong（香港大学） 纠错

AI总结 本文研究语言表示在自动出价中的作用，提出SemBid框架，通过整合语义与数值信息提升出价可控性和泛化能力，实验表明其在多种场景下优于现有方法。

Comments 19 page

AffectSeek: Agentic Affective Understanding in Long Videos under Vague User Queries

AffectSeek: 长视频中基于模糊用户查询的代理情感理解

Zhen Zhang, Yuhang Yang, Yunxiang Jiang, Yuhuan Lu, Haifeng Lu, Zheng Lian, Runhao Zeng, Xiping Hu

机构 * Gansu Provincial Key Laboratory of Wearable Computing, School of Information Science and Engineering, Lanzhou University（甘肃省可穿戴计算重点实验室，兰州大学信息科学与工程学院） ； Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing, Shenzhen MSU-BIT University（粤港澳大湾区情感智能与泛在计算联合实验室，深圳MSU-BIT大学） ； Department of Computer and Information Engineering, Khalifa University（计算机与信息工程系，哈利法大学） ； Artificial Intelligence Research Institute, Shenzhen MSU-BIT University（人工智能研究院，深圳MSU-BIT大学） ； Department of Electrical and Computer Engineering, The University of Hong Kong（电子与计算机工程系，香港大学） 纠错

AI总结 本文提出VQAU任务，要求模型在长视频中定位情感时刻、预测情绪类别并生成证据支持的解释。构建VQAU-Bench基准，并提出AffectSeek框架，通过分步推理实现模糊查询驱动的情感理解。