The Chinese University of Hong Kong（香港中文大学）

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE$^2$-LoRA：当专家混合模型遇上专家混合风格的低秩自适应

Qingyu Yang, Haonan He, Minglei Li, Jingqi Ye, Tao Chen, Lei Bai, Peng Ye

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 研究探索MoE模型的参数高效微调方法，提出MoE$^2$-LoRA，通过双通道RCP模块耦合预训练专家专业化与任务适应性，引入全局专家池，在多MoE主干上评估，能保持通用能力并实现最优下游精度。

Comments Preprint, under review

On the Convergence of Stochastic Low-Rank Adaptation

关于随机低秩适应的收敛性

Ru Wang, Chengchang Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） 纠错

AI总结 本文研究了随机低秩适应的收敛性，提出LoRA-NSGDM和LoRA-STORM算法，分别在$\mathcal{O}(\epsilon^{-8})$和$\mathcal{O}(\epsilon^{-6})$的随机oracle复杂度下找到$\epsilon$-stationary点。

Reliability-Aware Bayesian Optimization of 1310 nm PCSELs with FDTD Verification

基于FDTD验证的1310nm PCSEL的可靠性感知贝叶斯优化

Jinglin Yu, Feiyang Wu, Longying Wen, Chongxian Yuan, Renjie Li, Zhaoyu Zhang

机构 * School of Science and Engineering (SSE), The Chinese University of Hong Kong, Shenzhen（科学与工程学院（SSE），香港中文大学（深圳）） ； Nick Holonyak Micro and Nanotechnology Laboratory, University of Illinois Urbana-Champaign（Nick Holonyak微纳技术实验室，伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 研究1310nm PCSEL设计优化成本高的问题，采用将商业时域有限差分求解器与可靠性感知贝叶斯优化循环相结合的方法，经多次评估运行，产生高Q PCSEL候选方案，提高产量，还确定了相关控制，给出一组优质候选方案。

DeepFeature: LLM-Empowered Context-aware Feature Generation for Wearable Biosignals

DeepFeature: 基于迭代上下文感知的可穿戴生物信号特征生成

Kaiwei Liu, Yuting He, Bufang Yang, Mu Yuan, Chun Man Victor Wong, Ho Pong Andrew Sze, Zhenyu Yan, Hongkai Chen

机构 * The Chinese University of Hong Kong（香港中文大学） ； The Education University of Hong Kong（香港教育大学） ； Hong Kong Applied Science and Technology Research Institute（香港应用科学和技术研究院） 纠错

AI总结 DeepFeature是一种基于大语言模型的上下文感知特征生成框架，通过多源特征生成机制和迭代特征细化过程，提升可穿戴生物信号的特征提取效果。

Geometry-Guided Representations for Coherent Lane and Traffic Topology Reasoning in Driving Scenes

用于驾驶场景中连贯车道和交通拓扑推理的几何引导表示

Yueru Luo, Changqing Zhou, Yiming Yang, Erlong Li, Chao Zheng, Shuguang Cui, Zhen Li

机构 * FNii ； SSE, CUHK-Shenzhen ； HKUST-Guangzhou（HKUST-广州） ； Tencent Map T-Lab（腾讯地图T实验室） 纠错

AI总结 研究自动驾驶中道路拓扑推理问题，提出CoPo统一框架，通过整合感知层、推理层和监督层的几何引导关系建模，实现感知与推理的端到端联合优化，实验证明该方法在多个指标上优于现有方法。

Comments KDD2026

Hiding Faces in Plain Sight: Defending DeepFakes by Disrupting Face Detection

在众目睽睽下隐藏面孔：通过干扰面部检测来防御深度伪造

Delong Zhu, Yuezun Li, Baoyuan Wu, Jiaran Zhou, Zhibo Wang, Siwei Lyu

机构 * School of Computer Science and Technology, Ocean University of China（海洋大学计算机科学与技术学院） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Cyber Science and Technology, Zhejiang University（浙江大学网络科学与技术学院） ； University at Buffalo, SUNY（纽约州立大学布法罗分校） 纠错

AI总结 研究针对面部交换深度伪造问题，提出通过干扰面部检测器来防御深度伪造的框架，核心方法是FacePoison及扩展策略VideoFacePoison，经实验验证该方法能有效阻碍深度伪造生成，降低计算开销。

Comments TDSC 2025