The Chinese University of Hong Kong（香港中文大学）

Scaling Native Multimodal Pre-Training From Scratch

从零开始扩展原生多模态预训练

Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu

机构 * The Chinese University of Hong Kong（香港中文大学） ； LLM Department, Tencent（腾讯大语言模型部） 纠错

AI总结 研究在固定计算预算下训练基于Transformer的视觉语言模型的最优模型大小和token数量，发现语言和多模态目标扩展行为不同，推导效率前沿，还表明原生多模态预训练能促进跨模态转移，为扩展多模态基础模型奠定基础。

MoE$^2$-LoRA: When MoE Models Meet MoE-style Low-Rank Adaptation

MoE$^2$-LoRA：当专家混合模型遇上专家混合风格的低秩自适应

Qingyu Yang, Haonan He, Minglei Li, Jingqi Ye, Tao Chen, Lei Bai, Peng Ye

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 研究探索MoE模型的参数高效微调方法，提出MoE$^2$-LoRA，通过双通道RCP模块耦合预训练专家专业化与任务适应性，引入全局专家池，在多MoE主干上评估，能保持通用能力并实现最优下游精度。

Comments Preprint, under review

On the Convergence of Stochastic Low-Rank Adaptation

关于随机低秩适应的收敛性

Ru Wang, Chengchang Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong（香港中文大学） ； Westlake University（西湖大学） 纠错

AI总结 本文研究了随机低秩适应的收敛性，提出LoRA-NSGDM和LoRA-STORM算法，分别在$\mathcal{O}(\epsilon^{-8})$和$\mathcal{O}(\epsilon^{-6})$的随机oracle复杂度下找到$\epsilon$-stationary点。

Reliability-Aware Bayesian Optimization of 1310 nm PCSELs with FDTD Verification

基于FDTD验证的1310nm PCSEL的可靠性感知贝叶斯优化

Jinglin Yu, Feiyang Wu, Longying Wen, Chongxian Yuan, Renjie Li, Zhaoyu Zhang

机构 * School of Science and Engineering (SSE), The Chinese University of Hong Kong, Shenzhen（科学与工程学院（SSE），香港中文大学（深圳）） ； Nick Holonyak Micro and Nanotechnology Laboratory, University of Illinois Urbana-Champaign（Nick Holonyak微纳技术实验室，伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 研究1310nm PCSEL设计优化成本高的问题，采用将商业时域有限差分求解器与可靠性感知贝叶斯优化循环相结合的方法，经多次评估运行，产生高Q PCSEL候选方案，提高产量，还确定了相关控制，给出一组优质候选方案。