The University of Hong Kong（香港大学）

Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition

Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Jen-Tse Huang, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

机构 * The Chinese University of Hong Kong（香港中文大学） ； Xi’an Jiaotong University（西安交通大学） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

Comments 43 pages. Preprint

EffiCoder: Enhancing Code Generation in Large Language Models through Efficiency-Aware Fine-tuning

Dong Huang, Guangtao Zeng, Jianbo Dai, Meng Luo, Han Weng, Yuhao Qing, Heming Cui, Zhijiang Guo, Jie M. Zhang

机构 * University of Hong Kong（香港大学） ； Singapore University of Technology（新加坡科技设计大学） ； University of Edinburgh（爱丁堡大学） ； National University of Singapore（新加坡国立大学） ； Beijing University of Posts（北京邮电大学） ； University of Cambridge（剑桥大学） ； King’s College London（伦敦国王学院） 纠错

Comments Accepted by ICML 2025

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation

Yicheng Xiao, Lin Song, Rui Yang, Cheng Cheng, Yixiao Ge, Xiu Li, Ying Shan

机构 * Tsinghua University（清华大学） ； ARC Lab, Tencent PCG（腾讯PCG实验室） ； The University of Hong Kong（香港大学） ； Xi’an JiaoTong University（西安交通大学） 纠错

DiffPR: Diffusion-Based Phase Reconstruction via Frequency-Decoupled Learning

Yi Zhang

机构 * Institude of Data Science, University of Hong Kong（数据科学研究所，香港大学） 纠错

Consistent Video Editing as Flow-Driven Image-to-Video Generation

Ge Wang, Songlin Fan, Hangxu Liu, Quanjian Song, Hewei Wang, Jinfeng Xu

机构 * Fudan University（复旦大学） ； Xiamen University（厦门大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The University of Hong Kong（香港大学） 纠错

Comments 16 pages, 12 figures

Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis

Xu Wang, Yan Hu, Wenyu Du, Reynold Cheng, Benyou Wang, Difan Zou

机构 * School of Computing（计算学院） ； Data Science, The University of Hong Kong（数据科学，香港大学） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） 纠错

Comments 25 pages

Using Vision Language Models to Detect Students' Academic Emotion through Facial Expressions

Deliang Wang, Chao Yang, Gaowei Chen

机构 * Faculty of Education（教育学院） ； The University of Hong Kong（香港大学） 纠错

GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest

Shilong Zhang, Peize Sun, Shoufa Chen, Min Xiao, Wenqi Shao, Wenwei Zhang, Yu Liu, Kai Chen, Ping Luo

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Alibaba Group（阿里巴巴集团） 纠错

Comments ECCV2024-Workshop, Camera-ready

Reinforced Refinement with Self-Aware Expansion for End-to-End Autonomous Driving

Haochen Liu, Tianyu Li, Haohan Yang, Li Chen, Caojun Wang, Ke Guo, Haochen Tian, Hongchen Li, Hongyang Li, Chen Lv

机构 * School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院） ； OpenDriveLab, the School of Computing and Data Science, The University of Hong Kong（开放驾驶实验室，计算与数据科学学院，香港大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

FedVLMBench: Benchmarking Federated Fine-Tuning of Vision-Language Models

Weiying Zheng, Ziyue Lin, Pengxin Guo, Yuyin Zhou, Feifei Wang, Liangqiong Qu

机构 * The University of Hong Kong（香港大学） ； UC Santa Cruz（圣克拉拉大学） 纠错

HSENet: Hybrid Spatial Encoding Network for 3D Medical Vision-Language Understanding

Yanzhao Shi, Xiaodan Zhang, Junzhong Ji, Haoning Jiang, Chengxin Zheng, Yinong Wang, Liangqiong Qu

机构 * The University of Hong Kong（香港大学） ； Beijing University of Technology（北京工业大学） 纠错

Comments 27 pages, 9 figures. arXiv admin note: text overlap with arXiv:2410.14200 by other authors

MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO

Yicheng Xiao, Lin Song, Yukang Chen, Yingmin Luo, Yuxin Chen, Yukang Gan, Wei Huang, Xiu Li, Xiaojuan Qi, Ying Shan

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； ARC Lab, Tencent PCG（腾讯PCG ARC实验室） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） 纠错

Comments Code: https://github.com/TencentARC/MindOmni

OWL: Optimized Workforce Learning for General Multi-Agent Assistance in Real-World Task Automation

Mengkang Hu, Yuhang Zhou, Wendong Fan, Yuzhou Nie, Bowei Xia, Tao Sun, Ziyu Ye, Zhaoxuan Jin, Yingru Li, Qiguang Chen, Zeyu Zhang, Yifeng Wang, Qianshuo Ye, Bernard Ghanem, Ping Luo, Guohao Li

机构 * The University of Hong Kong（香港大学） ； The University of Chicago（芝加哥大学） ； Northwestern University（西北大学） ； University of Cambridge（剑桥大学） 纠错

Comments Project Page: https://github.com/camel-ai/owl

SeerAttention-R: Sparse Attention Adaptation for Long Reasoning

Yizhao Gao, Shuming Guo, Shijie Cao, Yuqing Xia, Yu Cheng, Lei Wang, Lingxiao Ma, Yutao Sun, Tianzhu Ye, Li Dong, Hayden Kwok-Hay So, Yu Hua, Ting Cao, Fan Yang, Mao Yang

机构 * Microsoft Research（微软研究院） ； The University of Hong Kong（香港大学） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

HASFL: Heterogeneity-aware Split Federated Learning over Edge Computing Systems

Zheng Lin, Zhe Chen, Xianhao Chen, Wei Ni, Yue Gao

机构 * Department of Electrical and Electronic Engineering, University of Hong Kong（香港大学电子与电气工程系） ； Institute of Space Internet, Fudan University（复旦大学空间互联网研究所） ； School of Computer Science, Fudan University（复旦大学计算机科学学院） 纠错

Comments 16 pages, 11 figures. arXiv admin note: text overlap with arXiv:2403.13101

Being Strong Progressively! Enhancing Knowledge Distillation of Large Language Models through a Curriculum Learning Framework

Lingyuan Liu, Mengxiang Zhang

机构 * City University of Hong Kong（香港城市大学） ； The University of Hong Kong（香港大学） 纠错

Exp4Fuse: A Rank Fusion Framework for Enhanced Sparse Retrieval using Large Language Model-based Query Expansion

Lingyuan Liu, Mengxiang Zhang

机构 * City University of Hong Kong（香港城市大学） ； The University of Hong Kong（香港大学） 纠错

AssetDropper: Asset Extraction via Diffusion Models with Reward-Driven Optimization

Lanjiong Li, Guanhua Zhao, Lingting Zhu, Zeyu Cai, Lequan Yu, Jian Zhang, Zeyu Wang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； The University of Hong Kong（香港大学） 纠错

Comments SIGGRAPH 2025. 11 pages, 12 figures

ETA: Efficiency through Thinking Ahead, A Dual Approach to Self-Driving with Large Models

Shadi Hamdan, Chonghao Sima, Zetong Yang, Hongyang Li, Fatma Güney

机构 * Koç University（科克大学） ； KUIS AI Center（KUIS人工智能中心） ； The University of Hong Kong（香港大学） ； OpenDriveLab（OpenDrive实验室） 纠错

Comments ICCV 2025 submission. For code, see https://github.com/opendrivelab/ETA

Curriculum Learning With Counterfactual Group Relative Policy Advantage For Multi-Agent Reinforcement Learning

Weiqiang Jin, Hongyang Du, Guizhong Liu, Dong In Kim

机构 * School of Information and Communications Engineering, Xi'an Jiaotong University（西安交通大学信息与通信工程学院） ； Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院） ； Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系） 纠错

Comments 16 pages; 12figures

EdgeSpotter: Multi-Scale Dense Text Spotting for Industrial Panel Monitoring

Changhong Fu, Hua Lin, Haobo Zuo, Liangliang Yao, Liguo Zhang

机构 * School of Mechanical Engineering, Tongji University（同济大学机械工程学院） ； Shanghai Key Laboratory of Wearable Robotics and Human-Machine Interaction, Tongji University（同济大学可穿戴机器人与人机交互重点实验室） ； Department of Computer Science, University of Hong Kong（香港大学计算机科学系） ； Department of NANO Fabrication, Institute of Nano-Tech and Nano-Bionics (SINANO), Chinese Academy of Sciences（中国科学院纳米技术与生物医学研究所） 纠错

Hybrid Mesh-Gaussian Representation for Efficient Indoor Scene Reconstruction

Binxiao Huang, Zhihao Li, Shiyong Liu, Xiao Tang, Jiajun Tang, Jiaqi Lin, Yuxin Cheng, Zhenyu Chen, Xiaofei Wu, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； Huawei Technologies Ltd（华为技术有限公司） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

Journal ref IJCAI-2025

Fine-grained Hierarchical Crop Type Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series: A Large-scale Dataset and Dual-stream Transformer Method

Wenyuan Li, Shunlin Liang, Yuxiang Zhang, Liqin Liu, Keyan Chen, Yongzhe Chen, Han Ma, Jianglei Xu, Yichuan Ma, Shikang Guan, Zhenwei Shi

机构 * Jockey Club STEM Lab of Quantitative Remote Sensing, Department of Geography, The University of Hong Kong, Hong Kong, China（香港大学地理系定量遥感实验室） ； Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University, Beijing, China（北航航天智能科学与技术系） 纠错

Comments 27 pages, 12 figures

GOLFer: Smaller LM-Generated Documents Hallucination Filter & Combiner for Query Expansion in Information Retrieval

Lingyuan Liu, Mengxiang Zhang

机构 * City University of Hong Kong（香港城市大学） ； The University of Hong Kong（香港大学） 纠错

Retrieval-Augmented Generation as Noisy In-Context Learning: A Unified Theory and Risk Bounds

Yang Guo, Yutian Tao, Yifei Ming, Robert D. Nowak, Yingyu Liang

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Salesforce AI Research（Salesforce人工智能研究） ； The University of Hong Kong（香港大学） 纠错

Comments Under Review

Reinforcing Video Reasoning with Focused Thinking

Jisheng Dang, Jingze Wu, Teng Wang, Xuanhui Lin, Nannan Zhu, Hongbo Chen, Wei-Shi Zheng, Meng Wang, Tat-Seng Chua

机构 * Sun Yat-sen University（中山大学） ； Lanzhou University（兰州大学） ； University of Hong Kong（香港大学） ； Hefei University of Technology（合肥工业大学） ； National University of Singapore（新加坡国立大学） 纠错

Data-driven inventory management for new products: An adjusted Dyna-$Q$ approach with transfer learning

Xinye Qu, Longxiao Liu, Wenjie Huang

机构 * Department of Data and Systems Engineering, The University of Hong Kong（数据与系统工程系，香港大学） ； Musketeers Foundation Institute of Data Science, The University of Hong Kong（穆斯克特基金会数据科学研究所，香港大学） 纠错

Comments 7 pages, 3 figures

SIS: Seam-Informed Strategy for T-shirt Unfolding

Xuzhao Huang, Akira Seino, Fuyuki Tokuda, Akinari Kobayashi, Dayuan Chen, Yasuhisa Hirata, Norman C. Tien, Kazuhiro Kosuge

机构 * JC STEM Lab of Robotics for Soft Materials（机器人柔性材料实验室） ； Department of Electrical and Electronic Engineering, Faculty of Engineering, The University of Hong Kong（电气与电子工程系，工程学院，香港大学） ； Centre for Transformative Garment Production（转型服装生产中心） 纠错

Comments 8 pages, 8 figures. To be published in IEEE Robotics and Automation Letters (RAL)

MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations

Ruiyuan Lyu, Jingli Lin, Tai Wang, Shuai Yang, Xiaohan Mao, Yilun Chen, Runsen Xu, Haifeng Huang, Chenming Zhu, Dahua Lin, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； Zhiyuan College, Shanghai Jiao Tong University（上海交通大学紫阳学院） ； CPII under InnoHK（创新香港下的CPII） 纠错

Comments Follow-up of EmbodiedScan (camera-ready version). A multi-modal 3D dataset with the most-ever comprehensive language annotations for 3D-LLMs. Project page: https://tai-wang.github.io/mmscan/

Exploring Visual Prompting: Robustness Inheritance and Beyond

Qi Li, Liangzhi Li, Zhouqiang Jiang, Bowen Wang, Keke Tang

机构 * National University of Singapore（新加坡国立大学） ； Osaka University（大阪大学） ； The University of Hong Kong（香港大学） 纠错

Comments arXiv admin note: substantial text overlap with arXiv:2311.10992