多模态大模型

MegaScale-Omni: A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production

MegaScale-Omni: 一种面向多模态大语言模型生产训练的超大规模、工作负载容错系统

Chunyu Xue, Yangrui Chen, Jianyu Jiang, Ningxin Zheng, Junda Feng, Jingji Chen, Shixiong Zhao, Shen Yan, Yi Lin, Lei Shi, Zanbo Wang, Lishu Luo, Faming Wu, Haibin Lin, Xin Liu, Yanghua Peng, Quan Chen

专题命中 其他多模态 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)

AI总结 本文提出MegaScale-Omni系统，通过解耦并行策略、统一表示和负载平衡技术，提升多模态大语言模型在动态工作负载下的训练效率，实现1.27倍至7.57倍的吞吐量提升。

Dual Tuning for Reasoning Efficacy-Driven Data Curation in Multimodal LLM Training

双调优：面向多模态大语言模型训练的推理效能驱动的数据筛选

Ruobing Zheng, Tianqi Li, Jianing Li, Qingpei Guo, Yi Yuan, Jingdong Chen

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出双调优框架，通过评估训练数据对推理训练的收益及推理训练的效能，指导多模态大语言模型的数据筛选与训练策略匹配。

Comments Project Page: https://digital-avatar.github.io/ai/ThinkingBoundary/

ReaLB: Real-Time Load Balancing for Multimodal MoE Inference

ReaLB：多模态MoE推理的实时负载均衡

Yingping Wang, Yi Wu, Xiangyu Wu, Junwei Cui, Weilin Cai, Zhijiang Guo, Jiayi Huang

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 ReaLB通过实时调整MoE专家计算精度，提升多模态模型推理效率，减少负载不平衡，实现1.10-1.32倍的端到端加速，同时保持1%以内的精度损失。

Accelerating Compound LLM Training Workloads with Maestro

通过Maestro加速复合大语言模型训练工作负载

Xiulong Yuan, Hongqing Chen, Jiaxuan Peng, Fan Zhou, Zhixiang Ruan, Zekun Wang, Bo Zheng, Rui Men, Haiquan Wang, Zhipeng Zhang, Langshi Chen, Man Yuan, Jiaqi Gao, Zhengping Qian, Junyang Lin, Yong Li, Wei Lin, Junhua Wang, Jingren Zhou

专题命中 其他多模态 ：multimodal(abstract)；MLLM(abstract)

AI总结 本文提出Maestro框架，针对复合LLM训练中的静态异构性和动态不规则性，通过分段图重构和波前调度算法提升硬件利用率，减少40%的GPU消耗。

Contextual Plackett-Luce: An Efficient Neural Model for Probabilistic Sequence Selection under Ambiguity

基于上下文的Plackett-Luce模型：一种高效的神经模型，用于在模糊性下进行概率序列选择

Noam Mizrachi, Nadav Har-Tuv, Shai Shalev-Shwartz

机构 * Mobileye 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出Contextual Plackett-Luce模型，结合全并行评分与轻量级自回归选择过程，提升在模糊监督下的序列选择效率与鲁棒性。

Comments 22 pages, 5 figures

Instruction Anchor: Dissecting the Mechanistic Dynamics of Modality Arbitration

指令锚点：解构模态仲裁的机理动态

Yu Zhang, Mufan Xu, Xuefeng Bai, Kehai Chen, Pengfei Zhang, Yang Xiang, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, Shenzhen, China（鹏城实验室） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文通过信息流视角研究模态跟随机制，揭示指令令牌作为模态仲裁的结构锚点，浅层注意力层负责多模态信息聚合，深层注意力层则根据指令意图选择性强化子空间，实验验证了注意力头的特定功能。

Comments Modality Following

Forecasting Residential Heating and Electricity Demand with Scalable, High-Resolution, Open-Source Models

利用可扩展、高分辨率、开源模型进行住宅供暖和电力需求预测

Stephen J. Lee, Cailinn Drouin

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出基于概率深度学习模型的高分辨率住宅供暖和非供暖电力需求预测框架，通过多模态建筑数据提升预测精度，相比ResStock模型在RMSE和WIS指标上均有显著提升。

Comments 11 pages, 4 figures, 2 tables. Published version (Energy and AI 24 (2026) 100726). Supplementary material available at the publisher: https://doi.org/10.1016/j.egyai.2026.100726

Journal ref Energy and AI 24 (2026) 100726

Rushed by Discomfort, Trapped by Immersion: Users' Experiences and Responses to Privacy Deceptive Design in Commercial VR Applications

因不适而仓促，被沉浸所困：用户在商业VR应用中对隐私欺骗设计的体验与反应

Hilda Hadan, Michaela Valiquette, Lennart E. Nacke, Leah Zhang-Kennedy

专题命中 其他多模态 ：multimodal(abstract)

AI总结 研究探讨了商业VR应用中隐私欺骗设计对用户的影响，发现VR设计通过认知漏洞和身体疲劳引发用户接受侵入性数据披露，强调了体感因素在隐私保护VR设计中的重要性。

Comments 40 pages (including supplementary materials), 12 tables, 11 figures

Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics

温控序贯蒙特卡洛用于具有可微动力学的轨迹和策略优化

Heng Yang

机构 * Harvard University（哈佛大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出温控序贯蒙特卡洛方法，用于在可微动力学下进行有限时间跨度的轨迹和策略优化，通过将控制器设计转化为推断问题，结合退火方案和哈密顿蒙特卡洛方法，提升采样效率和优化性能。

Comments Robotics: Science and Systems 2026

Mixed-Response State-Space Model for Analyzing Multi-Dimensional Digital Phenotypes

混合响应状态空间模型用于分析多维数字表型

Tianchen Xu, Yuan Chen, Donglin Zeng, Yuanjia Wang

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文提出混合响应状态空间模型，用于联合捕捉多维、多模态数字表型及其测量过程，通过有限的潜在状态时间序列，以应对多维数字表型数据中的混杂因素和变异。

Comments 59 pages, 14 figures, 8 tables