视觉大模型 / VLM

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

LatentAM: Real-Time, Large-Scale Latent Gaussian Attention Mapping via Online Dictionary Learning

LatentAM：通过在线字典学习实现实时、大规模的潜在高斯注意力映射

Junwoon Lee, Yulun Tian

机构 * Robotics Department, University of Michigan（密歇根大学机器人系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 LatentAM通过在线字典学习实现实时、大规模的潜在高斯注意力映射，提升机器人感知的特征重建保真度与实时性

Comments 8 pages, 7 figures. Accepted for RA-L. Homepage: https://junwoonlee.github.io/projects/LatentAM/ Code: https://github.com/UMich-SSI-Lab/latentam

HUGIN: Enhancing Vision-Language Planning for Autonomous Logistics Sorting

HUGIN：增强自主物流分拣的视觉-语言规划能力

Xikai Sun, Cangtian Zhou, Kebin Liu, Ke Ma, Xu Wang, Zaishu Chen, Haotian Wang, Li Liu, Yunhao Liu

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对自主物流分拣的联合多场景理解挑战，提出HUGIN训练框架，构建SortingBench基准，在多VLMs上性能提升，验证了方法有效性与实际可行性。

LASA: Language-and-Source-Anchored Alignment for Domain Generalized Semantic Segmentation

LASA：面向域泛化语义分割的语言与源锚定对齐

Jinhong Zhu, Weiqi Yan, Shengchuan Zhang, Liujuan Cao

机构 * Xiamen University（厦门大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对域泛化语义分割中传统方法损害特征完整性的问题，提出LASA框架，含三个协同组件，实验显示其性能优于现有最优方法。

Comments 10 pages, 4 figures

Forged Peer Judgments Mislead Multimodal LLM Judge Panels: Source-Blind Anchoring and Panel-Consensus Verification

伪造的同行判断会误导多模态大语言模型（LLM）评判小组：无来源锚定与小组共识验证

Yang Shu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究发现多模态LLM评判小组存在无来源锚定的文本攻击面，伪造同行判断可误导判决，提出的小组共识验证方法能有效阻断此类攻击并降低损害。

MemPrism: Task-Conditioned Relational Memory Views for Long-Horizon Agents

MemPrism：面向长程智能体的任务条件关系记忆视图

Zhisheng Chen, Bingfan Zeng, Bangde Cao, Zhengwei Xie, Yuxuan Li, Jinhan Li, Zheng Lu, Xiangchen Guan, Zikai Xiao, Rui Qian, Jingwei Song

机构 * Nanyang Technological University（南洋理工大学） ； South China University of Technology（华南理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 该研究针对长程智能体记忆系统的表示不匹配问题，提出MemPrism任务条件关系记忆框架，经实验验证可提升长程任务性能、减少记忆消耗且视图策略可跨VLM迁移。

Beyond Frame Selection: Rethinking Long-Video Understanding with MLLMs

超越帧选择：用多模态大语言模型重新思考长视频理解

Ziling Huang, Shin'ichi Satoh

机构 * National Institute of Informatics（信息学研究所） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对 MLLMs 长视频理解的帧选择策略难以兼顾全局与局部信息的问题，提出 VideoRouter 模型，通过时间层次结构和验证引导路由器协调全局与局部推理，在 VideoMME 数据集上实现性能提升。

Representing Visual Evidence for Item Difficulty Prediction: Visual Textualization and Image-Native Modeling

为题目难度预测表征视觉证据：视觉文本化与原生图像建模

Han Chen, Ming Li, Hong Jiao, Tianyi Zhou

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Maryland（马里兰大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文针对题目难度预测的视觉证据表征问题，对比仅用文本、视觉文本化与原生图像建模三种方式，发现原生图像建模是有竞争力的替代方案，其有效性取决于VLMs的适配方式。

When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation

当教师误导时：感知虚假信号的在线策略蒸馏

Yinuo Jiang, Yongjie Ye, Zhou Tao, Xiang Zhuang, Qiang Zhang, Huajun Chen, Tiankai Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对在线策略蒸馏中存在的虚假信号问题，提出SA-OPD框架，通过输入接地性代理过滤误导性token级监督，实验表明其性能优于普通OPD及其他选择性方法。

Comments 21 pages, 10 figures

PosterMELD: Multi-Agent Paper-to-Poster Generation for Controllable Design Diversity with Editable Print-Ready Outputs

PosterMELD：面向可编辑打印就绪输出的可控设计多样性多智能体论文转海报生成

Haojie Hu, Chenhao Dang, Yaojia Liu, Hengrui Kang, Conghui He, Weijia Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 PosterMELD是模板条件化多智能体海报生成流水线，可导出可编辑PPTX和PNG，在621篇论文实验中PRR达81.3%，成本仅为Codex+Skill的3.5%，性能优于P2P、PosterGen等方法。

Comments 9 pages, 5 figures, and 4 tables. Code and resources are available at https://github.com/Shannon4Science/PosterMELD

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

通过空间-光谱视觉锚学习缓解多模态大语言模型（MLLMs）中的视觉退化

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Nanyang Technological University（南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 针对MLLMs推理时的视觉表示退化问题，提出SSVAL方法，通过VAPI及辅助对齐损失实现稳定视觉锚，性能优于现有方法。

Comments This paper has been accepted by ACM MM 2026

PRISM: Privileged Probabilistic Latent Supervision for End-to-End Autonomous Driving Motion Planning

PRISM：面向端到端自动驾驶运动规划的特权概率潜在监督

Volodymyr Havrylov, Faris Janjoš, Andreas Look, Jürgen Mathes, Andreas Geiger

机构 * University of Tübingen（蒂宾根大学） ； Bosch Center for Artificial Intelligence（博世人工智能中心） ； Coburg University（科堡大学） ； Tübingen AI Center（蒂宾根人工智能中心） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对端到端自动驾驶模型梯度微弱问题，提出基于真实值的概率潜在监督框架，在 nuScenes 数据集上实现规划 L2 误差降 8%、碰撞率降 3%，且计算开销可忽略。

UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval

UniCVR：从对齐到重排序的统一零样本复合视觉检索

Haokun Wen, Xuemeng Song, Haoyu Zhang, Weili Guan, Xiangyu Zhao, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； City University of Hong Kong（香港城市大学） ； Southern University of Science and Technology（南方科技大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 UniCVR提出首个统一零样本复合视觉检索框架，结合多模态大语言模型与视觉语言预训练模型，通过两阶段方法实现多任务联合优化，实验表明其在五个基准测试中表现优异。

MMPhysVideo: Physically Plausible Video Generation Through Joint RGB-Perception Modeling

MMPhysVideo: 通过联合多模态建模提升视频生成的物理合理性

Shubo Lin, Xuanyang Zhang, Wei Cheng, Weiming Hu, Gang Yu, Jin Gao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； StepFun（阶跃星辰） ； Beijing Key Laboratory of Super Intelligent Security of Multi-Modal Information（多模态信息超级智能安全北京市重点实验室） ； School of Information Science and Technology, Shanghai Tech University（上海科技大学信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 MMPhysVideo通过联合多模态建模提升视频生成的物理合理性，将感知线索统一为伪RGB格式，提出双向控制教师架构以减少跨模态干扰，并通过MMPhysPipe构建物理丰富的多模态数据集，提升物理合理性和视觉质量。

Comments Project Page: https://shubolin028.github.io/MMPhysVideo-Page

Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs

推理前校准：针对视觉语言模型中语义漂移的鲁棒视觉令牌缩减

Jiasheng Li, Zhong Ji, Yan Zhang, Huihui Li

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究针对VLMs的语义漂移问题，提出无训练的CaRe框架，通过两个互补模块校准视觉表示，在剪枝94.4%视觉令牌时保留96.4%原性能，使推理速度提升最高2.30倍。

A Systems Engineering Framework for Vision-Language-Enabled UAV Triage and Disaster Response

面向视觉语言赋能的无人机分类与灾害响应的系统工程框架

Swapnil Saha, Bhuvan Rajanasiriyur Jagadeesha, Karishma Patnaik, Neelakshi Majumdar

机构 * University of Arkansas（阿肯色大学） ； University of Michigan-Dearborn（密歇根大学迪尔伯恩分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.AI

AI总结 该研究提出将视觉语言模型（VLMs）作为协同智能体嵌入人-无人机回路的系统工程框架，经评估可降低人因负担、提升AI信任度，推进了高风险灾害响应的人-自主系统协同。

Comments 10 pages, 8 figures. Author accepted manuscript of AIAA Paper 2026-4010, published in the AIAA AVIATION 2026 Forum

Journal ref AIAA AVIATION 2026 Forum, AIAA Paper 2026-4010, 2026

Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer

水平、锐度与语料：为何零样本分布外检测器的排名无法迁移

Ignacio M. De la Jara, Cristian Rodriguez-Opazo, Stephen Gould, Damith Ranasinghe

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本文通过审计证明零样本OOD检测器排名无法跨域迁移，提出CEG封装器，可降低检测器敏感性并提升GL-MCM与MCM的族平衡FPR95。

When Does Visual Token Pruning Improve Calibration? The Role of Evidence Coverage in MLLMs

视觉标记修剪能否提高校准？关于多模态大语言模型中置信度的实证研究

Kaizhen Tan, Yang Feng, Heqing Du, Hanzhe Hong, Siru Tao, Xin Xu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文研究视觉标记修剪对模型校准的影响，通过POPE和ScienceQA-IMG数据集评估不同修剪策略下的ECE、Brier分数和AURC，发现修剪能提升校准而非仅牺牲效率，且基于显著性的修剪方法效果较差。

Compressing LLMs with MoP: Mixture of Pruners

用MoP压缩LLM：剪枝混合方法

Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Leandro Giusti Mugnaini, Keith Ando Ogawa, Lucas Pellicer, Rosimeire Pereira Costa, Edson Bollis, Anna Helena Reali Costa, Artur Jordao

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 MoP通过结合深度和宽度剪枝，提升了LLM的压缩效率和推理速度，同时在视觉-语言模型中实现了更高的计算效率。

Comments Code and models are available at: https://github.com/c2d-usp/Efficient-LLMs-with-MoP

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

RadSight：迈向感知可靠的多模态放射学图像理解

Jianqin Liu, Weiwei Cao, Wanxing Chang, Ruifeng Yuan, Bowen Shi, Zhilin Zheng, Xianjie Zhang, Ling Zhang, Peng Wang, Jianpeng Zhang

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） ； Hupan Lab（湖畔实验室） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对医学多模态大语言模型视觉解释可靠性低的问题，引入Perception-Bench基准分析问题。提出基于双2D/3D编码器架构的RadSight模型，经渐进课程学习训练，在多维度评估中优于现有模型，凸显低级视觉感知对可靠临床理解的关键作用。

DINO-VPT: Hierarchical Visual Prompt Tuning for Joint Physical-Digital Face Anti-Spoofing

DINO-VPT：用于联合物理-数字人脸反欺骗的分层视觉提示调整

Pierre Gallin-Martel, Mika Feng, Koichi Ito, Takafumi Aoki

机构 * Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对人脸反欺骗需求，提出DINO-VPT轻量级仅视觉框架，利用分层视觉提示调整，通过提示路由网络动态注入提示，无需多模态融合，在基准测试中比现有方法准确率更高，证明合理架构能达最优性能。

Comments accepted to IJCB2026

Marking the Wrong Symptoms: Evaluating LLM Watermarks in Medical Texts

标记错误症状：评估医学文本中的大语言模型水印

Melanie Rieff, Robin Staab, Thibaud Gloaguen, Stefan Hegselmann, Martin Vechev

机构 * ETH Zurich（苏黎世联邦理工学院） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林夏里特医学院柏林健康研究所） ； Deutsches Herzzentrum der Charité – Medical Heart Center of Charité and German Heart Institute Berlin（柏林夏里特医学院德国心脏中心与柏林德国心脏研究所） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 研究LLM水印对医学性能的影响，在11个LLM和7个VLM上对5种水印方案进行多任务基准测试，引入人类专家验证管道补充评估，发现水印会致多种退化，特定领域评估是医学中水印模型安全部署的前提。

LAVIFT: Latent-Action-Guided Vision Fine-Tuning for Surgical Interaction Recognition

LAVIFT：用于手术交互识别的潜在动作引导视觉微调

Jiajun Cheng, Subarna Tripathi, Sainan Liu, Xiaofan Yu, Shan Lin

机构 * Arizona State University（亚利桑那州立大学） ； University of California, Merced（加州大学默塞德分校） ； Intel Corporation（英特尔公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract_cn)；grounding(abstract)；分类 cs.CV

AI总结 研究针对手术交互识别中预训练模型适应细粒度交互的挑战，提出LAViFiT框架，通过逆动力学模型、前向世界模型及补丁级SIG正则化器，实现视觉语言微调，提升了识别率和图像-文本对齐，增强了特征基础和空间连贯性。

Patch Policy: Efficient Embodied Control via Dense Visual Representations

补丁策略：通过密集视觉表示实现高效具身控制

Gaoyue Zhou, Zichen Jeff Cui, Ada Langford, Bowen Tan, Yann LeCun, Lerrel Pinto

机构 * Courant Institute, New York University（纽约大学柯朗数学科学研究所） ； Meta-FAIR（Meta FAIR） ； AMI Labs（AMI 实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 研究利用预训练密集视觉特征，提出补丁策略，通过块因果注意力掩码等实现高效具身控制。该策略轻量级、快速且高效，在模拟和真实环境中相比其他策略有显著提升，为机器人社区利用视觉表示学习提供新途径。

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP：用于高效LVLM推理的预LLM文本驱动视觉令牌剪枝

Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院） ； School of Artificial Intelligence, Sun Yat-sen University（中山大学人工智能学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 针对大型视觉语言模型推理开销大的问题，提出CRISP框架，通过文本驱动在预LLM阶段剪枝视觉令牌，分两阶段工作，实验表明其在激进剪枝率下能保持高性能，降低推理成本和延迟，是高效LVLM推理的实用方案。

Comments Accepted by the 2026 IEEE International Conference on Multimedia and Expo (ICME 2026) as Oral

DSBench: A Comprehensive Benchmark for Evaluating External and In-Cabin Risks

DSBench：用于评估外部和车内风险的综合基准测试

Xianhui Meng, Yuchen Zhang, Zhijian Huang, Zheng Lu, Ziling Ji, Yandan Lin, Yaoyao Yin, Hongyuan Zhang, Wei Zhou, Guangfeng Jiang, Li Zhang, Long Chen, Hangjun Ye, Jun Liu, Xiaoshuai Hao

机构 * University of Science and Technology of China（中国科学技术大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Xiaomi EV（小米电动车） ； Fudan University（复旦大学） ； Xidian University（西安电子科技大学） ； South China University of Technology（华南理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 针对视觉语言模型在安全关键场景适用性未充分探索的问题，引入DSBench综合基准测试，涵盖外部与车内风险，分多类别。评估发现模型在复杂情况下降，构建数据集微调可提升性能，推动自动驾驶技术发展，相关资源将公开。

InfoFlow KV: Information-Flow-Aware KV Recomputation for Long Context

InfoFlow KV：面向长上下文的信息流感知KV重计算

Xin Teng, Canyu Zhang, Shaoyi Zheng, Danyang Zhuo, Tianyi Zhou, Shenji Wan

机构 * New York University（纽约大学） ； Duke University（杜克大学） 纠错

专题命中 VLM训练与架构 ：VLM(summary_cn)；vision-language model(abstract)；分类 cs.LG

AI总结 提出将选择性KV重计算建模为信息流问题，利用查询的注意力范数信号识别语义相关且结构上能传播信息的token，并引入信息流引导的块重排序策略，在LLM和VLM基准上优于现有方法。

Comments In proceedings of the 43rd International Conference on Machine Learning (ICML 2026). Project page: https://infoflow-kv.github.io

Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment

通过表示锚定和语言-动作对齐实现可泛化的视觉语言动作微调

Dwip Dalal, Shivansh Patel, Chahit Jain, Jeonghwan Kim, Utkarsh Mishra, Alex Baratian, Hyeonjeong Ha, Heng Ji, Svetlana Lazebnik, Unnat Jain

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Texas A&M University（德州农工大学） ； University of California, Irvine（加州大学欧文分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 研究针对VLA策略微调中存在的问题提出Anchor-Align方法，通过视觉语言锚定和语言-动作对齐两个目标增强BC，在物理机器人和模拟测试中均有效果提升，表明保留预训练表示与有效动作学习可兼顾。

Comments Code: https://github.com/dwipddalal/Anchor-Align

MMRM: A Multiplex Multimodal Representation Model for Product Ranking in E-commerce Search

MMRM：一种用于电子商务搜索中产品排名的多重多模态表示模型

Zhen-Lin Chen, Maosen Sheng, Peng Lin, Jianmin Chen, Zhuojian Xiao, Dongyue Wang, Xiwei Zhao

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG

AI总结 针对电子商务搜索排名中多模态信息利用的局限，提出MMRM框架，通过共享主干从多信号学习生成多重商品表示，引入多重用户表示策略，并经实验验证其有效性，已成功应用于京东搜索引擎提升性能。

Comments Accepted by SIGIR2026

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

BigMac: 打破多模态大语言模型训练中的计算与内存帕累托前沿

Zili Zhang, Chengxu Yang, Shenglong Zhang, Chenyu Wang, Yufan Zhang, Tuo Dai, Zhouyang Li, Yuhong Ge, Chao Jin, Xin Jin, Yuliang Liu

机构 * Peking University（北京大学） ； Independent Researcher（独立研究员） ； Xiaohongshu, Inc（小红书公司） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.LG

AI总结 提出BigMac训练流水线，通过嵌套编码器和生成器计算到LLM流水线中，同时优化计算效率和内存使用，打破帕累托前沿。