AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
LongVT: 通过原生工具调用激励'通过长视频思考'
机构 * MiroMind ； NTU（国立台湾大学） ； HKUST(GZ)（香港科技大学（广州）） ； THU（清华大学） ； LMMs-Lab（LMMs实验室）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出LongVT，一种端到端的代理框架，通过交错的多模态工具链式思考实现'通过长视频思考'，通过利用LMM的固有时间定位能力作为原生视频裁剪工具，以解决长视频推理中的幻觉问题，并通过VideoSIAH数据集提升训练和评估效果。
Comments CVPR 2026
MAP4TS: 一个用于基于大语言模型的时间序列预测的多方面提示框架
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL
AI总结 本文提出MAP4TS框架，通过将经典时间序列分析融入提示设计，提升大语言模型在时间序列预测中的性能，实验表明其在多个数据集上均优于现有方法。
Comments There is a error in modeling. Thereafter, paper will be revised and re-uploaded
随机均值流策略：带有熵镜降的一步生成控制
机构 * Laboratory for Big Data and Decision（大数据与决策实验室） ； National University of Defense Technology（国防科技大学） ； Samsung AI Center Cambridge（三星AI研究中心） ； Queen Mary University of London（伦敦玛丽女王大学） ； Fudan University（复旦大学） ； ShanghaiTech University（上海科技大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出了一种随机均值流策略（SMFP），通过均值流变换将高斯噪声映射到动作，以实现可训练的生成策略，从而在离线策略镜降框架下实现探索性且稳定的改进。
基于行为的候选校准用于多模态推荐
专题命中 跨模态检索 ：multimodal(title,abstract)
AI总结 本文提出了一种基于行为的候选校准方法，通过将训练-only的共用户重叠转换为带符号的候选证据，并仅应用于多模态骨干网络生成的短名单，以提高多模态推荐系统的性能。
监督分类头作为语义原型：通过权重重用解锁视觉-语言对齐
机构 * Department of Computer Science and Artificial Intelligence, DaSCI Institute, University of Granada, Granada, Spain（计算机科学与人工智能系，DaSCI研究所，格拉纳达大学，格拉纳达，西班牙） ； Department of Mathematics ``Tullio Levi-Civita'', University of Padova, Padova, Italy（托里利-西维塔数学系，帕多瓦大学，帕多瓦，意大利）
专题命中 跨模态检索 ：cross-modal(abstract)；image-text(abstract)；分类 cs.CV
AI总结 本文提出利用预训练视觉模型的分类头作为语义原型，通过权重重用实现视觉-语言对齐，提升跨模态检索、零样本和少样本分类任务的性能。
FashionLens：通过任务自适应学习实现多功能时尚图像检索
机构 * School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院） ； Department of Data Science, City University of Hong Kong（香港城市大学数据科学系） ； Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） ； Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所） ； School of Information Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）信息科学与技术学院） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出FashionLens框架，通过任务自适应学习实现多功能时尚图像检索，解决现有方法无法处理多样检索需求的问题。
Bernini: 视频扩散中的潜在语义规划
机构 * Bernini Team（伯尼尼团队）
专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM
AI总结 本文提出Bernini框架，通过将大规模多模态语言模型用于语义规划，扩散模型用于像素生成，实现了视频生成与编辑的统一方法，提升了编辑任务的泛化能力。
Comments Project Page: https://bernini-ai.github.io/
分布式图像压缩与多模态侧信息在极低比特率下的应用
机构 * School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出了一种多模态分布式图像压缩框架（MDIC），通过利用多模态侧信息在极低比特率下实现高质量图像重建，核心方法是引入文本到图像扩散解码器和特征掩码生成器，以提升全局感知质量和局部细节保留能力。
Comments Accepted by CVPR2026
VChain：用于视频生成中推理的视觉思维链
机构 * eyeline-labs（Eyeline Labs）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出VChain，一种在视频生成中引入多模态模型视觉推理信号的新型推理时间视觉思维链框架，通过生成关键帧来指导预训练视频生成器的稀疏推理时间视觉状态适应，从而提升视频生成质量。
Comments ACL 2026 (Findings Paper), ICCV 2025 Workshop Outstanding Paper Award, Project page: https://eyeline-labs.github.io/VChain
多样且一致：基于能量的联合细化的上下文引导扩散用于多智能体运动预测
机构 * University of Southern California（南加州大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出了一种基于扩散的框架，通过利用历史轨迹中的丰富上下文信息来改进多智能体运动预测，通过引导机制增强预测动作的多样性和表达性，并引入基于能量的公式来细化联合轨迹分布，同时保持个体轨迹的合理性，实验表明该方法在多个基准数据集上均优于现有方法。
Comments MEIS-- CVPR
Lens：重新思考基础文本到图像模型的训练效率
机构 * Microsoft Lens Team（微软Lens团队）
专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV
AI总结 本文提出Lens，一个具有38亿参数的文本到图像模型，在多种基准测试中表现与超过60亿参数的最新模型相当甚至更优，同时训练计算需求显著降低。通过最大化训练批次的数据信息密度和改进收敛速度的架构选择，实现了高效的训练和优化。
Comments Project Page: https://github.com/microsoft/Lens
Multimodal-NF: 一种用于近场低空传感与通信的无线数据集
专题命中 多模态评测 ：multimodal(title,title_cn)
AI总结 本文提出Multimodal-NF数据集，用于近场低空极端大规模多输入多输出系统，通过融合多种模态数据提升无线传感与通信任务的性能。
衡量跨模态协同：VLM可解释性的一个基准
机构 * University of Luxembourg（卢森堡大学） ； Luxembourg Institute of Health (LIH)（卢森堡健康研究院）
专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.AI
AI总结 本文提出Synergistic Faithfulness作为衡量VLM跨模态协同的指标，解决了传统单模态评估方法在评估VLM可解释性时的不足，通过引入Shapley交互指数，实现了对多模态协同的准确评估，同时提升了计算效率。
视见之代价：在单体范式内实现可信的多模态推理
机构 * IIIT Delhi, India（德里印度理工学院）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种新的多模态评估方法，通过信息论视角揭示了多模态推理中的视见代价问题，提出了三个新指标并提出了语义充分性准则，挑战了传统多模态评估方法。
Comments Addresses practical viability of Vlabel construction. Writing is grounded. Acknowledgement is duly added
MOTOR: 两轮车骑行行为理解的多模态数据集
机构 * CVIT, IIIT-Hyderabad（IIIT-海得拉巴学院计算机视觉研究所）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出MOTOR数据集，用于研究两轮车在密集无结构交通中的骑行行为，通过多视角、多模态数据融合，为自动驾驶辅助系统提供新的研究基础。
AgroTools: 一个用于农业中增强工具的多模态代理基准
机构 * Sun Yat-Sen University（中山大学） ； Southwest University（西南大学） ； Northeastern University（东北大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； Southwest Jiaotong University（西南交通大学） ； China Agricultural University（中国农业大学） ； Tsinghua University（清华大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出AgroTools基准，用于评估农业中增强工具的多模态代理，通过539个问题-答案实例和1097张异构农业图像，评估模型在工具使用中的执行质量和任务成功率。
弱监督跨模态学习用于4D雷达场景流估计
机构 * Zhejiang University, Hangzhou, Zhejiang, China（浙江大学） ； Zhejiang Provincial Key Laboratory of Multi-Modal Communication Networks and Intelligent Information Processing（浙江省多模态通信网络与智能信息处理重点实验室） ； Singapore University of Technology and Design（新加坡科技设计大学）
专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 本文提出了一种弱监督的雷达场景流学习框架，利用图像和里程计进行辅助监督，通过实例感知的自监督损失和静态区域的刚性损失，实现了更高效的场景流估计。
Comments Accepted by ICML2026
模态迷失：评估基于文本的成员推断攻击在大型多模态模型中的有效性
机构 * Japan Advanced Institute of Science and Technology - Information Science（日本科学技术先进研究院-信息科学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI
AI总结 本文评估了基于文本的成员推断攻击（MIAs）在多模态模型中的有效性，发现其在分布内设置中表现相似，而在分布外设置中视觉输入起到正则化作用，有效掩盖了成员信号。
Comments accepted by ESANN 2026
向大规模多模态模型选择作为医疗图像中已烧毁保护健康信息检测引擎的方向
机构 * QwenLM（通义实验室）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文研究了如何利用大规模多模态模型进行医疗图像中保护健康信息的检测，通过对比三种主流模型在不同流程配置下的表现，发现大规模多模态模型在OCR性能上优于传统方法，但整体检测准确性提升不显著，尤其在复杂印模模式测试中表现更优，并提出了针对特定操作约束的模型选择建议和部署策略。
Comments Accepted at EMBC 2026
癫痫半相学套件（S3）：一个临床多模态数据集、基准和模型用于癫痫半相学理解
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Pittsburgh（匹兹堡大学） ； Fudan University（复旦大学） ； University of California, Riverside（加州大学河滨分校） ； Hong Kong University of Science（香港科学大学） ； Maharishi International University（玛希拉国际大学）
专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV
AI总结 本文提出S3数据集和基准，用于细粒度、结构化的癫痫半相学理解，通过评估多模态大语言模型在低级视觉感知、时间序列处理、叙述报告生成和癫痫诊断中的能力，揭示了现有模型在左右脑推理、时间定位、症状序列和临床忠实报告方面的系统性弱点，并展示了针对癫痫的微调和双阶段神经符号框架在癫痫与非癫痫癫痫分类中的高F1分数。
Comments Accepted to ICML 2026 as a Spotlight presentation
CryoNet：一种用于多模态冰川覆盖区制图的深度学习框架。帕iqu盆地，中央喜马拉雅地区案例研究
机构 * University of Sannio（萨恩尼奥大学） ； Graz University of Technology（格拉茨技术大学）
专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV
AI总结 本研究提出CryoNet，一种利用多模态数据集的深度学习框架，用于区分干净冰川、覆盖冰川和冰湖，通过在喜马拉雅中央帕iqu盆地的案例研究展示了其在复杂高山环境中的有效性。
Comments 15 pages, 10 figures, 5 tables. Preprint submitted to IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS); currently under review
迈向现实的Wi-Fi故障诊断：一个多模态基准
专题命中 多模态评测 ：multi-modal(title,abstract)
AI总结 本文提出一个多模态基准，用于评估Wi-Fi故障诊断方法，通过构建现实中的Wi-Fi测试床和收集超过10,000个故障样本的数据集，揭示了现有方法在利用异构操作数据方面的挑战，并评估了新兴的LLM方法。
MM-Conv: 一种多模态数据集和基准，用于上下文感知的3D对话中指代解析
机构 * KTH Royal Institute of Technology（皇家理工学院）
专题命中 多模态评测 ：multimodal(title)；分类 cs.CV、cs.CL
AI总结 本文提出了一种多模态数据集和基准，用于在动态3D环境中实现上下文感知的指代解析，通过引入包含6.7小时第一人称VR交互的同步语音、动作、注视和3D场景几何数据的基准，以及一个两阶段的指代解析流水线，改进了对话中的指代解析性能。
Comments Extended version of the paper published at LREC 2026 (Palma de Mallorca, Spain), with expanded VLM baselines and inter-annotator agreement analysis
Journal ref Proceedings of the 15th Language Resources and Evaluation Conference (LREC 2026), Palma de Mallorca, Spain
重新审视图像与元数据整合用于DICOM系列分类：交叉注意力与字典学习
机构 * Bayer AG（勃林格殷曼公司）
专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出了一种端到端的多模态框架，用于DICOM系列分类，通过联合建模图像内容和获取元数据，显式考虑异质切片内容、可变系列长度和完全缺失、不完整或不一致的DICOM元数据等挑战。
Comments Early acceptance at MICCAI 2026
SplAttN: 通过高斯软溅射和注意力在2D和3D之间架桥以实现点云补全
机构 * School of Computing and Artificial Intelligence（计算与人工智能学院） ； Southwest Jiaotong University（西南交通大学） ； Chengdu, China（中国成都）
专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出SplAttN方法，通过高斯软溅射和注意力机制解决点云补全中2D和3D模态连接问题，改进了传统硬投影导致的跨模态熵塌陷问题，实现了更有效的跨模态连接学习。
Comments Accepted as a Spotlight paper at ICML 2026; camera-ready version
感知还是偏见：大语言模型能否超越个性的第一印象？
机构 * The University of Tokyo（东京大学） ； Shanda AI Research Tokyo（Shanda AI 研究所东京） ； Dalian University of Technology（大连理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 本文探讨了多模态大语言模型（MLLMs）在感知个性方面的能力，提出了一种新的任务Grounded Personality Reasoning（GPR），并构建了一个新的数据集MM-OCEAN，通过三重评估体系揭示了MLLMs在人格推理中的偏见问题。
SDGBiasBench: 评估和减轻可持续发展目标中视觉-语言模型的偏见
机构 * Nanyang Technological University（南洋理工大学）
专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出SDGBiasBench，一个用于评估和减轻可持续发展目标中视觉-语言模型偏见的大型基准测试集，通过分析模型在决策和估计层面的偏见，提出CADE方法以减少偏见，提高模型的准确性和可靠性。
AtelierEval: 人类与LLM作为文本到图像提示器的代理评估
机构 * New York University Abu Dhabi（纽约大学阿布扎克校区） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） ； The Hong Kong Polytechnic University（香港理工大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI
AI总结 本文提出AtelierEval，首个统一基准，通过360个专家设计的任务量化提示能力，引入技能基于的记忆增强代理评估器，实现与人类专家的高相关性，验证了提示器在图像增强方向的优越性。
Comments Accepted by ICML 2026
从识别到推理：在现实世界收据文档理解上对齐和增强MLLMs
机构 * Zhejiang University（浙江大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出ReceiptBench基准，通过四个层次化子任务提升收据信息提取的结构一致性，并提出两阶段训练框架GRPO，通过强化学习信号提升模型性能，实验证明其在复杂推理任务上的优越性。
AEGIS：一个评估人工智能生成学术图像取证分析的综合基准
机构 * Beijing University of Posts and Telecommunications（北京邮电大学）
专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出AEGIS基准，通过七个学术类别和39个细粒度子类型覆盖，揭示了人工智能生成学术图像取证分析的内在难度，同时评估了多种模型在检测、推理和定位方面的性能，揭示了不同模型家族的互补优势。
Comments Accepted to ACL 2026 Main Conference
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈