AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
理解异构多模态大语言模型（MLLM）融合中的知识迁移机制：一种简单线性方法
专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV
AI总结 该研究针对异构MLLM跨规模知识迁移机制，提出CDPI线性探针，经多组模型与基准测试发现，融合增益集中于高层推理，且正向迁移多发生在小比率区间。
Comments 17 pages, 6 figures; includes supplementary material. Revised presentation and terminology; results unchanged
GeoBridge：用于生成式图像地理定位的解耦语义条件机制
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； School of Advanced Interdisciplinary Sciences（先进交叉科学学院） ； School of Electronic, Electrical and Communication Engineering（电子电气与通信工程学院） ； Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV
AI总结 GeoBridge是一种解耦语义条件机制，通过连接冻结语义MLLM与黎曼流匹配头，在IM2GPS3K数据集上25/200/750公里阈值下准确率达38.67/52.89/70.37，提升了生成式图像地理定位性能，属解码侧算法贡献。
多语言OCR感知微调和提示引导的链式思维推理用于多模态大语言模型
机构 * Meta AI ； UT Austin（德克萨斯大学奥斯汀分校）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL
AI总结 提出一种多语言OCR感知的多模态训练框架，通过合成数据生成、OCR感知微调和结构化视觉链式思维提示，提升多模态大语言模型在复杂视觉条件下的OCR完整性和多语言翻译准确性。
EGM-Det：面向无人机RGB-IR目标检测的熵引导多模态自适应融合
机构 * School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院） ； School of Automation and Software Engineering, Shanxi University（山西大学自动化与软件学院）
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 本文提出EGM-Det框架，通过熵引导多模态自适应融合解决无人机RGB-IR目标检测中模态可靠性被忽略的问题，在三个数据集上实现最优性能，VEDAI上较现有方法提升超10个百分点。
Comments 14 pages, 7 figures, 6 tables
运动即提示：通过运动引导的跨帧视觉提示增强多模态大语言模型的运动推理能力
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文针对多模态大语言模型处理视频时丢失帧间关键运动信息的问题，提出Motion-as-Prompt框架，通过标记轨迹增强视觉提示，在CLEVRER等数据集上提升GPT-5.5的运动推理准确率且不影响非运动理解
用于临床文本引导的医学图像分割的双域跨模态解码
机构 * Texas A&M University（德克萨斯农工大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI
AI总结 本文针对临床文本引导医学图像分割忽略频率内容的问题，提出双域跨模态解码（DD-CMD）方法，在两个公开数据集上均优于现有最强基线。
Comments Accepted at MICCAI 2026 (Main). Final version to appear in the MICCAI 2026 proceedings
LEMUR：基于视觉锚定推理重定向的潜在熵感知多模态遗忘
专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL
AI总结 针对原生RL训练多模态模型的隐私泄漏问题，提出基于熵动态的无训练推理时遗忘框架LEMUR，可更有效地抑制敏感信息在推理轨迹和答案中的泄漏，同时保留模型非敏感效用。
GeoUniPR：用于跨模态地点识别的几何一致性统一框架
机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Research Institute for Intelligent Autonomous System, Tongji University（同济大学上海智能自主系统研究院） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 本研究提出GeoUniPR框架，通过构建几何一致性深度图像视图并引入SC-InfoNCE损失，在无需复杂对齐模块的情况下，实现了跨模态地点识别的最优性能与良好泛化能力。
Comments 17 pages, 10 figures
RankByGene: 通过跨模态排序一致性实现基因引导的组织病理学表示学习
机构 * Stony Brook University（石英溪大学） ； Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School（阿提诺拉A.马丁努斯生物医学影像中心，麻省总医院和哈佛医学院） ； Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Pathology and Cell Biology, Columbia University（病理学与细胞生物学系，哥伦比亚大学）
专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV
AI总结 提出基于排序对齐损失的框架，利用教师-学生网络自监督知识蒸馏，解决空间转录组学与组织学图像的对齐问题，在基因表达预测、切片分类和生存分析任务中表现优异。
Comments 12 pages, 8 figures, accepted by TMI'26
用于多模态IPMN风险分层的堆叠集成的高斯元空间增强
机构 * Northwestern University（西北大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Istanbul University（伊斯坦布尔大学） ； Mayo Clinic Florida（佛罗里达州梅奥诊所）
专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV
AI总结 该研究针对IPMN风险分层问题，提出cUPMI方法并结合多模态信息融合，构建RF堆叠模型，在多中心分析中取得优于基线的性能。
Comments Accepted at the International Workshop on Machine Learning in Medical Imaging (MLMI 2026), held in conjunction with MICCAI 2026. This is the authors' accepted manuscript; the final version will appear in Springer Lecture Notes in Computer Science (LNCS). 11 pages, 3 figures
AWARe：基于激活加权的自适应保留缓解灾难性遗忘
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； School of Artificial Intelligence, Sun Yat-Sen University（中山大学人工智能学院） ； Graduate School of Information Science, Hokkaido University（北海道大学信息科学研究院）
专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL
AI总结 针对多模态大语言模型微调时的灾难性遗忘问题，提出无需修改架构的AWARe方法，通过激活加权控制参数更新，在保留上游能力的同时提升下游性能。
FM-LLM：一种用于适配大语言模型（LLMs）进行时间序列预测的频率增强型混合专家框架
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； China Telecom Research Institute（中国电信研究院）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.AI
AI总结 本研究提出FM-LLM框架，通过频谱标记对齐器与非对称MoE解码器等设计，在11个基准的多数指标上优于现有LLM基线，且具备良好迁移性。
Journal ref R. Gu, Y. Ding, J. Li, Y. Ding, W. Sang, X. Huo, X. Qin, and Y. Ji, Knowl.-Based Syst., vol.341, p.115776, 2026
ProtoHGF-Net：用于RGBT目标检测的模态内校准原型超图融合网络
机构 * Zhejiang Normal University（浙江师范大学） ； National University of Defense Technology（国防科技大学）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 针对现有RGBT目标检测方法密集跨模态交互易引入背景干扰的问题，提出ProtoHGF-Net框架，通过原型级语义交互与教师掩码校准蒸馏技术，在三个公开数据集上取得最优性能。
Comments Accepted to ACM MM 2026
UniSemAlign：基于基础编码器的文本-原型对齐用于半监督病理分割
机构 * AI VIETNAM Lab, Vietnam（AI VIETNAM实验室，越南） ； Hanoi University of Science and Technology, Vietnam（河内科技大学，越南）
专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV
AI总结 UniSemAlign通过引入显式类别结构提升视觉分割，利用共享嵌入空间中的原型和文本对齐分支，减少类别模糊性并稳定伪标签优化，实验表明其在有限标注下显著优于现有半监督方法。
Comments Accepted at CVPR 2026 Workshop. 11 pages, 5 figures, 4 tables
Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2026, pp. 6803--6813
QUARTZ：通过可访问表示与可视化实现定性理解
专题命中 多模态训练与对齐 ：multimodal(abstract)
AI总结 该研究针对盲人和低视力研究者无法访问定性数据可视化的问题，提出基于网络的QUARTZ系统，通过用户研究揭示相关障碍并提出设计准则，以提升该群体参与定性研究的可访问性。
Comments 24 pages, accepted at ASSETS 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈