多模态大模型

Semantic Context-aware mOdality fUsion Transformer (SCOUT): A Context-Aware Multimodal Transformer for Concept-Grounded Pathology Report Generation

语义上下文感知的多模态融合变换器（SCOUT）：一种基于概念的多模态变换器，用于病理报告生成

Suryakant Singh, Saarthak Kapse, Joel Saltz, Prateek Prasanna

机构 * Stony Brook University（石桥大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SCOUT通过整合局部组织学模式、整张滑片上下文和专家编纂的语义描述符，实现病理报告生成的语义上下文感知，提升临床相关性和可解释性。

AttnRouter: Per-Category Attention Routing for Training-Free Image Editing on MMDiT

AttnRouter：基于MMDiT的无训练图像编辑的类别级注意力路由

Guandong Li, Mengxia Ye

机构 * iFLYTEK ； Aegon THTF 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出AttnRouter，通过类别级路由表优化MMDiT的无训练图像编辑，实验显示其在CLIP-T+DINO-I复合指标上提升6.4%，且自动分类器在仅55%类别准确率下关闭98%的差距。

Comments 11 pages, 7 figures

MedGemma 1.5 Technical Report

MedGemma 1.5 技术报告

Andrew Sellergren, Chufan Gao, Fereshteh Mahvar, Timo Kohlberger, Fayaz Jamil, Madeleine Traverse, Alberto Tono, Bashir Sadjad, Lin Yang, Charles Lau, Liron Yatziv, Tiffany Chen, Bram Sterling, Kenneth Philbrick, Richa Tiwari, Yun Liu, Madhuram Jajoo, Chandrashekar Sankarapu, Swapnil Vispute, Harshad Purandare, Abhishek Bijay Mishra, Sam Schmidgall, Tao Tu, Anil Palepu, Chunjong Park, Tim Strother, Rahul Thapa, Yong Cheng, Preeti Singh, Kat Black, Yossi Matias, Katherine Chou, Avinatan Hassidim, Kavi Goel, Joelle Barral, Tris Warkentin, Shravya Shetty, Dale Webster, Sunny Virmani, David F. Steiner, Can Kirmizibayrak, Daniel Golden

机构 * Google Research and Google DeepMind（谷歌研究与谷歌深Mind） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 MedGemma 1.5 增强了医学影像处理、解剖定位和多时间点胸部X光分析能力，显著提升了3D MRI和CT分类精度，并在病理图像和临床知识推理中取得突破性进展。

InsTraj: Instructing Diffusion Models with Travel Intentions to Generate Real-world Trajectories

InsTraj: 通过旅行意图指导扩散模型生成真实世界轨迹

Yuanshao Zhu, Yuxuan Liang, Xiangyu Zhao, Liang Han, Xinwei Fang, Xun Zhou, Xuetao Wei, James Jianqiao Yu

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学理工大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； University of York（约克大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 InsTraj通过自然语言描述指导扩散模型生成真实、多样且符合指令的轨迹，解决传统方法在理解和生成复杂用户意图及约束条件上的不足。

AVI-Edit: Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner

AVI-Edit: 基于粒度感知掩码细化的音频同步视频实例编辑

Haojie Zheng, Shuchen Weng, Jingqi Liu, Siqi Yang, Boxin Shi, Xinlong Wang

机构 * School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； State Key Lab of Multimedia Info. Processing, School of Computer Science, Peking University（北京大学计算机学院多媒体信息处理国家重点实验室） ； Nat’l Eng. Research Ctr. of Visual Tech., School of Computer Science, Peking University（北京大学计算机学院视觉技术工程研究中心） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV

AI总结 本文提出AVI-Edit框架，通过粒度感知掩码细化和自反馈音频代理，实现音频同步的高质量视频实例编辑，提升了空间和时间控制精度。