多模态大模型

LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

LLaVA-OneVision-2：迈向下一代感知智能

Xiang An, Yin Xie, Feilong Tang, Yunyao Yan, Huajie Tan, Didi Zhu, Changrui Chen, Xiuwei Zhao, Bin Qin, Kaicheng Yang, Yifei Shen, Yuanhan Zhang, Kaichen Zhang, Wenkang Zhang, Zheng Cheng, Nansen Zhang, Chunsheng Wu, Chunjiang Ge, Zimin Ran, Dehua Song, Chunyuan Li, Shikun Feng, Ming Hu, Zhangquan Chen, Junbo Niu, Bo Li, Ziyong Feng, Ziwei Liu, Zongyuan Ge, Jiankang Deng

机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康AI实验室） ； MVP Lab（MVP实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出LLaVA-OV-2模型，通过编解码流令牌化、窗口注意力和3D RoPE实现统一视频理解与时空定位，在多项基准上超越Qwen3-VL-8B。

Non-Invasive Reconstruction of Intracranial EEG Across the Deep Temporal Lobe from Scalp EEG based on Conditional Normalizing Flow

基于条件归一化流的从头皮脑电无创重建深颞叶颅内脑电

Dongyi He, Bin Jiang, Kecheng Feng, Luyin Zhang, Ling Liu, Yuxuan Li, Yun Zhao, He Yan

机构 * School of Artificial Intelligence, Chongqing University of Technology（重庆理工大学人工智能学院） ； School of Smart Health, Chongqing Polytechnic University of Electronic Technology（重庆电子工程职业大学智能健康学院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出NeuroFlowNet，一种基于条件归一化流的跨模态生成框架，首次从头皮脑电信号重建整个深颞叶区域的颅内脑电信号，解决了高保真重建的难题。

The Concept Allocation Zone: Tracking How Concepts Form Across Transformer Depth

概念分配区：追踪概念如何跨越Transformer深度形成

James Henry

机构 * Independent Researcher（独立研究者） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出概念分配区（CAZ）框架，通过层间度量（分离度、概念一致性、概念速度）检测概念在残差流中逐渐形成的深度区间，并在34个模型上验证了分离曲线的多模态性及温和CAZ的因果活性。

Comments 34 models, 8 architectural families, 7 concepts. Companion papers: GEM (arXiv forthcoming), CAZ Validation (arXiv forthcoming), PRH Validation (arXiv forthcoming). Code: https://github.com/jamesrahenry/Rosetta_Tools

Sensor2Sensor: Cross-Embodiment Sensor Conversion for Autonomous Driving

Sensor2Sensor: 自动驾驶的跨本体传感器转换

Jiahao Wang, Bo Sun, Yijing Bai, Vincent Casser, Songyou Peng, Zehao Zhu, Meng-Li Shih, Xander Masotto, Shih-Yang Su, Kanaad V Parvate, Tiancheng Ge, Linn Bieske, Dragomir Anguelov, Mingxing Tan, Chiyu Max Jiang

机构 * Waymo ； Johns Hopkins University（约翰霍普金斯大学） ； Google DeepMind（谷歌DeepMind） ； University of Washington（华盛顿大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出Sensor2Sensor生成模型，将单目行车记录仪视频转换为多模态传感器数据（多视角相机图像和LiDAR点云），通过4D高斯泼溅重建和扩散架构解决无配对数据问题，为自动驾驶开发解锁外部数据源。

Comments Accepted by CVPR 2026

Multi-Pair Temporal Sentence Grounding via Multi-Thread Knowledge Transfer Network

多对时序句子定位的多线程知识迁移网络

Xiang Fang, Wanlong Fang, Changshuo Wang, Daizong Liu, Keke Tang, Jianfeng Dong, Pan Zhou, Beibei Li

机构 * Sichuan University（四川大学） ； Nanyang Technological University, Singapore（南洋理工大学，新加坡） ； Peking University（北京大学） ； Guangzhou University（广州大学） ； Zhejiang Gongshang University（浙江工商大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出多对时序句子定位新任务，并设计多线程知识迁移网络，通过跨模态对比、原型对齐和自适应负样本选择实现多对视频-查询对的协同训练。

Comments Accepted by AAAI 2025

Tensor train methods for high-dimensional nonlinear filtering problems with correlated noise

相关噪声下高维非线性滤波问题的张量列方法

Yuhua Meng, Stephen S. -T. Yau, Zhiwen Zhang

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 针对相关噪声导致的高维DMZ方程，提出基于张量列（TT）的框架，通过空间离散和半隐式Milstein格式实现高效求解，并给出收敛性分析。

A Multi-Armed Bandit-Based Participant Selection Method for Federated Recommendation Systems

基于多臂老虎机的联邦推荐系统参与者选择方法

Jintao Liu, Mohammad Goudarzi, Adel Nadjaran Toosi

专题命中 视频多模态 ：multimodal(abstract)

AI总结 针对联邦推荐系统在边缘-云环境中因系统与统计异构性导致的模型收敛与推荐质量平衡难题，提出一种基于多臂老虎机的动态参与者选择框架，通过客户端效用函数联合评估历史信誉、数据质量和实时延迟，并利用上置信界策略平衡探索与利用，实验表明该方法在多种数据偏斜场景下训练效率提升32-50%，Recall@50提升约5%。

Comments Accepted in IEEE/ACM CCGRID 2026

Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval

多模态跨域对齐网络用于视频时刻检索

Xiang Fang, Daizong Liu, Pan Zhou, Yuchong Hu

机构 * Hubei Key Laboratory of Distributed System Security（湖北分布式系统安全重点实验室） ； Hubei Engineering Research Center on Big Data Security（湖北大数据安全工程研究中心） ； School of Cyber Science and Engineering（网络安全学院） ； Huazhong University of Science and Technology（华中科技大学） ； Wangxuan Institute of Computer Technology（王轩计算机技术研究所） ； Peking University（北京大学） ； School of Computer Science and Technology（计算机科学与技术学院） ； Key Laboratory of Information Storage System Ministry of Education of China（信息存储系统教育部重点实验室） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出多模态跨域对齐网络，通过域对齐、跨模态对齐和特定对齐三个模块，解决跨域视频时刻检索中域差异和语义鸿沟问题。

Comments Accepted by IEEE Transactions on Multimedia

Mode-as-Sequence: Translating Multimodal Motion Prediction into Unified Sequential Mode Modeling

模式即序列：将多模态运动预测转化为统一序列模式建模

Zikang Zhou, Haibo Hu, Xinhong Chen, Yifan Zhang, Nan Guan, Yung-Hui Li, Chun Jason Xue, Jianping Wang

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） ； Hon Hai Research Institute（富士康研究学院） ； Mohamed bin Zayed University of Artificial Intelligence（莫莫丁·宾·扎耶德人工智能大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Mode-as-Sequence框架，将无序模式集转化为有序模式序列并显式建模模式间依赖，通过ModeSeq和Parallel ModeSeq两种实例化方法解决多模态运动预测中的模式坍塌和置信度排序问题，在Waymo数据集上取得领先性能。

Brain-to-Image Retrieval and Reconstruction via Multimodal EEG Alignment

通过多模态EEG对齐实现脑到图像的检索与重建

Chi Kit Wong, Yan Liu, Haowen Yan

专题命中 跨模态检索 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

AI总结 提出一种脑到图像系统，通过多模态EEG对齐实现自然图像观看时的视觉刺激解码，在检索任务中达到86.30%的Top-1准确率，在重建任务中获得0.903的CLIP分数。

Comments 16 pages, 5 figures. Code available at: https://github.com/Chikit-WONG/DL_Project/

Unveil: Unified Visual-Textual Integration and Distillation for Multi-modal Document Retrieval

Unveil: 统一视觉-文本集成与蒸馏的多模态文档检索

Hao Sun, Yingyan Hou, Jiayan Guo, Bo Wang, Chunyu Yang, Jinsong Ni, Yan Zhang

机构 * State Key Laboratory of General Artificial Intelligence, Peking University（北京理工大学通用人工智能国家重点实验室） ； School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所） ； Key Laboratory of Target Cognition and Application Technology（目标认知与应用技术重点实验室） ； Beijing Institute of Technology（北京理工大学） ； Ucap Cloud（Ucap云） 纠错

专题命中 跨模态检索 ：multi-modal(title)；分类 cs.CV、cs.CL

AI总结 提出Unveil框架，通过视觉-文本嵌入和知识蒸馏实现鲁棒的文档检索，兼顾布局与语义信息。

Comments ACL 2025 Main Conference

FreeRet: MLLMs as Training-Free Retrievers

FreeRet: 无需训练的多模态大语言模型检索器

Yuhan Zhu, Xiangyu Zeng, Chenting Wang, Xinhao Li, Chunxu Liu, Yicheng Xu, Ziang Yan, Yi Wang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Lab（上海人工智能实验室） ； Shanghai Jiaotong University（上海交通大学） ； Institute of Science Tokyo（东京科学研究院） ； Zhejiang University（浙江大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 提出FreeRet框架，将现成的多模态大语言模型转化为无需额外训练的两阶段检索器，通过语义嵌入和重排序提升检索性能。

Comments ICML 2026

UniRank: End-to-End Domain-Specific Reranking of Hybrid Text-Image Candidates

UniRank: 混合文本-图像候选的端到端领域特定重排序

Yupei Yang, Lin Yang, Wanxi Deng, Lin Qu, Shikui Tu, Lei Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出UniRank，一种基于视觉语言模型的重排序框架，通过无需模态转换的统一评分和端到端领域适应（包括指令微调和基于强化学习的偏好对齐），在科学文献检索和设计专利搜索中显著提升性能。

AnyMo: Geometry-Aware Setup-Agnostic Modeling of Human Motion in the Wild

AnyMo：野外人体运动的几何感知与设置无关建模

Baiyu Chen, Zechen Li, Wilson Wongso, Lihuan Li, Xiachong Lin, Hao Xue, Benjamin Tag, Flora Salim

机构 * The University of New South Wales（新南威尔士大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出AnyMo框架，通过物理模拟生成多样化IMU信号、图编码器预训练和LLM对齐，实现跨设备/数据集的零样本活动识别、跨模态检索和运动描述，性能显著提升。

Adversarial Orthogonal Disentanglement for LVLM Hallucination Mitigation

对抗正交解缠用于LVLM幻觉缓解

Ruoxi Cheng, Haoxuan Ma, Zhengfei Hai, Yiyan Huang, Ranjie Duan, Tianle Zhang, Xu Yang, Ziyi Ye, Xingjun Ma

机构 * Fudan University（复旦大学） ； Tencent（腾讯） ； Nanjing University（南京大学） ； Southeast University（东南大学） ； Great Bay University（大坝大学） ； TeleAI, China Telecom（TeleAI，中国电信） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出对抗正交解缠（AOD）框架，通过最小最大目标学习幻觉相关方向，并利用双前向对比解码策略，在不需额外训练的情况下缓解大型视觉语言模型（LVLM）的幻觉问题。

Your Embedding Model is SMARTer Than You Think

你的嵌入模型比你想象的更聪明

Jianrui Zhang, Hyun Jung Lee, Sukanta Ganguly, Tae-Eui Kam, Donghyun Kim, Yong Jae Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校） ； Korea University（韩国大学） ； NetApp, Inc.（NetApp公司） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出SMART框架，通过利用标准单向量模型的隐式多向量能力，在推理时应用后期交互，无需额外训练即可提升多模态检索性能。

ARMA-C3: A Contrastive ARMA Convolutional Framework for Unsupervised and Semi-supervised Classification

ARMA-C3: 一种用于无监督和半监督分类的对比ARMA卷积框架

VSS Tejaswi Abburi, Saurabh J. Shigwan, Nitin Kumar

机构 * VSS Tejaswi Abburi ； Saurabh J. Shigwan ； Nitin Kumar 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出ARMA-C3框架，利用对比学习和图割正则化在无监督和半监督场景下学习图节点的判别性表示，在多个医学影像数据集上表现优异。

Squeezing Capacity from Multimodal Large Language Models for Subject-driven Generation

从多模态大语言模型中榨取能力用于主题驱动生成

Shuhong Zheng, Aashish Kumar Misraa, Yu-Teng Li, Yu-Jhe Li, Igor Gilitschenski

机构 * University of Toronto & Vector Institute（多伦多大学及向量研究所） ； Adobe（Adobe公司） ； Google（谷歌公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 提出一种结合多模态大语言模型和VAE身份条件的方法，通过双层级聚合模块和多阶段去噪策略，在主题驱动图像生成中实现多模态理解与身份保持的平衡，优于现有方法。

Comments 33 pages, 18 figures, Project Page: https://zsh2000.github.io/squeeze-mllm-subject-gen/

ECG-R1: Protocol-Guided and Modality-Agnostic MLLM for Reliable ECG Interpretation

ECG-R1: 协议引导且模态无关的可靠心电图解读多模态大语言模型

Jiarui Jin, Haoyu Wang, Xingliang Wu, Xiaocheng Fang, Xiang Lan, Zihan Wang, Deyun Zhang, Bo Liu, Yingying Zhang, Xian Wu, Hongyan Li, Shenda Hong

机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； National Institute of Health Data Science, Peking University（北京大学健康数据科学国家研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Tianjin Institute of Cardiology, the Second Hospital of Tianjin Medical University（天津医科大学第二医院心内科） ； National University of Singapore（新加坡国立大学） ； Jarvis Lab, Tencent（腾讯 Jarvis实验室） ； HeartVoice Medical Technology（HeartVoice医疗科技） 纠错

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 提出ECG-R1，通过协议引导数据生成、模态解耦架构和强化学习，实现可靠的心电图解读。

Comments Accepted to ICML 2026

Multimodal Crystal Flow: Any-to-Any Modality Generation for Unified Crystal Modeling

多模态晶体流：面向统一晶体建模的任意模态生成

Kiyoung Seong, Sungsoo Ahn, Sehui Han, Changyoung Park

机构 * Graduate School of AI, KAIST, Seoul, South Korea（韩国科学技术院人工智能研究生院，首尔，韩国） ； Materials Intelligence Lab, LG AI Research, Seoul, South Korea（LG AI研究所材料智能实验室，首尔，韩国） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；any-to-any(title)；分类 cs.AI

AI总结 提出多模态晶体流（MCFlow），一种统一的多模态流模型，通过原子类型和晶体结构的独立时间变量实现多种晶体生成任务，并在MP-20和MPTS-52基准上达到与任务特定基线竞争的性能。

Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

利用多模态大语言模型增强单图像面部去变形

Nitish Shukla, Arun Ross

机构 * IEEE 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出一种基于多模态大语言模型引导的耦合扩散重建框架，通过提取中间层语义嵌入作为条件，实现无参考的面部去变形，恢复构成图像并保持身份一致性。

Toward Native Multimodal Modeling: A Roadmap

迈向原生多模态建模：路线图

Siyu An, Junru Lu, Junnan Dong, Qiufeng Wang, Yinghui Li, Weizhi Fei, Zichao Yu, Zheng Yuan, Biao Liu, Haopeng Wang, Renzhao Liang, Yixuan Yang, Yunhang Shen, Bo Ke, Keyu Chen, Linhao Luo, Difan Zou, Xiao Huang, Di Yin, Ruizhi Qiao, Xing Sun

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） ； University of Warwick（沃林汉大学） ； Monash University（墨尔本大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出从非原生多模态范式向原生多模态建模（NMM）过渡的正式路线图，通过输入-输出二元性分类现有模型，并系统探讨架构协调、数据整理、训练推理及评估的全栈工业级方案。

Comments 52 pages, 5 figures, 3 tables, ~300 references

QASA: Quality-Aware Semantic Augmentation for Robust Multimodal Sentiment Analysis

QASA: 面向鲁棒多模态情感分析的质量感知语义增强

Jiazhang Liang, Jianheng Dai, Miaosen Luo, Menghua Jiang, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 提出QASA框架，利用扩散模型生成视觉和听觉增强样本，并通过解耦质量感知评分模块分配训练权重，以解决高质量数据稀缺问题，提升多模态情感分析的鲁棒性和泛化能力。

Comments 11 pages, 4 figures

Generation Enhances Understanding in Unified Multimodal Models via Multi-Representation Generation

通过多表示生成增强统一多模态模型的理解能力

Zihan Su, Hongyang Wei, Kangrui Cen, Yong Wang, Guanhua Chen, Chun Yuan, Xiangxiang Chu

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； AMAP, Alibaba Group（阿里妈妈，阿里巴巴集团） ； Shanghai Jiao Tong University（上海交通大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UniMRG方法，通过辅助生成像素、深度和分割等多重表示，增强统一多模态模型的理解能力，减少幻觉并提升空间理解。

Comments Code: https://github.com/Sugewud/UniMRG

Dynamic Optimization and Safety Indicator Injection for Jailbreaking Text-to-Image Models with Multimodal Safety Filters

动态优化与安全指示注入：针对多模态安全过滤器的文本到图像模型越狱方法

Zixuan Chen, Hao Lin, Ke Xu, Xinghao Jiang, Tanfeng Sun

机构 * Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 提出OptJail框架，通过动态提示优化与自适应安全指示注入，绕过文本和图像过滤器，实现高成功率越狱，并揭示多模态防御的系统性漏洞。

Any2Any: Unified Arbitrary Modality Translation for Remote Sensing

Any2Any: 统一任意模态遥感翻译

Haoyang Chen, Jing Zhang, Hebaixu Wang, Shiqin Wang, Pohsun Huang, Jiayuan Li, Haonan Guo, Di Wang, Zheng Wang, Bo Du

机构 * National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（多媒体软件国家工程研究中心、人工智能研究院、计算机科学学院、武汉大学） ； Hubei Key Laboratory of Multimedia（湖北省多媒体重点实验室） ； Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国。100094） ； School of Electronic Information, Wuhan University, Wuhan, China（电子信息学院，武汉大学，武汉，中国） ； School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan, China（测绘、制图与遥感信息工程国家重点实验室，武汉大学，武汉，中国） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；any-to-any(abstract)；分类 cs.CV

AI总结 提出统一潜扩散框架Any2Any，通过共享潜空间和轻量残差适配器实现任意模态间的高效翻译，并在新数据集RST-1M上验证了其优于成对方法且具备零样本泛化能力。

Comments Accepted by ICML 2026

Vision-Language Binding in In-Context Image Generation

上下文图像生成中的视觉-语言绑定

Chris Ge, Rohit Gandikota, Antonio Torralba, Tamar Rott Shaham

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Northeastern University（东北大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文通过因果干预方法揭示FLUX.2模型中文本令牌与参考图像之间的隐式跨模态绑定机制，并定位绑定发生在文本序列的填充令牌上。

Comments 35 pages, 19 figures

Parameter-Efficient VLMs for Gastrointestinal Endoscopy: Medical Image Generation and Clinical Visual Question Answering

用于胃肠内窥镜的参数高效视觉语言模型：医学图像生成与临床视觉问答

Ojonugwa Oluwafemi Ejiga Peter, Frederick Akor Ejiga, Fahmi Khalifa, Md Mahmudur Rahman

机构 * Computer Science Department, Morgan State University（莫尔甘州大学计算机科学系） ； International Organization for Migration (IOM)（国际移民组织） ； Electrical & Computer Engineering Department, Morgan State University（莫尔甘州大学电气与计算机工程系） 纠错

专题命中 多模态生成 ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出双流水线参数高效微调模型，结合Florence-2和LoRA Stable Diffusion，分别解决临床视觉问答和隐私保护合成数据生成问题，在Kvasir-VQA数据集上取得高ROUGE和BLEU分数，并显著降低计算成本。

StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration

StreamChar: 基于解耦编排的长时程流式角色音频-视频生成

Linrui Tian, Qi Wang, Bang Zhang

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV

AI总结 提出StreamChar流式框架，通过LLM编排器与联合音频-视频DiT解耦长时程编排与短窗去噪，实现实时、稳定、高质量的角色动画生成。

GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving

GeoMathCode: 理解几何问题求解中交织的数学-代码推理

Yingji Zhang, Yong Dai, André Freitas

机构 * Idiap Research Institute（Idiap研究 institute） ； X-Humanoid ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； Cancer Biomarker Centre, CRUK Manchester Institute（癌症生物标志物中心，CRUK曼彻斯特研究所） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出GeoMathCode，通过程序化表示作为中间视觉输出，分析多模态大模型在几何问题中的推理与代码生成，发现推理与代码步骤在潜在空间可解耦，监督微调使推理流形更结构化，且层次化代码结构包含更多数学符号信息。