Fudan University（复旦大学）

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

潜空间：基础、演化、机制、能力与展望

Xinlei Yu, Zhangquan Chen, Yongbo He, Tianyu Fu, Guanting Dong, Cheng Yang, Chengming Xu, Yue Ma, Xiaobin Hu, Zhe Cao, Jie Xu, Guibin Zhang, Jiale Tao, Jiayi Zhang, Siyuan Ma, Kaituo Feng, Haojie Huang, Youxing Li, Ronghao Chen, Huacan Wang, Chenglin Wu, Zikun Su, Xiaogang Xu, Kelu Yao, Kun Wang, Chen Gao, Yue Liao, Ruqi Huang, Tao Jin, Zhucun Xue, Cheng Tan, Jiangning Zhang, Wenqi Ren, Yanwei Fu, Yong Liu, Yu Wang, Xiangyu Yue, Yu-Gang Jiang, Shuicheng Yan

机构 * National University of Singapore（国立新加坡大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； DeepWisdom（深智科技） ； Nanjing University（南京大学） ； Shanghai Jiatong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Tencent Hunyuan（腾讯文深） ； QuantaAlpha（量子阿尔法） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhejiang Lab（浙江实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） 纠错

AI总结 本文综述潜空间在语言模型中的基础、演化、机制与能力，指出其克服显式空间计算的结构性限制，并展望未来研究方向。

Thinking with Imagination: Agentic Visual Spatial Reasoning with World Simulators

思考与想象：基于世界模拟器的智能视觉空间推理

Chenming Zhu, Jingli Lin, Yilin Long, Peizhou Cao, Tai Wang, Jiangmiao Pang, Xihui Liu

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Beihang University（北航大学） 纠错

AI总结 提出Astra框架，通过强化学习训练VLM策略与Bagel世界模拟器交互，在推理中生成想象视觉证据，解决空间推理中的未观察布局、跨视角一致性和替代视角推理问题。

Comments Project page: https://zcmax.github.io/projects/Thinking-With-Imagination

ActiveMimic: Egocentric Video Pretraining with Active Perception

ActiveMimic: 基于主动感知的自我中心视频预训练

Xingyao Lin, Guojin Zhong, Tianyi Lu, Ziyi Ye, Yichen Zhu, Zuxuan Wu, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Current Robotics ； NeoteAI 纠错

AI总结 提出ActiveMimic框架，从自我中心人类视频中恢复同步的相机和手腕轨迹，将相机运动建模为视角动作，联合学习主动感知和操作技能，使预训练模型在机器人任务上达到与机器人数据预训练相当的性能。

Comments Project Page: https://activemimic.github.io/

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

评估多模态大语言模型中的随机坍缩与隐式偏差

Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

机构 * Fudan University（复旦大学） ； Beihang University（北航） ； JD.com（京东） 纠错

AI总结 提出RandomBench基准测试，通过熵和分布偏差指标揭示多模态大语言模型在逻辑中性场景下存在随机坍缩现象，即无法维持均匀随机性。

SALT: When More Rollouts Don't Help in Group-Based Policy Optimization and How to Make Them Matter

SALT: 当更多 rollout 在基于组的策略优化中无益时如何使其发挥作用

Powei Chang, Jinpeng Zhang, Chaoqun Sun, MiniWell Tsao, Lianrui Li, Jianxiang Xiang, Chenyu Wang, Yukang Gao, Dongying Kong

机构 * Bilibili Inc.（哔哩哔哩公司） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

AI总结 针对 GRPO 风格组归一化中增加 rollout 数量导致梯度抵消的问题，提出 SALT 组件，通过子空间自适应重加权组相对更新系数，改善更新几何并提升性能。

Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction

在预测之前想象：用于视频事件预测的交错潜在视觉推理

Tianxiang Jiang, Linquan Wu, Sheng Xia, Songze Li, Ziang Yan, Haoyu Yang, Yu Qiao, Yi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； City University of Hong Kong（香港城市大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

AI总结 提出Future-L1框架，通过交错潜在视觉推理在自回归解码中交替语言token和连续潜在视觉跨度，结合LA-DAPO强化学习优化，在视频事件预测任务上取得最先进结果。

Comments https://github.com/OpenGVLab/Future-L1

ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation

ViCuR: 视觉线索作为多模态在策略蒸馏中的可恢复特权

Kanghui Tian, Siyuan Liu, Ziang Yan, Sheng Xia, Shuai Dong, Yi Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Nanjing University（南京大学） 纠错

AI总结 提出ViCuR框架，通过将教师特权从答案侧替换为输入中的视觉线索，并引入轻量级线索恢复模块，解决多模态在策略蒸馏中的训练-测试不匹配问题，在七个基准上显著提升学生模型性能。

Comments 25 pages, 11 figures. Preprint, under review

VISTA: Vision-Grounded and Physics-Validated Adaptation of UMI data for VLA Training

VISTA: 基于视觉和物理验证的UMI数据适配用于VLA训练

Siyuan Yang, Linzheng Guo, Ouyang Lu, Zhaxizhuoma, Daoran Zhang, Xinmiao Wang, Ting Xiao, Fangzheng Yan, Zhijun Chen, Yan Ding, Chao Yu, Chenjia Bai, Xuelong Li

机构 * Institute of AI (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； Lumos Robotics（Lumos机器人） ； University of Science and Technology of China（中国科学技术大学） ； Northwestern Polytechnical University（西北工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； East China University of Science and Technology（东华大学） ； Harbin Engineering University（哈尔滨工程大学） ； Fudan University（复旦大学） 纠错

AI总结 提出VISTA框架，通过UMI-VQA数据集对齐视觉表示、物理验证流水线筛选可行轨迹以及两阶段联合训练，解决UMI数据训练VLA模型时的视觉分布偏移和物理不可行动作问题。

Comments Corrected the typing error

FUSAR-GPT : A Spatiotemporal Feature-Embedded and Two-Stage Decoupled Visual Language Model for SAR Imagery

FUSAR-GPT : 一种嵌入时空特征和两阶段解耦的视觉语言模型，用于合成孔径雷达图像

Xiaokun Zhang, Yi Yang, Ziqi Ye, Baiyun, Xiaorong Guo, Qingchen Fang, Ruyi Zhang, Xinpeng Zhou, Haipeng Wang

机构 * Fudan University（复旦大学） ； Discipline and Technology Center of Microwave Vision Intelligent Sensing, Fudan University（微波视觉智能感知学科与技术中心，复旦大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

AI总结 本文提出FUSAR-GPT，一种专门针对合成孔径雷达图像的视觉语言模型，通过嵌入时空特征和两阶段解耦方法，在多个遥感视觉语言基准测试中实现了最先进的性能。

Probing Outcome-Level Resemblance and Mechanism-Level Alignment in LLM Risk Decisions: Evidence from the St. Petersburg Game

探究大语言模型风险决策中的结果层面相似性与机制层面一致性：来自圣彼得堡博弈的证据

Chensong Huang, Changyu Chen, Chenwei Lin, Hanjia Lyu, Xian Xu, Jiebo Luo

机构 * Fudan University（复旦大学） ； University of Rochester（罗切斯特大学） 纠错

AI总结 通过圣彼得堡博弈实验，发现大语言模型在风险决策中表现出结果层面的类人行为，但机制层面与人类决策存在显著差异，提示行为对齐可能仅停留在表面。

Caliper: Probing Lexical Anchors versus Causal Structure in LLMs

Caliper: 探究LLM中的词汇锚点与因果结构

Zhenyu Yu, Shuigeng Zhou

机构 * Fudan University（复旦大学） 纠错

AI总结 通过词汇匿名化扰动，揭示大语言模型在因果推理基准上的表现主要依赖词汇模式匹配而非结构因果推理。

Crafting Your Evolving Dreams: Concept-Incremental Versatile Customization

打造你不断演变的梦想：概念增量式多功能定制

Jiahua Dong, Wenqi Liang, Hongliu Li, Yang Cong, Duzhen Zhang, Hanbin Zhao, Henghui Ding, Yulun Zhang, Salman Khan, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed大学人工智能学院） ； University of Trento（特伦托大学） ； Department of Civil and Environmental Engineering, The Hong Kong Polytechnic University（香港理工大学土木与环境工程系） ； South China University of Technology（华南理工大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Institute of Big Data, Fudan University（复旦大学大数据研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 提出持续可定制扩散模型（CCDM），通过属性解耦LoRA模块和相关性引导聚合策略解决灾难性遗忘，并结合可控区域上下文合成策略处理概念忽视，实现概念增量式多功能定制。

Comments Accepted to Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

VentAgent: When LLMs Learn to Breathe -- Multi-Objective Arbitration for ARDS Ventilation

VentAgent：当大语言模型学会呼吸——ARDS通气的多目标仲裁

Teqi Hao, Yuxuan Fu, Xiaoyu Tan, Shaojie Shi, Bohao Lv, Yinghui Xu, Xihe Qiu

机构 * School of Electronic and Electrical Engineering, Shanghai University of Engineering Science（上海工程技术大学电子与电气工程学院） ； Tencent Youtu Lab（腾讯优图实验室） ； Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） 纠错

AI总结 提出VentAgent分层框架，利用大语言模型作为透明仲裁者，通过感知-规划-编排三阶段将机械通气控制转化为动态多目标仲裁过程，在生理模拟器上优于强化学习和经典控制基线，并提供可解释的推理链。

3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training

3DThinkVLA：通过3D思维引导的协同训练赋予视觉-语言-动作模型潜在3D先验

Jiaxin Shi, Xidong Zhang, Fucai Zhu, Zhe Li, Siyu Zhu, Weihao Yuan

机构 * Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Nanyang Technological University（南洋理工大学） ； Fudan University（复旦大学） ； Nanjing University（南京大学） ； Daimon Robotics（达梦机器人） ； Great Bay University（大亚大学） 纠错

AI总结 提出3D思维引导的协同训练框架，通过解耦3D几何感知与空间推理并在不同特征层次注入，使VLA模型在动作预测中隐式进行3D空间推理，无需3D传感器或外部模型，在多个基准上达到最优性能。

Entropy Is Not Enough: Unlocking Effective Reinforcement Learning for Visual Reasoning via Vision-Anchored Token Selection

熵是不够的：通过视觉锚定令牌选择解锁视觉推理的有效强化学习

Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） 纠错

AI总结 针对视觉推理中基于熵的信用分配机制失效问题，提出VEPO框架，通过视觉敏感性与令牌熵的乘法耦合实现梯度信用重定向，显著提升多模态强化学习性能。

Revisiting Embodied Chain-of-Thought for Generalizable Robot Manipulation

重新审视具身思维链以实现可泛化的机器人操作

Nan Sun, Yuan Zhang, Yongkun Yang, Wentao Zhao, Peiyan Li, Jun Guo, Wenxuan Song, Pengxiang Ding, Runze Suo, Yifei Su, Xin Xiao, Xinghang Li, Huaping Liu

机构 * Tsinghua University（清华大学） ； Xiaomi Robotics（小米机器人） ； Peking University（北京大学） ； CASIA ； HKUST(GZ)（香港科技大学（广州）） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

AI总结 本文通过构建最大规模具身思维链语料库，提出ERVLA模型，利用思维链作为表征塑造监督而非测试时推理，显著提升了机器人操作的可泛化性。

Towards A Generative Protein Evolution Machine with DPLM-Evo

迈向生成式蛋白质进化机器：DPLM-Evo

Xinyou Wang, Liang Hong, Jiasheng Ye, Zaixiang Zheng, Yu Li, Shujian Huang, Quanquan Gu

机构 * Nanjing University（南京大学） ； CUHK（香港大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） 纠错

AI总结 提出DPLM-Evo，一种显式建模替换、插入和删除操作的进化离散扩散框架，在单序列设置下实现蛋白质突变效应预测的最优性能，并支持变长模拟进化与蛋白质编辑优化。

Comments A peer-reviewed version was accepted to ICML 2026

Transformer-Based Autonomous Driving Models and Deployment-Oriented Compression: A Survey

基于Transformer的自动驾驶模型与面向部署的压缩：综述

Juan Zhong, Yuhang Shi, Zukang Xu, Xi Chen

机构 * Renmin University of China（中国人民大学） ； Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） ； Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Department of houmo.ai（houmo.ai部门） 纠错

AI总结 本文综述了基于Transformer的自动驾驶模型，并从部署角度分析了压缩与加速策略（如量化、剪枝、知识蒸馏等）如何影响模型设计、部署性、鲁棒性和安全性。

T$^\star$: Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning

T$^\star$：通过轨迹感知强化学习实现掩码扩散语言模型的渐进块缩放

Hanchen Xia, Baoyou Chen, Yutang Ge, Guojiang Zhao, Siyu Zhu

机构 * Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Shanghai Innovation Institute（上海创新研究院） ； Fudan University（复旦大学） ； School of Mathematical Sciences（数学科学学院） ； Shanghai Jiao Tong University（上海交通大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 提出T$^\star$方法，利用基于TraceRL的训练课程，在掩码扩散语言模型中渐进增大块大小，实现高并行解码且性能损失极小。

Good Reasoning Makes Good Demonstrations: Implicit Reasoning Quality Supervision via In-Context Reinforcement Learning

好的推理产生好的示范：通过上下文强化学习进行隐式推理质量监督

Tiehua Mei, Minxuan Lv, Leiyu Pan, Zhenpeng Su, Hongru Hou, Hengrui Chen, Ao Xu, Deqing Yang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院） 纠错

AI总结 提出In-Context RLVR方法，利用策略模型自身的上下文学习能力衡量示范效用（Demonstration Utility），通过隐式奖励加权提升推理质量和准确性。

Comments Accepted at ACL 2026

ShareVerse: Multi-Agent Consistent Video Generation for Shared World Modeling

ShareVerse：面向共享世界建模的多智能体一致视频生成

Jiayi Zhu, Jianing Zhang, Yiying Yang, Wei Cheng, Xiaoyun Yuan

机构 * Shanghai Jiao Tong University China（上海交通大学中国） ； Fudan University China（复旦大学中国） ； StepFun China（StepFun中国） 纠错

AI总结 提出ShareVerse框架，通过构建多智能体交互数据集、空间拼接策略和跨智能体注意力机制，实现多智能体共享世界的一致视频生成。

Finding Kissing Numbers with Game-theoretic Reinforcement Learning

用博弈论强化学习寻找亲吻数

Chengdong Ma, Théo Tao Zhaowei, Pengyu Li, Minghao Liu, Haojun Chen, Zihao Mao, Bo Li, Yuan Cheng, Yuan Qi, Yaodong Yang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Shanghai Academy of AI for Science（上海人工智能科学研究院） ； Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） 纠错

AI总结 将亲吻数问题转化为合作矩阵补全博弈，利用强化学习系统PackingStar在极值配置空间中探索，改进了15个长期未突破的亲吻数上界，并发现了新的可解释几何结构。

Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning

基于结果锚定的优势重塑用于数学推理中的细粒度信用分配

Ziheng Li, Liu Kang, Feng Xiao, Luxi Xing, Qingyi Si, Zhuoran Li, Weikang Gong, Deqing Yang, Yanghua Xiao, Hongcheng Guo

机构 * Fudan University（复旦大学） ； XingYun lab, HUJING Digital Media & Entertainment Group（星云实验室，HUJING数字媒体与娱乐集团） ； University of Science and Technology Beijing（北京科技大学） ； Chinese Academy of Sciences（中国科学院） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

AI总结 提出结果锚定优势重塑（OAR），通过两种策略（OAR-P和OAR-G）实现细粒度信用分配，显著提升GRPO在数学推理中的性能。

Accelerated Alternating Projections for Robust Principal Component Analysis

加速交替投影用于鲁棒主成分分析

HanQin Cai, Jian-Feng Cai, Ke Wei

机构 * Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系） ； Department of Mathematics, Hong Kong University of Science and Technology（香港理工大学数学系） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

AI总结 本文提出了一种加速交替投影算法，用于鲁棒主成分分析，显著提高了现有交替投影方法在更新低秩因子时的计算效率，并证明了该算法的精确恢复保证和线性收敛性。

Journal ref Journal of Machine Learning Research, 20 (2019): 685-717

A Quantitative Approximation Framework for Flow Distillation in Diffusion Models

扩散模型中流蒸馏的定量近似框架

Weiguo Gao, Ming Li, Lei Shi, Hanfei Zhou

机构 * School of Mathematical Sciences, Fudan University（复旦大学数学学院） ； Shanghai Key Laboratory of Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学重点实验室） 纠错

AI总结 针对扩散模型中的流蒸馏，提出一个定量近似框架，将少步采样视为学习流映射组合下的误差传播，通过理论分析和实验验证了稳定性平衡的非均匀时间网格能显著降低端到端相对MSE。

GN0: Toward a Unified Paradigm for Generation, Evaluation, and Policy Learning in Visual-Language Navigation

GN0：迈向视觉语言导航中生成、评估与策略学习的统一范式

Xinhai Li, Xiaotao Zhang, Yuehao Huang, Jiankun Dong, Tianhang Wang, Sunyao Zhou, Yunzi Wu, Chengnuo Sun, Yunfei Ge, Qizhen Weng, Chi Zhang, Chenjia Bai, Xuelong Li

机构 * Institute of Artificial Intelligence, China Telecom（人工智能研究院，中国电信） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Tongji University（同济大学） ； Fudan University（复旦大学） ； Jiangsu University（江苏大学） 纠错

AI总结 提出GN0统一框架，通过自动生成大规模导航数据集GN-Matrix、基于3DGS的高保真仿真平台和BEV基准GN-Bench，结合RL驱动的导航基础模型BAE，在VLN任务上超越现有方法。

EvoMemNav: Efficient Self-Evolving Fine-Grained Memory for Zero-Shot Embodied Navigation

EvoMemNav: 用于零样本具身导航的高效自进化细粒度记忆

Zuhao Ge, Xiaosong Jia, Chao Wu, Yuchen Zhou, Zuxuan Wu, Yu-Gang Jiang

机构 * Institute of Trustworthy Embodied AI (TEAI), Fudan University（可信具身人工智能研究院，复旦大学） ； Shanghai Key Laboratory of Multimodal Embodied AI（上海多模态具身人工智能重点实验室） 纠错

AI总结 提出EvoMemNav框架，通过构建视觉-语义记忆图并采用预算驱动的粗到细策略，结合反射驱动写回机制，实现零样本具身导航中高效、自进化的细粒度记忆，提升多实例区分和停止验证性能。

Comments Preprint

MedCUA-Bench: A Screenshot-Only Benchmark for Clinical Computer-Use Agents

MedCUA-Bench: 一个仅基于截图的临床计算机使用代理基准测试

Jia Yu, Zilong Wang, Xinyang Jiang, Dongsheng Li, Shuo Wang

机构 * Microsoft Research Asia（微软亚洲研究院） ； Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学研究中心） ； Shanghai Key Laboratory of MICCAI（上海MICCAI重点实验室） 纠错

AI总结 提出 MedCUA-Bench，一个覆盖10个医学领域18个临床场景的交互式基准，通过确定性检查器评估任务完成和五个临床安全维度，揭示当前代理在真实临床软件上的性能差距。

JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation

JAVEDIT: 联合音频-视觉指令引导视频编辑与智能体数据策展

Yinan Chen, Chuming Lin, Zhennan Chen, Yuxiang Zeng, Junwei Zhu, Yali Bi, Xijie Huang, Chengming Xu, Donghao Luo, Zhucun Xue, Xiaobin Hu, Chengjie Wang, Yong Liu, Jiangning Zhang, Shuicheng Yan

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Nanjing University（南京大学） ； University of Auckland（奥克兰大学） ； Fudan University（复旦大学） ； National University of Singapore（新加坡国立大学） 纠错

AI总结 针对联合音频-视觉编辑缺乏数据集和基准的问题，提出首个大规模高质量数据集JAVEdit-100k、基准JAVEditBench以及基线模型JAVEdit，在六项指标中五项超越所有基线。

Comments Equal contributions from first two authors. Project page: https://ryanchenyn.github.io/projects/JAVEdit Code: https://github.com/RyanChenYN/JAVEdit Dataset: https://huggingface.co/datasets/Coraxor/JAVEdit-100k

EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement

EntangleCodec：通过语义-声学纠缠的统一离散音频分词器

Hui Li, Yangfan Gao, Junlin Shang, Changhao Jiang, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） 纠错

AI总结 提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。

Comments 17 pages, 10 figures