多模态大模型

Deepfake News Detection: A Multimodal Framework Integrating LipNet, DeepSpeech and ResNET for Enhanced Audio-Visual Analysis

深度伪造新闻检测：一种集成LipNet、DeepSpeech和ResNET的多模态框架用于增强视听分析

Ameena Khan, Muhammad Ahsan Aziz, Muhammad Junaid Asif, Naeem Akhter, Rana Fayyaz Ahmad

专题命中 音频语音多模态 ：multimodal(title)；audio-visual(title)；multi-modal(abstract)

AI总结 针对深度伪造新闻威胁数字新闻媒体真实性的问题，提出集成LipNet、DeepSpeech和ResNET的多模态框架，从音频和视觉线索提取特征，经多种模型分类，实验表明该方法准确率达94%，优于基线，具鲁棒性和实际潜力。

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

使用基于语音的多模态大语言模型实现可泛化的认知障碍检测

Yingchao Huang, Xin Wang, Yuhan Su, Shanshan Yao

机构 * Faculty of Digital Innovation, Arts \& Sciences, Saskatchewan Polytechnic, Regina SK S4S 5X1, Canada ； School of Basic Medical Sciences, Hebei University, Baoding 071000, China ； Department of Civil \& Environmental Engineering ； School of Mining \& Petroleum Engineering, University of Alberta, Edmonton AB T6G 2H5, Canada 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)

AI总结 研究针对认知障碍检测问题，提出基于开源大语言模型的多模态检测框架，整合语音音频与转录文本，提取特定模态嵌入后连接成特征向量用于分类，在相关基准数据集上评估，该框架准确率达92.4%，优于单模态基线且泛化能力强。

X$^3$-OPD: Distilling Reasoning into Large Audio-Language Models via On-Policy Alignment

X³-OPD：通过策略对齐将推理能力提炼到大型音频-语言模型中

Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin

机构 * Tencent Hunyuan（腾讯混元） ； Zhejiang University（浙江大学） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)

AI总结 针对大型音频-语言模型逻辑推理能力不足，提出X³-OPD跨模态策略蒸馏框架，借助教师模型指导与构建的三层对称语料库训练学生模型，实验证明该方法能提升音频推理及思维链质量，还能保留模型域转移下的能力。

Controllable and Content-Based Recommendations

可控且基于内容的推荐

Fırat Öncel, Jihoon Jeong, Emiliano Penaloza, Mirco Ravanelli, Laurent Charlin, Cem Subakan

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对传统推荐系统难以解释和控制的问题，提出CCBR框架，基于文本用户简档表示构建推荐，通过文本瓶颈引入可控性，能实现多模态干预，在多数据集上有竞争力且优于基线，证明了用户引导机制有效。

Comments Under review

RIME: Enabling Large-Scale Agentic Music Post-Production

RIME：实现大规模智能后期制作

Noah Schaffer, Nikhil Singh

机构 * Dartmouth College（达特茅斯学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 研究针对音乐后期制作问题，引入RIME框架，利用POEMS工具包生成配对数据，评估多模态语言模型，展示其通过监督微调提升智能体性能，是迈向迭代音乐智能体、变革音乐制作的早期步骤。