高校专区
混合线性注意力大语言模型中的大规模激活：注意力前峰值与峰间平台期
机构 * Startlux（星创公司） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； University of Sydney（悉尼大学） ； Columbia University（哥伦比亚大学）
AI总结 本研究系统揭示混合线性注意力大语言模型中大规模激活的两种形态，证实其在多架构、多配置等场景下的重复性，明确其对输出门控的响应规律及机制，为相关模型优化提供依据。
Comments Under review
用于噪声标签聚合的双原图变分自动编码器
机构 * Zuckerman Institute（扎克曼研究所） ； Columbia University（哥伦比亚大学）
AI总结 提出双原图变分自动编码器，将真实标签作为潜变量实现无监督学习，在众包基准获最优性能，还可扩充图纳入辅助信息提升分类性能。
恢复自动研究智能体中浪费的计算资源
机构 * Columbia University（哥伦比亚大学） ； Georgetown University（乔治城大学） ； Capital One（第一资本金融公司）
AI总结 本文针对自动研究智能体应用于表格数据集时的四类计算资源浪费问题，提出针对性干预措施，仅通过优化智能体设计即可大幅提升其性能。
各向异性脑部T2加权MRI的解剖学一致跨对比度超分辨率
机构 * Columbia University（哥伦比亚大学） ； Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心） ； Herbert Irving Comprehensive Cancer Center（赫伯特·欧文综合癌症中心） ； University of Cincinnati（辛辛那提大学）
AI总结 该研究提出VIPP-SR框架，利用跨对比度引导实现各向异性脑部T2w MRI的超分辨率，经实验验证可提升下游分割性能，且具备跨队列泛化能力。
机构 * Columbia University（哥伦比亚大学） ； Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所） ； Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
Comments 25 pages, 6 figures, 11 tables. Code: https://github.com/ianKa1/MoE_pruning/tree/main
多模态大语言模型的演进安全态势：新兴威胁与防护措施综述
机构 * University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； NVIDIA（英伟达公司） ； Penn State University（宾夕法尼亚州立大学） ； Columbia University（哥伦比亚大学） ； University of Missouri-Kansas City（密苏里大学堪萨斯分校） ； Florida State University（佛罗里达州立大学） ； Auburn University（奥本大学）
AI总结 本综述针对多模态大语言模型（MLLMs）的新型安全威胁，提出多模态安全威胁分类法，梳理安全策略进展，探讨未来安全机制的研究方向。
Comments Accepted at the ICLR 2026 Workshop on Principled Design for Trustworthy AI
Muon训练的Transformer中表示-读出接口的后顿悟崩溃
机构 * Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所） ； Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； CentraleSupélec（中央高等电力学院）
AI总结 该研究发现Muon训练的Transformer在模块化加法等任务中，顿悟后会因表示-读出接口故障丧失泛化性，冻结嵌入/读出可避免，傅里叶滤波能分离故障与掩码，任务对齐族可恢复性能。
Comments 34 pages, 6 figures, 20 tables. Full technical version; a condensed 9-page version is currently under review. Code: https://github.com/Na00s/muon-grokking
NTDH：用于综合情感分析的复杂推理
机构 * Columbia University（哥伦比亚大学） ； The University of Manchester（曼彻斯特大学）
AI总结 针对综合情感分析的挑战，提出NTDH方法，通过自然化、感知容差门等策略，在少数据量下提升性能，获最优EI-reg结果。
Comments 16 pages, 3 figures, 9 tables
面向胸部X射线报告生成的正例-无标签偏好优化
机构 * Columbia University（哥伦比亚大学） ； Stanford University（斯坦福大学） ； Emory University（埃默里大学）
AI总结 该研究针对放射报告生成VLM的遗漏噪声问题，提出PU-DPO框架，将未提及项视为无标签，通过对比对优化，提升病理检测率与隐藏正例恢复能力，增强对遗漏噪声的鲁棒性。
基于锚点思考：接地且高效的文档推理
机构 * Georgia Tech（佐治亚理工学院） ； CMU（卡内基梅隆大学） ； Adobe（奥多比公司） ； ZJU（浙江大学） ； NUIST（南京信息工程大学） ； SEU（东南大学） ； Physion Labs（Physion实验室） ； Columbia University（哥伦比亚大学）
AI总结 该研究提出面向推理的ADOPD 2026数据集，将多类文档元素转化为视觉锚点，支持区域语义标注、统一视觉-语言接地等能力，解决现有模型在文档计数任务上的不足，推动文档理解向锚点接地的智能方向发展。
基于注意力的多任务计算表示
机构 * Columbia University（哥伦比亚大学） ； Purdue University（普渡大学）
AI总结 该研究针对两类多任务场景，建立了多头注意力层所需头数量的下界并构造出匹配下界的结构，相关结果可推广到任意对称布尔函数。
诊断视频生成中不可逆过程的欠发展问题
机构 * RIKEN iTHEMS（理化学研究所 iTHEMS） ； RIKEN AIP（理化学研究所 AIP） ； South China University of Technology（华南理工大学） ； Columbia University（哥伦比亚大学）
AI总结 本研究针对视频生成模型是否遵循物理不可逆性的问题，提出含进展与静态率的两部分协议，发现模型存在不可逆属性欠发展问题，并验证解耦属性潜空间的单调性构建可消除可操纵的读出引导。
DuplexGen：人机交替对话的自适应合成
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Seoul National University（首尔大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Georgia Institute of Technology（佐治亚理工学院）
AI总结 DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准，生成场景自适应交替发言对话，契合人类偏好的效果优于未校准方法，证明人类校准对交替发言合成场景特定性的关键作用。
Comments Manuscript under review
Transformer Transformer：一种用于运动条件机器人协同设计的统一模型
机构 * Stanford University（斯坦福大学） ； Columbia University（哥伦比亚大学）
AI总结 研究运动条件机器人协同设计问题，提出基于RoboTokens训练的Transformer Transformer统一模型，能跨实体空间和用例，通过动力学自引导优化设计，实验显示其可零样本优化，制造的优化设计大幅降低跟踪误差。
Comments 26 pages, 12 figures, 20 tables. Project page: https://transformer-transformer.github.io
代码切换语音设置中人类与分类模型夹带行为的跨语言比较
机构 * Columbia University（哥伦比亚大学） ； Instagram（照片墙）
AI总结 研究代码切换语音设置中人类与分类模型夹带行为，通过跨语言分析发现词汇夹带具普遍性，声学韵律等方面有语境差异，分类器能检测夹带但优先考虑的特征与人类不同，引入评估模型决策框架并提出对话代理发展挑战。
PreDiff-LM：具有混合注意力的预训练离散掩码扩散语言模型
机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stevens Institute of Technology（史蒂文斯理工学院） ； University of Notre Dame（圣母大学） ； Nanyang Technological University（南洋理工大学）
AI总结 研究离散掩码扩散语言模型中因果预训练与双向去噪协调问题，提出PreDiff-LM模型，通过混合注意力机制改进无条件困惑度等指标，在多方面优于先前扩散基线，明确与优化AR模型的差距，为预训练因果主干调整提供补充机制。
数据更少，对齐更好：用于偏好优化的数据中心多评估器一致性方法
机构 * University of Southern California（南加州大学） ； New York University（纽约大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； City College of New York, CUNY（纽约市立大学城市学院） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Nanyang Technological University（南洋理工大学）
AI总结 研究聚焦偏好优化，提出DMAPO方法，从目标策略生成候选响应，经多评估器评估、校正后保留高一致性示例。实验表明该方法数据效率高，能提升模型在MT - Bench等指标上的表现，且改变评估器或准则对下游性能影响小。
Comments 19 pages
迈向电子健康记录中文档不一致性的自动检测
机构 * Duke University（杜克大学） ； Columbia University Medical Center（哥伦比亚大学医学中心） ； Vanderbilt University Medical Center（范德堡大学医学中心）
AI总结 研究旨在检测电子健康记录中文档不一致性，采用两阶段LLM管道对3000份出院小结进行分析，发现多种类型不一致及反复出现的失败模式，建立了方法基础和概念框架以指导后续大规模分析。
通过对数偏差对语言模型进行极其简单的黑箱适应
机构 * Tel Aviv University（特拉维夫大学） ； Google Research（谷歌研究院） ； Columbia University（哥伦比亚大学）
AI总结 研究如何通过简单API级控制调整语言模型，开发黑箱方法学习对数偏差向量，无需修改模型权重或梯度，该方法在数学和推理基准上优于基础模型，是一种轻量级的语言模型适应机制。
Comments 36 pages, 4 figures, 6 tables. Appendix included. Code available at https://github.com/Ofek-Israeli/logit_bias_lm_adaptation
用于联邦参数高效微调的三叉戟频谱控制
机构 * School of IT, Deakin University（迪肯大学信息技术学院） ； Columbia University（哥伦比亚大学）
AI总结 研究针对联邦参数高效微调在非IID客户端异质性下的脆弱性，提出TRISHUL频谱控制框架，通过共享冻结多头低秩基、核范数近端收缩及非均匀分配适应头，提升了收敛性、稳定性和最终性能。
Comments 18 pages, 17 figures, 11 tables
FELT：从视觉生成触觉信号用于视觉触觉操纵
机构 * Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院） ； Columbia University（哥伦比亚大学） ； Starpilot（星航）
AI总结 研究针对触觉数据稀缺问题，提出FELT框架，利用视觉编码器和查询解码器从RGB观测合成触觉图像，通过单独分支解码左右传感器面板，实验表明该方法能提升策略成功率，潜在特征训练和部署无需真实触觉传感器。
Comments 26 pages, including supplementary material
用GPT-4.1评估角色模拟在观点预测中的有效性
机构 * Columbia University（哥伦比亚大学）
AI总结 研究用GPT-4.1测试角色模拟在观点预测中的有效性，利用相关数据集进行实验，在选举结果和医学观点预测上取得一定成果，生成对话符合角色特点，解决偏差后角色模拟在多领域观点分析等应用前景广阔。
Comments ICDM 2025 Undergraduate and High School Symposium
Journal ref Proceedings of the 2025 IEEE International Conference on Data Mining Workshops (ICDMW), pp. 2938-2942
因果字典学习揭示并验证基因组语言模型中的转录因子结合特征
机构 * Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心）
AI总结 研究针对基因组语言模型内部表示不透明问题，引入结合稀疏字典学习与因果干预的框架，训练自动编码器提取转录因子结合特征，开发去混淆协议并因果验证，为基因组深度学习可解释性提供计算标准。
用于模型选择的贝叶斯风洞
机构 * Columbia University（哥伦比亚大学）
AI总结 研究变压器能否进行贝叶斯模型选择，引入模型选择贝叶斯风洞。通过无不动点对合，变压器在特定环境下实现与贝叶斯最优值的熵一致性，拓展到非嵌套比较，还确定了感知访问条件及相关因素，展示了模型选择能力并揭示了语言模型的校准问题。
Comments 27 pages
脱离上下文的广义信赖域策略优化算法：利用特权信息学习解决难题
机构 * Meta AI ； Columbia University（哥伦比亚大学）
AI总结 研究利用特权信息解决强化学习难题，提出脱离上下文的广义信赖域策略优化算法（OC - GRPO），通过引导展开和重要性校正目标避免训练不匹配，在标准数学推理基准上比普通GRPO有显著提升且成本低。
Comments 24 Pages
用于机器人接待员的具有自然人机交互能力的关节式人形头部
机构 * Engineered Arts（工程艺术公司） ； Realbotix（Realbotix公司） ； Columbia University（哥伦比亚大学）
AI总结 针对现有人形机器人头部的局限，提出用于接待员的关节式人形机器人头部，集成21自由度机械结构与逼真皮肤，结合多种模型进行人脸识别和自然语言处理，经测试和评估，其对话、重新识别及类人等能力表现良好。
Comments This work is accepted at IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2026)
Journal ref IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM2026)
RIMS：通过平滑多对聚合进行偏好优化以实现小规模语言模型检索增强生成
机构 * Columbia University（哥伦比亚大学） ； Rutgers University（罗格斯大学） ； Purdue University（普渡大学） ； SUNY Albany（纽约州立大学奥尔巴尼分校）
AI总结 研究针对小规模语言模型检索增强生成中对噪声证据敏感的问题，提出RIMS框架，通过合成偏好数据、软聚合机制及偏好优化，实现更好性能，在多基准测试中优于现有方法
Journal ref COLM 2026
生成常微分方程中积分误差的空间传输
机构 * Columbia University（哥伦比亚大学）
AI总结 研究生成常微分方程中积分误差的空间传输问题，通过带符号的源和传输计算，利用单步截断残差和结构破坏零值等方法分析误差，还发现训练惩罚注入变化可降误差，模型可据此训练改变。
Comments 21 pages
缩小人工智能信任差距：可信人工智能独立认证的案例
机构 * University College London（伦敦大学学院） ； AI Ethics Lab（人工智能伦理实验室） ； University of Cambridge（剑桥大学） ； Columbia University（哥伦比亚大学） ； MATS ； Tech with Intention（技术与意图） ； University of Southern California（南加州大学） ； Kyushu University（九州大学） ； University of Chile（智利大学） ； BehSci Meets AI（行为科学与人工智能） ； Digital Trust Council（数字信任委员会）
AI总结 研究指出负责任AI虽有实践但未形成奖励可信度的市场，存在信任差距。原因包括关注重点偏差及三个复合失败。通过审查治理工具发现不足，进而提出以结果为导向的独立认证来缩小信任差距，补充监管与内部治理。
针对有界区分器测试分布
机构 * Boston University（波士顿大学） ； Columbia University（哥伦比亚大学）
AI总结 研究高维或连续域分布测试，针对有界区分器类。核心方法是基于欺骗距离测试，揭示了可测试学习、学习算法验证和结构化分布测试间联系，产生了如可测试学习者、验证下界及恒等测试器等新结果。
Comments 53 pages; appeared at STOC 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈