arXivDaily arXiv每日学术速递 周一至周五更新

高校专区

Columbia University(哥伦比亚大学)

共收录 107
2605.31513 2026-07-28 cs.CV 版本更新

Personalize Your Large Vision-language Models With In-context Prompt Tuning

用上下文提示调优个性化你的大型视觉语言模型

Yanshu Li, Jiaqian Li, Kuai Yu, Xi Xiao, Dongfang Liu, Tianyang Wang, Ruixiang Tang

机构 * Brown University(布朗大学) Columbia University(哥伦比亚大学) University of Alabama at Birmingham(阿拉巴马大学伯明翰分校) Purdue University(普渡大学) Rutgers University(罗格斯大学)

AI总结 提出上下文提示调优(ICPT)方法,通过轻量投影模块从多参考图像中提取细粒度视觉语义并转化为连续提示,结合几何正则化解决环境偏差和跨概念干扰,实现高效个性化。

Comments Accepted at ECCV 2026, 27 pages, 10 figures, 5 tables

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22901 2026-07-28 cs.LG 版本更新

Accelerating Frequency Domain Diffusion Models with Error-Feedback Event-Driven Caching

通过误差反馈事件驱动缓存加速频域扩散模型

Dong Liu, Yanxuan Yu, Ying Nian Wu

机构 * University of California, Los Angeles(加州大学洛杉矶分校) Yale University(耶鲁大学) East China Normal University(华东师范大学) Columbia University(哥伦比亚大学)

AI总结 本文提出E²-CRF方法,利用频域扩散模型的频谱局部化和镜像对称性,通过事件驱动的残差动态实现自适应缓存,提升推理速度2.2倍并保持样本质量。

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.21702 2026-07-28 cs.CL cs.AI 版本更新

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

CSV-Decode: 可证的子词汇解码以实现高效的大型语言模型推理

Dong Liu, Shu Wang, Yanxuan Yu, Haisheng Wang, Ben Lengerich

机构 * Department of Computer Science, Yale University(耶鲁大学计算机科学系) College of Engineering, Columbia University(哥伦比亚大学工程学院) Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计学系)

AI总结 CSV-Decode通过构建子词汇表实现高效的大语言模型推理,提供精确的top-k认证和ε-认证的softmax近似,显著提升速度并保持分布保证。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.09478 2026-07-28 cs.CV 版本更新

GazeLT: Visual attention-guided long-tailed disease classification in chest radiographs

GazeLT:胸部X光片中视觉注意力引导的长尾疾病分类

Moinak Bhattacharya, Gagandeep Singh, Shubham Jain, Prateek Prasanna

机构 * Department of Biomedical Informatics, Stony Brook University, NY, US(斯通比克大学生物医学信息学系) Department of Radiology, Columbia University, NY, US(哥伦比亚大学放射学系) Department of Computer Science, Stony Brook University, NY, US(斯通比克大学计算机科学系)

AI总结 研究针对胸部X光片中长尾疾病分类问题,提出GazeLT方法,通过整合和分解机制利用视觉搜索时间维度,在两个公开数据集上实验,其平均准确率超最佳长尾损失方法4.1%、基于视觉注意力基线方法21.7%。

Comments Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://protect.checkpoint.com/v2/r01/___https://melba-journal.org/2026:020___.YzJ1OnN0b255YnJvb2s6YzpnOmI4YTI5YmRmZTQ0YjIxZjdhNzI0YWJhZDc5NDA0MzdhOjc6Njc3Nzo5YTc1NmVjZTg2MTcwMjA1MDI5NzM4MTczZGEwYTNkOWIwMTI3NDM2Yzg0MGU3ZmQxY2RmNmMyNDdmN2JkODExOnQ6VDpG

Journal ref Machine.Learning.for.Biomedical.Imaging. 2026 (2026)

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.19190 2026-07-27 cs.RO cs.AI 版本更新

Agentic Real2Sim: Physics-based World Modeling with Vision-Language Agents

智能体真实到模拟:使用视觉语言智能体进行基于物理的世界建模

Guanxiong Chen, Qianjun Xia, Jiawei Peng, Heng Zhang, Bole Ma, Justin Qian, Ziyi Jiao, Bingyang Zhou, Luoxin Ye, Kaifeng Zhang, Kunyi Wang, Weijia Zeng, Yunuo Chen, Pengzhi Yang, Ziqiu Zeng, Siyuan Luo, Huamin Wang, Chao Liu, Alan Yuille, Fan Shi, Changxi Zheng, Yunzhu Li, Chenfanfu Jiang, Peter Yichen Chen

机构 * University of British Columbia(英属哥伦比亚大学) Johns Hopkins University(约翰·霍普金斯大学) National University of Singapore(新加坡国立大学) Columbia University(哥伦比亚大学) University of California, Los Angeles(加利福尼亚大学洛杉矶分校) Style3D(无合适对应中文名)

AI总结 研究针对机器人与物体交互的真实到模拟转换难题,提出智能体真实到模拟框架,利用视觉语言智能体进行广义物理世界建模,能转换真实记录为可模拟孪生体,在多场景评估效果良好,成本低,可用于下游机器人任务。

Comments Authorship change

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.00024 2026-07-27 cs.CL cs.AI cs.CY 版本更新

WHBench: Evaluating Frontier LLMs with Expert-in-the-Loop Validation on Women's Health Topics

WHBench:通过专家在环验证评估前沿大语言模型在女性健康主题上的表现

Sneha Maurya, Spandana Govindgari, Girish Kumar, Akhara AI

机构 * Columbia University(哥伦比亚大学) Rubric AI

AI总结 本文提出WHBench,通过专家设计的47个场景评估22个模型,揭示临床重要失败模式,强调安全性和公平性的重要性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2603.19139 2026-07-27 cs.LG q-bio.NC 版本更新

Hierarchical Latent Structure Learning through Online Inference

通过在线推断学习层次化潜在结构

Ines Aitsahalia, Kiyohito Iigaya

机构 * Center for Theoretical Neuroscience and Zuckerman Institute(理论神经科学中心和Zuckerman研究所) Columbia University(哥伦比亚大学) Department of Psychiatry, Columbia University Irving Medical Center(精神病学系,哥伦比亚大学伊万杰琳医学中心) New York State Psychiatric Institute(纽约州精神医学研究所) Columbia Data Science Institute(哥伦比亚数据科学研究所)

AI总结 本文提出HOLMES模型,通过在线推断学习层次化潜在结构,实现了在序列数据中发现层次结构的可行计算框架。

Comments 4 figures, 5 supplementary figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.18239 2026-07-24 cs.LG cs.AI 版本更新

Towards Disentangled Preference Optimization Dynamics: Suppress the Loser, Preserve the Winner

朝着解耦偏好优化动态:压制失败者,保留胜利者

Wei Chen, Yubing Wu, Junmei Yang, Delu Zeng, Qibin Zhao, John Paisley, Min Chen, Zhou Wang

机构 * South China University of Technology(南方科技大学) Columbia University(哥伦比亚大学) University of Waterloo(滑铁卢大学)

AI总结 本文提出奖励校准方法,通过解耦带宽条件实现压制失败者并保留胜利者的优化动态,提升了下游性能。

Journal ref International Conference on Machine Learning(ICML) 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.04081 2026-07-23 cs.CL 版本更新

Abstraction Induces the Brain Alignment of Language and Speech Models

抽象诱导语言和语音模型的脑对齐

Emily Cheng, Aditya R. Vaidya, Richard Antonello

机构 * The University of Texas at Austin, USA(德克萨斯大学奥斯汀分校) Zuckerman Mind Brain Behavior Institute, Columbia University, USA(祖克曼心智-大脑-行为研究所,哥伦比亚大学)

AI总结 研究发现语言和语音模型通过共享的意义抽象与大脑对齐,中间层的高内在维度和语义内容增强了大脑预测性。

Comments ICML 2026 camera-ready version

Journal ref ICML 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.09816 2026-07-22 cs.LG 版本更新

RUBRIC: Realism--Utility Balanced Ranking for Imbalanced Classification

RUBRIC:用于不平衡分类的现实-效用平衡排序

Yanxuan Yu, Dong Liu, Eric Jiang, Shu Wang, Wenxiao Zhao, Jinxi Yu, Shaoyi Lu, Hui Pan, Renata Borovica-Gajic, Ying Nian Wu

机构 * Columbia University(哥伦比亚大学) University of California, Los Angeles(加利福尼亚大学洛杉矶分校) University of Melbourne(墨尔本大学)

AI总结 研究类别不平衡问题,提出RUBRIC框架,将合成样本选择设为质量优化问题,用现实-效用权衡排序,能收紧泛化边界,经实验验证其在信用卡欺诈检测等任务中可提升F1宏和召回率,保持ROC-AUC并可进行lambda敏感性分析。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.16667 2026-07-22 cs.CV 版本更新

Look Again Before You Abstain:Budgeted Conformal Evidence Acquisition for Reliable Vision-Language Model

在放弃之前再看一眼:预算约束下的共形证据获取用于可靠的视觉-语言模型

Jian Xu, Yanning Wu, Delu Zeng, John Paisley, Qibin Zhao

机构 * South China University of Technology(华南理工大学) RIKEN Center for Advanced Intelligence Project(RIKEN先进智能研究中心) Columbia University(哥伦比亚大学)

AI总结 针对视觉-语言模型幻觉问题,提出预算约束共形证据获取(BCEA)方法,通过三级决策(回答、放弃或获取额外视觉证据)在有限计算预算下控制幻觉率,并恢复有限样本保证。

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.14079 2026-07-22 cs.AI 版本更新

FormGym: Doing Paperwork with Agents

FormGym:用智能体完成文书工作

Matthew Toles, Rattandeep Singh, Isaac Song, Zhou Yu

机构 * Columbia University(哥伦比亚大学) Georgia Institute of Technology(佐治亚理工学院)

AI总结 FormGym提出一个表格填写基准测试,通过FieldFinder工具提升智能体在表格定位和填写任务中的性能

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.08436 2026-07-22 cs.NE cs.AI cs.MA cs.SY eess.SY q-bio.NC 版本更新

Active Electrosensing and Communication in MARL-trained Weakly Electric Fish Collectives

在多智能体强化学习训练的弱电鱼群体中的主动电感应与通信

Satpreet H. Singh, Sonja Johnson-Yu, Zhouyang Lu, Aaron Walsman, Federico Pedraja, Denis Turcu, Pratyusha Sharma, Naomi Saphra, Nathaniel B. Sawtell, Kanaka Rajan

机构 * Harvard University(哈佛大学) Brown University(布朗大学) Columbia University(哥伦比亚大学) MIT(麻省理工学院)

AI总结 研究个体互动如何产生复杂集体行为,通过多智能体强化学习训练弱电鱼样智能体集体觅食,再现真实鱼类特征,经模拟干预和神经动力学分析确定因果驱动因素,为弱电鱼等社会动物神经行为学研究提供新思路。

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.06374 2026-07-22 cs.CL 版本更新

Evaluating Style-Personalized Text Generation: Challenges and Directions

评估风格个性化文本生成:挑战与方向

Anubhav Jangra, Bahareh Sarrafzadeh, Silviu Cucerzan, Adrian de Wynter, Sujay Kumar Jauhar

机构 * Columbia University(哥伦比亚大学) Microsoft(微软公司) The University of York(约克大学)

AI总结 研究风格个性化文本生成面临的挑战,通过提出的风格判别基准评估常用指标,发现多样评估指标集成效果更佳,为可靠评估该文本生成提供指导。

Comments Accepted to the 5th GEM workshop at ACL 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.08654 2026-07-22 quant-ph cs.AI cs.LG cs.NI 版本更新

Robust Belief-State Policy Learning for Quantum Network Routing Under Decoherence and Time-Varying Conditions

在退相干和时变条件下量子网络路由的鲁棒信念状态策略学习

Amirhossein Taherpour, Abbas Taherpour, Tamer Khattab, Mazen Hasna

机构 * Department of Electrical Engineering, Columbia University(哥伦比亚大学电气工程系) Department of Electrical Engineering, Imam Khomeini International University(伊玛目·霍梅尼国际大学电气工程系) Department of Electrical Engineering, Qatar University(卡塔尔大学电气工程系)

AI总结 针对量子网络路由在复杂条件下的在线决策问题,基于q-POMDP和GNN开发鲁棒信念状态路由框架,通过原子微纪元等方法考虑多种因素,引入多种策略实现可扩展性,经融合与规则提供理论保证,模拟显示该混合控制器性能优于多种基线。

详情

展开后加载摘要…

URL PDF HTML 收藏
2502.19737 2026-07-22 cs.CL 版本更新

XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs

XCOMPS:概念最小对的多语言基准测试

Linyang He, Ercong Nie, Sukru Samet Dindar, Arsalan Firoozi, Adrian Florea, Van Nguyen, Corentin Puffay, Riki Shimizu, Haotian Ye, Jonathan Brennan, Helmut Schmid, Hinrich Schütze, Nima Mesgarani

机构 * Columbia University(哥伦比亚大学) Munich Center for Machine Learning(慕尼黑机器学习中心) LMU Munich(慕尼黑大学) University of Michigan(密歇根大学) KU Leuven(根特大学)

AI总结 介绍多语言概念最小对数据集XCOMPS,通过多种方式评估LLMs多语言概念理解,比较不同模型发现LLMs对低资源语言概念理解弱,指令微调与知识蒸馏有不同效果,形态复杂语言理解分数低。

Comments Accepted at SIGTYP 2025: https://aclanthology.org/2025.sigtyp-1.9/

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.14672 2026-07-21 cs.LG 版本更新

AQKA: Active Quantum Kernel Acquisition Under a Shot Budget

AQKA: 在有限量子核预算下的主动量子核获取

Jian Xu, Chao Li, Delu Zeng, John Paisley, Qibin Zhao

机构 * RIKEN iTHEMS(日本理化学研究院iTHEMS研究中心) RIKEN AIP(日本理化学研究院Advanced Institute for Physics) South China University of Technology(华南理工大学) Columbia University(哥伦比亚大学)

AI总结 本文提出AQKA方法,通过分解射频预算区域,优化量子核学习中的射频分配,提升稀疏敏感KRR和SVM性能,同时在量子硬件上实现多种子在线自适应射频分配。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.16197 2026-07-21 cs.LG 版本更新

Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation

为大规模语言模型的可扩展数据归因与估值绘制读出

Yide Ran, Jianwen Xie, Minghui Wang, Wenjin Zheng, Denghui Zhang, Chuan Li, Zhaozhuo Xu

机构 * Stevens Institute of Technology(史蒂文斯理工学院) Lambda Inc.(Lambda公司) Columbia University(哥伦比亚大学) Mailman School of Public Health(马利曼公共卫生学院) University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校)

AI总结 本文提出RISE方法,通过聚焦输出层影响热点,利用分解的外积形式实现高效归因与估值,减少存储并扩展至32B参数模型,验证了其在数据检测、领域分离和高质量数据选择中的有效性。

Comments 54 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2509.09371 2026-07-21 stat.ME cs.LG 版本更新

Representation-Aware Distributionally Robust Optimization: A Knowledge Transfer Framework

表示感知分布鲁棒优化:一种知识转移框架

Zitao Wang, Nian Si, Molei Liu

机构 * Department of Statistics, Columbia University(哥伦比亚大学统计系) Department of Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology(香港科技大学工业工程与决策分析系) Department of Biostatistics, Peking University Health Science Center(北京大学北京医科大学生物统计学系) Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)

AI总结 研究提出表示感知分布鲁棒估计(READ)框架,利用外部表示指导鲁棒性几何,增加改变表示坐标扰动的运输成本。在当前目标推断和未来总体部署中研究READ,模拟和应用证明其在多源多任务转移学习中有优势。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04221 2026-07-20 cs.SD cs.AR eess.AS 版本更新

Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids

基于时域DNN的助听器嵌入式FPGA语音增强可行性研究

Feyisayo Olalere, Umut Altin, Kiki van der Heijden, Marcel van Gerven

机构 * Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands(拉德堡德大学,脑认知行为研究所,荷兰) Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA(莫蒂默·B·齐克曼心智、大脑与行为研究所,哥伦比亚大学,美国)

AI总结 本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型,通过FP32和16位定点精度评估语音分离和降噪,发现数据移动是主要瓶颈,定点降噪加速器达到9.7ms首样本延迟,满足10ms临床阈值。

Comments 13 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.07019 2026-07-20 stat.ME cs.AI stat.AP stat.ML 版本更新

Latency-Response Theory Model: Evaluating Large Language Models via Response Accuracy and Chain-of-Thought Length

延迟-响应理论模型:通过响应准确性和思维链长度评估大语言模型

Zhiyu Xu, Jia Liu, Yixin Wang, Yuqi Gu

机构 * Department of Statistics, Columbia University(哥伦比亚大学统计系) Department of Statistics, University of Michigan(密歇根大学统计系)

AI总结 针对大语言模型评估问题,提出延迟-响应理论(LaRT)模型,联合考虑响应准确性和思维链长度,通过引入关键参数建模,推导高效算法估计参数,经理论和模拟研究验证其优势,实际数据评估中表现优于项目反应理论(IRT)。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.03525 2026-07-16 cs.SE cs.CL 版本更新

GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments

GameEngineBench:在真实C++运行时环境中评估编码智能体

Brian La, Sejoon Chang, Ben Kim, Junyoung Bae, Aamish Ahmad Beg, Sei Chang, Gonzalo Gonzalez-Pumariega, Kanav Goyal

机构 * Nitrode Nexon Intelligence Labs Dartmouth University(达特茅斯大学) Columbia University(哥伦比亚大学) Cornell University(康奈尔大学)

AI总结 研究利用GameEngineBench在虚幻引擎5项目中评估编码智能体,核心方法是构建来自九个真实游戏仓库的基准测试集,主要贡献是揭示智能体在实时交互软件的C++开发中面临挑战,凸显游戏引擎基准测试的价值。

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.15026 2026-07-16 cs.OS cs.AI cs.PF 版本更新

TuxBot: Semantic-Aware Online OS Tuning with Large Language Models

SemaTune: 基于大语言模型的语义感知在线操作系统调优

Georgios Liargkovas, Mihir Nitin Joshi, Hubertus Franke, Kostis Kaffes

机构 * Columbia University(哥伦比亚大学) IBM Research(IBM研究院)

AI总结 SemaTune通过语义感知的在线操作系统调优框架,利用大语言模型进行有限制的指导,提升稳定状态下的性能,通过快速和慢速循环更新配置并验证,实现比传统方法更高的性能提升。

Comments 18 pages, 12 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.06715 2026-07-15 cs.CL cs.AI cs.LG 版本更新

Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles

主题情感是否导致感知意识形态?比较政治新闻文章中人类与LLM的标注

Upasana Chatterjee

机构 * Columbia University(哥伦比亚大学)

AI总结 研究主题情感对感知政治意识形态的因果效应,通过比较人类与LLM标注,发现微调GPT-4o-mini产生显著因果效应,归因于捷径学习。

Comments V1 accepted to ACL SRW 2026. V2 updates experiments

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.12682 2026-07-15 cs.LG 版本更新

RAFP: Identifying LLM Lineages via Rare-Region Fingerprints

RAFP:通过稀有区域指纹识别大语言模型谱系

Yun-Yun Tsai, Jia Hao Liang, Chuan Guo, Junfeng Yang, Laurens van der Maaten

机构 * Department of Computer Science, Columbia University, USA(哥伦比亚大学计算机科学系) Meta, USA(Meta公司)

AI总结 针对大语言模型所有权验证需求,提出RAFP框架,利用稀有区域指纹识别模型谱系。该方法非侵入性,通过离散梯度优化构建指纹,理论分析表明其在微调下似然变化有界,实验显示在黑盒设置中性能优于基线。

Comments 16 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2405.19466 2026-07-15 cs.LG stat.ML 版本更新

Active Exploration via Autoregressive Generation of Missing Data

通过自回归生成缺失数据进行主动探索

Tiffany Tianhui Cai, Hongseok Namkoong, Daniel Russo, Kelly W Zhang

机构 * Columbia University(哥伦比亚大学) Imperial College London(帝国理工学院)

AI总结 将在线决策中的不确定性量化和探索问题转化为自回归序列模型的训练与生成,通过预测缺失结果而非潜在参数来建模不确定性,理论证明在线学习可归约为离线下一结果预测,并在新闻推荐中验证有效性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.05153 2026-07-14 stat.ML cs.LG q-bio.BM 版本更新

Geometric Causal Models

几何因果模型

Eli N. Weinstein, David M. Blei

机构 * Department of Chemistry, Technical University of Denmark(丹麦技术大学化学系) Departments of Statistics and Computer Science, Columbia University(哥伦比亚大学统计学与计算机科学系)

AI总结 针对非独立同分布结构化数据的因果推断难题,提出利用数据生成过程内在对称性的几何因果模型框架,结合群论、遍历理论与几何深度学习实现因果识别与估计。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.27224 2026-07-14 cs.RO 版本更新

Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies

学习具备触觉感知的四足机器人运动-操作策略

Pokuang Zhou, Yuhao Zhou, Quan Khanh Luu, Seungho Han, Heng Zhang, Binghao Huang, Yunzhu Li, Arash Ajoudani, Zhengtong Xu, Yu She

机构 * Purdue University(普渡大学) Istituto Italiano di Tecnologia(意大利技术研究院) Columbia University(哥伦比亚大学)

AI总结 本文提出一种具有层次结构的触觉感知运动-操作策略学习框架,通过真实世界示范训练触觉条件的视觉-触觉高层策略,并结合大规模模拟强化学习学习能追踪多样指令轨迹和触觉交互的全身控制策略,提升接触丰富场景下的协调运动与操作性能。

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.13353 2026-07-14 cs.CL cs.LG cs.SE 版本更新

Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Understanding

感知与敏感性:探讨语义回忆对长上下文代码推理的影响

Adam Štorek, Mukur Gupta, Samira Hajizadeh, Prashast Srivastava, Suman Jana

机构 * Columbia University(哥伦比亚大学)

AI总结 本文探讨了语义回忆对长上下文代码推理的影响,通过评估10种先进LLM发现,前沿模型在词汇回忆上表现优异,但语义回忆在长上下文中央位置时显著下降。引入语义回忆敏感性指标,提出SemTrace任务,展示LLM在长上下文中的位置效应。

Comments Accepted to ACL 2026 (main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2505.18610 2026-07-14 cs.CL 版本更新

PM-KVQ: Progressive Mixed-precision KV Cache Quantization for Long-CoT LLMs

PM-KVQ:用于长思维链语言模型的渐进式混合精度键值缓存量化

Tengxuan Liu, Shiyao Li, Jiayi Yang, Tianchen Zhao, Feng Zhou, Xiaohui Song, Guohao Dai, Shengen Yan, Huazhong Yang, Yu Wang

机构 * Tsinghua University(清华大学) Infinigence-AI Columbia University(哥伦比亚大学) OPPO AI Center(OPPO人工智能中心) Shanghai Jiaotong University(上海交通大学)

AI总结 针对长思维链语言模型因键值缓存内存开销大导致性能下降的问题,提出渐进式混合精度KV缓存量化(PM-KVQ),通过渐进量化策略和逐块内存分配减少累积误差,用带位置插值的校准策略增加校准长度,提升了推理性能和吞吐量。

Comments Accepted by ICLR 2026. Code available at https://github.com/thu-nics/PM-KVQ

详情

展开后加载摘要…

URL PDF HTML 收藏