Characterizing the Expressivity of Local Attention in Transformers
对变换器中局部注意力的表达力进行表征
AI总结 本文研究了变换器中局部注意力的表达力,通过形式语言理论分析了局部注意力如何扩展可识别的正则语言,并证明了全局和局部注意力在表达力上的互补性,实验表明混合型变换器在形式语言识别和自然语言建模中表现更优。
Comments ACL 2026
期刊&会议
Annual Meeting of the Association for Computational Linguistics · 会议 · Natural Language Processing
对变换器中局部注意力的表达力进行表征
AI总结 本文研究了变换器中局部注意力的表达力,通过形式语言理论分析了局部注意力如何扩展可识别的正则语言,并证明了全局和局部注意力在表达力上的互补性,实验表明混合型变换器在形式语言识别和自然语言建模中表现更优。
Comments ACL 2026
面向真实文本匿名化评估的个体级推断
机构 * Tscientific ; Soongsil University(首尔大学) ; Yonsei University(延世大学) ; Mila
AI总结 本文提出SPIA基准,通过个体级评估而非文本跨度,揭示匿名化保护不足,显示即使90% PII被掩码,个体级推断仍达33%。
Comments Accepted at ACL 2026
Health-ORSC-Bench:衡量健康领域过度拒绝与安全完成的基准
AI总结 针对大语言模型在健康场景中过度拒绝良性查询或对有害查询不安全遵从的问题,提出Health-ORSC-Bench基准,通过31,920个边界提示评估模型在意图模糊下的过度拒绝与安全完成质量,揭示安全优化模型过度拒绝率达80%。
Comments Accepted by ACL'26 Findings
ReFreeKV: 迈向无阈值的KV缓存压缩
AI总结 针对KV缓存压缩中阈值依赖导致性能不稳定的问题,提出无阈值方法ReFreeKV,自适应调整预算分配,在13个数据集上保持全缓存性能。
Comments Accepted to ACL 2026 Findings
智能体情节控制
机构 * East China Normal University(华东师范大学) ; Tongji University(同济大学) ; Shanghai Jiao Tong University(上海交通大学) ; Shanghai University of International Business and Economics(上海对外经贸大学) ; Shenzhen Loop Area Institute(深圳河套学院)
AI总结 提出智能体情节控制(AEC),利用大语言模型增强情节强化学习,通过语义增强器和关键状态识别器提升数据效率和泛化能力,在BabyAI-Text环境中实现2-6倍数据效率提升。
Comments Accepted to Findings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)