语言大模型 / LLM

Disentangling Similarity and Relatedness in Topic Models

在主题模型中区分相似性和相关性

Hanlin Xiao, Yang Wang, Mauricio A. Álvarez, Rainer Breitling

机构 * Manchester Institute of Biotechnology, The University of Manchester, UK（曼彻斯特生物技术研究所，曼彻斯特大学，英国） ； Department of Computer Science, The University of Manchester, UK（计算机科学系，曼彻斯特大学，英国） ； Department of Chemistry, The University of Manchester, UK（化学系，曼彻斯特大学，英国） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 本文通过构建大规模合成基准和神经评分器，从心理语言学角度区分主题词之间的主题相关性和分类相似性，并证明两个维度对下游任务性能有不同影响。

Comments 26 pages, 9 figures, 18 tables

Behavioral Controllability of Agentic Models for Information Extraction: From Fixed Workflows to Reflective Agents

信息提取的智能模型行为可控性：从固定工作流程到反思性智能体

Lujia Zhang, Xingzhou Chen, Hongwei Feng

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型智能体用于信息提取任务时，反思和记忆等智能组件能否带来改进。通过会议论文数据集提取实验，比较固定工作流程与反思智能体变体，指定优化条件，评估过程行为，明确智能机制对系统行为的影响及如何推动智能体设计优化。

StreamProfileBench: A Benchmark for Fine-Grained User Profile Inference in Real-World Streaming Scenarios

StreamProfileBench：真实流式场景中细粒度用户画像推断的基准

Sizhe Wang, Feiyu Duan, Juelin Wang, Liwen Zhang, Zhongyu Wei

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai University of Finance and Economics（上海财经大学） ； MOE laboratory for National Development and Intelligent Governance, Fudan University（复旦大学国家发展与智能治理实验室） ； Research Institute of Intelligent Complex Systems, Fudan University（复旦大学智能复杂系统研究院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出StreamProfileBench基准，通过持续状态维护任务和免标注评估框架，研究大语言模型在流式用户画像更新中的保守偏差问题。

BioProBench: A Corpus and Benchmark for Biological Protocol Reasoning in Autonomous Science

BioProBench: 一个全面的数据集和生物协议理解与推理基准

Yuyang Liu, Liuzhenghao Lv, Xiancheng Zhang, Jingya Wang Li Yuan, Yonghong Tian

机构 * School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院） ； School of Chemical Biology&Biotechnology, Peking University（北京大学化学生物学与生物技术学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 BioProBench通过构建大规模数据集和基准，提升生物协议理解与推理的LLM性能。

REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming

REFORGE：一种在反编译二进制函数命名中对大语言模型逆向工程能力进行基准测试的方法

Nicolas Koller, Andreas U. Schmidt

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型逆向工程能力评估难的问题，提出Reforge方法，通过特定流程构建函数级真实情况并处理对齐不确定性，经实验验证该方法能揭示优化对模型性能的影响，推动不确定性感知基准测试实践。

Comments 10 pages, 5 figures; accepted for publication to the 23rd International Conference on Applied Computing 2026, Lisbon October 24-26,2026

Toward Anthropomorphic Dialogue: A Closed-Loop Framework for Human-Like Chat Generation, Evaluation, and Preference Alignment

迈向拟人化对话：一个用于类人聊天生成、评估和偏好对齐的闭环框架

Wentao Liu, Siyu Song, Xi Chen, Youjia Li, Xiaokun Wang, Min Ji, Ji Wang

机构 * Shanghai Institute of Innovation（上海创新研究院） ； East China Normal University（华东师范大学） ； University of Science and Technology of China（中国科学技术大学） ； Chabiyue (Shanghai) Information Technology Co., Ltd.（上海叉叉悦信息技术有限公司） ； Shanghai Tianyou Software Co., Ltd.（上海天游软件有限公司） ； Zhejiang Century Huatong Group Co., Ltd.（浙江世纪华通集团有限公司） 纠错

专题命中 评测与基准 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 该研究提出AnthroDial闭环框架，将拟人化对话作为联合问题，结合角色调度运行时、可执行基准和训练后管道。在多场景基准上评估多个系统，结果显示共享行为维度时拟人化对话有益，不同方法提升了严格准确率。

Comments 17 pages, 2 figures, 11 tables

Evaluating Style-Personalized Text Generation: Challenges and Directions

评估风格个性化文本生成：挑战与方向

Anubhav Jangra, Bahareh Sarrafzadeh, Silviu Cucerzan, Adrian de Wynter, Sujay Kumar Jauhar

机构 * Columbia University（哥伦比亚大学） ； Microsoft（微软公司） ； The University of York（约克大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究风格个性化文本生成面临的挑战，通过提出的风格判别基准评估常用指标，发现多样评估指标集成效果更佳，为可靠评估该文本生成提供指导。

Comments Accepted to the 5th GEM workshop at ACL 2026

Is "Knowing It's Malicious Enough?" Evaluating LLMs for Fine-Grained Malware Behavior Auditing

“知道它足够恶意吗？”评估用于细粒度恶意软件行为审计的大语言模型

Xinran Zheng, Xingzhi Qian, Yiling He, Shuo Yang, Lorenzo Cavallaro

机构 * University College London（伦敦大学学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型用于恶意软件审计可靠性不明问题，引入MalEval诊断框架，通过配对代码库与审计报告提供基本事实，经中间表示压缩代码库，映射输出到证据链，分解审计为四阶段任务，评估发现大语言模型在审计中有诸多问题，为后续可靠工作流程研究提供参考。

Comments Paper has beed accepted by ISSTA 2026

MSQA: A Natively Sourced Multilingual and Multicultural SimpleQA Benchmark

MSQA：一个原生来源的多语言多文化SimpleQA基准

Xianru Chen, Yukai Huang, Mingxiang Chen, Xinping Lei, Fangbing Deng, Jin Chen, Ge Zhang, Wenhao Huang, Jiaheng Liu

机构 * M-A-P ； ByteDance Seed（字节跳动Seed） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出MSQA基准，包含1064个原生问题覆盖11种语言和5个文化维度，评估18个LLM发现文化能力随预训练暴露程度下降，且推理时补救措施无效。

Comments Due to the company's data approval issue, we need to withdraw the article

JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes

JobHop v2：一个来自非结构化简历的大规模职业轨迹数据集

Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

机构 * AIDA-IDLab, Department of Electronics and Information Systems, Ghent University, Ghent, Belgium（AIDA-ID实验室，电子与信息系统系，根特大学，根特，比利时） ； AIDA-IDLab, Department of Electronics（AIDA-ID实验室，电子系） ； Information Systems, Ghent University, Ghent, Belgium（信息系统，根特大学，根特，比利时） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出JobHop v2数据集，通过端到端大语言模型从大量简历中提取职业轨迹。它扩大了覆盖范围与注释丰富度，引入新提取管道、模式及评估协议，最好提取器接近注释者间一致性上限，数据集和代码公开助力职业轨迹研究。

Linked Multi-Modal Data on Russian Domestic and Foreign Policy Speeches

连接多模型数据：俄罗斯国内与对外政策演讲

Daria Blinova, Gayathri Emuru, Rakesh Emuru, Kushagradheer Shridheer Srivastava, Mina Rulis, Sunita Chandrasekaran, Benjamin E. Bagozzi

机构 * University of Delaware, Department of Political Science & International Relations（德克萨斯大学，政治科学与国际关系系） ； University of Delaware, Masters of Science in Data Science Program（德克萨斯大学，数据科学硕士项目） ； University of Delaware, Department of Computer & Information Sciences（德克萨斯大学，计算机与信息科学系） ； University of Pennsylvania, Department of Political Science（宾夕法尼亚大学，政治科学系） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文介绍了一个连接多模态政治通讯的数据集，涵盖俄罗斯政府多个 decades 的官方演讲，提供俄语和英语文本、图像及注释，并通过 transformer 多模态模型进行主题标注，支持政治通讯的多模态分析。

AMUSE: Anytime Muon with Stable Gradient Evaluation

AMUSE: 任何时刻的Muon with Stable Gradient Evaluation

Jueun Kim, Baekrok Shin, Jihun Yun, Beomhan Baek, Minhak Song, Chulhee Yun

机构 * KAIST（韩国科学技术院） ； KRAFTON（KRAFTON公司） ； Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文研究了Muon算法的机制，提出了一种名为AMUSE的算法，通过结合Muon的快速批量进步和Schedule-Free平均的稳定效果，实现了无需学习率调度的任何时刻训练，并在视觉任务和大语言模型预训练中提升了性能-迭代帕累托前沿。

Comments 44 pages, 27 figures

IslamicMMLU: A Benchmark for Evaluating LLMs on Islamic Knowledge

伊斯兰MMLU：评估大语言模型在伊斯兰知识上的基准

Ali Abdelaal, Mohammed Nader Al Haffar, Mahmoud Fawzi, Walid Magdy

机构 * The University of Edinburgh（爱丁堡大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 伊斯兰MMLU基准通过10,013道题评估大语言模型在伊斯兰知识上的表现，涵盖《古兰经》、圣训和教法三个领域，测试模型在不同方面的能力，初步评估26个模型，准确率差异显著。

Comments Leaderboard link: https://huggingface.co/spaces/islamicmmlu/leaderboard

FIRE-Bench: Evaluating AI Agents on the Rediscovery of Scientific Insights

FIRE-Bench：评估人工智能代理在科学见解重新发现方面的表现

Zhen Wang, Fan Bai, Zhongyan Luo, Jinyan Su, Kaiser Sun, Xinle Yu, Jieyuan Liu, Kun Zhou, Claire Cardie, Mark Dredze, Zhiting Hu, Eric P. Xing

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Cornell University（康奈尔大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究旨在评估大语言模型驱动的人工智能代理在科学见解重新发现上的能力。核心方法是引入FIRE-Bench基准，让代理基于高层次研究问题进行全周期探索。主要贡献是为衡量代理驱动的科学发现进展提供了严格诊断框架，揭示当前代理系统在全周期科研上的挑战。

Comments 34 pages, 3 figures, 16 tables; ICML 2026 Camera-ready Version

Query2Diagram: Answering Developer Queries with UML Diagrams

Query2Diagram：通过UML图回答开发者查询

Oleg Baryshnikov, Anton M. Alekseev, Sergey I. Nikolenko

机构 * HSE University（俄罗斯高等经济学院） ； St. Petersburg Department of Steklov Mathematical Institute, RAS（圣彼得堡斯捷克洛夫数学研究所（俄罗斯科学院）） ； St. Petersburg State University（圣彼得堡国立大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本文提出基于LLM的UML图生成方法，通过微调Qwen2.5-Coder-14B模型，生成语义聚焦的代码图谱，提升文档生成的准确性和实用性。

Comments 20 pages, 6 figures. Code: https://github.com/i-need-a-pencil/query2diagram

Streaming Model Cascades for Semantic SQL

流式模型级联用于语义SQL

Paweł Liskowski, Kyle Schmaus

机构 * Snowflake Inc.（雪花公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出两种流式模型级联算法，用于在分布式系统中高效处理语义SQL查询，通过迭代阈值优化和联合精度召回保证提升效率与质量。

QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

QEDBENCH：量化大学水平数学证明自动评估中的对齐差距

Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppany István Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane M. Masuda, Lukas Mauth, Ana Mickovic, Andres Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan C. Liu

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型自动评估的可靠性，引入QEDBench基准，通过对比特定课程评分标准与专家常识标准，测量与人类专家的对齐情况，揭示部分前沿评估器偏差及离散领域推理差距，还发布该基准用于评估改进AI裁判。

EvoAgent: An Evolvable Agent Framework with Skill Learning and Multi-Agent Delegation

EvoAgent：一种具备技能学习和多智能体委托的可进化代理框架

Aimin Zhang, Jiajing Guo, Fuwei Jia, Chen Lv, Boyu Wang, Fangzheng Li

机构 * Focus AI Center, Focus Technology Co., Ltd.（Focus技术有限公司人工智能中心） ； Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（信息科学技术大学南京教育部长数字取证工程研究中心） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出EvoAgent框架，通过结构化技能学习与分层子代理委托机制，实现技能的持续生成与优化，并通过实验展示其在外贸场景中的显著提升。

Learning More from Less: Unlocking Internal Representations for Benchmark Compression

从更少中学习更多：解锁内部表示以实现基准压缩

Yueqi Zhang, Jin Hu, Shaoxiong Feng, Peiwen Yuan, Xinglin Wang, Yiwei Li, Jiayi Shi, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

机构 * School of Computer Science, Beijing Institute of Technology（北京理工大学计算机科学学院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出RepCore方法，通过对齐异构隐藏状态构建代表性核心集，仅需少量源模型即可精确估计大语言模型在完整基准上的性能，显著优于基于输出的基线方法。

AlgoSimBench: Identifying Algorithmically Similar Problems for Competitive Programming

AlgoSimBench: 识别算法相似问题的竞赛编程基准

Jierui Li, Raymond Mooney

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出AlgoSimBench基准，通过对抗性设计的多选题评估大语言模型识别算法相似问题的能力，并引入尝试解决方案匹配方法提升准确率。

Comments 14 pages, accepted to IJCAI 2026

CareTransition-Audit: A Benchmark to Audit Discharge Summaries for Efficient Care Transitions

CareTransition-Audit：用于高效护理过渡的出院总结审计基准

Akshat Dasula, Prasanna Desikan, Jaideep Srivastava, Shivali Dalmia, Abhishek Mukherji

机构 * Department of Computer Science \& Engineering, University of Minnesota-Twin Cities, Minneapolis, USA ； Centific AI Research, Redmond, USA 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出基于大语言模型的自动化框架，通过46项检查清单审计出院总结完整性，在MIMIC-IV数据集上基准测试11个模型，最佳模型与临床医生标签的Cohen's kappa约0.5，所有模型难以识别模糊文档。

Comments Accepted as a poster at IEEE-ICHI 2026; Accepted at SD4H@ICML

When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

当表格失控：评估多模态模型在法语金融文档上的表现

Virginie Mouilleron, Théo Lasnier, Anna Mosolova, Djamé Seddah

机构 * Inria Paris（巴黎国家信息与自动化研究所） ； Sorbonne Université（索邦大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出Scribe Finance基准，评估多模态模型在法语金融文档上的文本、表格、图表及多轮对话理解能力，发现模型在图表和多轮对话中表现脆弱。

Comments 16 pages, 13 figures

BRITE: A Benchmark for Reliable and Interpretable T2V Evaluation on Implausible Scenarios

BRITE：面向不可信场景的可靠可解释文本到视频评估基准

Advait Tilak, Jiwon Choi, Nazifa Mouli, Wei Le

机构 * Department of Computer Science, Iowa State University, Ames, Iowa, USA（计算机科学系，爱荷华州立大学，爱荷华州阿姆斯，美国） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出BRITE基准，通过人工参与协议统一不可信提示、细粒度音视频一致性评估和可解释QA评估，揭示现有模型在对象-动作绑定和音视频同步上的显著缺陷。

SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks

SkillsBench: 基准测试智能体技能在不同任务中的有效性

Xiangyi Li, Yimin Liu, Wenbo Chen, Bingran You, Zonglin Di, Yifeng He, Shenghan Zheng, Kyoung Whan Choe, Jiankai Sun, Shuyi Wang, Chujun Tao, Binxu Li, Xuandong Zhao, Hejia Geng, Xiaojun Wu, Junwei Zhou, Xiaokun Chen, Hanwen Xing, Yubo Li, Qunhong Zeng, Di Wang, Yuanli Wang, Roey Ben Chaim, Penghao Jiang, Haotian Shen, Luyang Kong, Xinyi Liu, Runhui Wang, Xuanqing Liu, Jiachen Li, Xin Lan, Yueqian Lin, Wengao Ye, Junwei He, Songlin Li, Yue Zhang, Yipeng Gao, Yijiang Li, Ze Ma, Liqiang Jing, Tianyu Wang, Kaixin Li, Yiqi Xue, Haoran Lyu, Yizhuo He, Yuchen Tian, Shutong Wu, Bowei Wang, Yixuan Gao, Bo Chen, Litong Liu, Sikai Cheng, Jiajun Bao, Shuaicheng Tong, Shuwen Xu, Terry Yue Zhuo, Tinghan Ye, Qi Qi, Miao Li, Longtai Liao, Zelin Tan, Chang Shi, Xilin Tang, Srinath Tankasala, Boqin Yuan, Yaoyao Qian, Jianhong Tu, Chenguang Wang, Yizhou Sun, Wei Wang, Aaron Taylor, Ziyue Yang, Changkun Guan, Zhikang Dong, Xinyu Zhang, Steven Dillmann, Han-chung Lee, Dawn Song

机构 * BenchFlow ； OSU ； Amazon ； UC Berkeley ； UC Santa Cruz ； UC Davis ； Dartmouth ； RLWRLD ； Independent ； Princeton University ； Oxford University ； Stanford University ； USC ； CMU ； Foxconn ； Zenity ； UNSW ； UT Austin ； MSU ； Duke University ； ByteDance ； UT Dallas ； UC San Diego ； Columbia University ； University of Rochester ； Cornell Tech ； Georgia Tech ； Cornell University ； NEU ； UCLA ； Snap Inc. ； Fanshawe College ； University of Science and Technology of China ； HKUST(GZ) ； Anyscale 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SkillsBench基准，包含8领域87个任务，通过配对评估证明技能提升平均通过率16.6个百分点，小模型配备技能可匹敌大模型。

AlignCoder: Aligning Retrieval with Target Intent for Repository-Level Code Completion

AlignCoder: 为目标意图对齐检索以实现仓库级代码补全

Tianyue Jiang, Yanli Wang, Yanlin Wang, Daya Guo, Ensheng Shi, Yuchi Ma, Jiachi Chen, Zibin Zheng

机构 * School of Software, Sun Yat-sen University（中山大学软件学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对仓库级代码补全中检索与目标代码不匹配及无法利用推理信息的问题，提出AlignCoder框架，通过查询增强和基于强化学习的检索器训练，在CrossCodeEval上EM分数提升18.1%。

Comments To appear at ASE'25

DecompSR: A dataset for decomposed analyses of compositional multihop spatial reasoning

DecompSR：用于组合多跳空间推理分解分析的数据集

Lachlan McPheat, Navdeep Kaur, Robert Blackwell, Alessandra Russo, Anthony G. Cohn, Pranava Madhyastha

机构 * The Alan Turing Institute（艾伦·图灵研究所） ； Imperial College London（帝国理工学院伦敦分校） ； The University of Leeds（利兹大学） ； City St George’s University of London（伦敦城市圣乔治大学） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出DecompSR数据集（超500万数据点），通过程序化生成独立控制组合性的多个方面（如推理深度、语言变异性），用于细粒度评估大语言模型的空间推理能力。

VietMed-MCQ: A Consistency-Filtered Data Synthesis Framework for Vietnamese Traditional Medicine Evaluation

VietMed-MCQ：面向越南传统医学评估的一致性过滤数据合成框架

Huynh Trung Kiet, Dao Sy Duy Minh, Nguyen Dinh Ha Duong, Le Hoang Minh Huy, Long Nguyen, Dien Dinh

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出基于检索增强生成和一致性过滤的VietMed-MCQ数据集，含3190道多选题，经专家验证准确率94.2%，基准测试显示通用模型优于越南语模型。

Comments The authors have withdrawn this article because the current version is still undergoing substantial revision. Several components of the data synthesis framework, consistency-filtering procedure, evaluation protocol, and experimental analysis are being refined and expanded. As a result, the current manuscript should not be considered a complete or final representation of the work

Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements

Ishigaki-IDS-Bench: 一个用于从BIM信息需求生成信息交付规范的基准

Ryo Kanazawa, Koyo Hidaka, Teppei Miyamoto, Takayuki Kato, Tomoki Ando, Chenguang Wang, Dayuan Jiang, Naofumi Fujita, Shuhei Saitoh, Atomu Kondo, Koki Arakawa, Daiho Nishioka

机构 * ONESTRUCTION Inc.（ONESTRUCTION公司） ； AWS GenAI Innovation Center（AWS生成式人工智能创新中心） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文提出Ishigaki-IDS-Bench基准，用于评估大型语言模型生成符合行业标准的XML信息交付规范（IDS）的能力，通过166个由BIM/IDS专家编写和验证的示例，结合内容一致性评估和结构审核，展示了当前LLM在生成满足IDS标准和IFC词汇约束的XML方面的局限性。

Comments 7 pages; benchmark data and evaluation scripts are available on GitHub and Hugging Face

Why Do Safety Guardrails Degrade Across Languages?

为何安全护栏在不同语言中会退化？

Max Zhang, Ameen Patel, Sang T. Truong, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：language model(abstract,comments)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究通过引入多组项目反应理论框架，揭示了语言无关的安全鲁棒性、提示内在难度、全球语言处理难度和提示特定的跨语言安全差距等因素，发现安全退化并非仅在低资源语言中发生，且文化与概念不匹配也会影响安全性能。

Comments Poster at Conference on Language Modeling (COLM 2026)

Unlearning at Scale: State-Exact Trace-Preserving Deletion in Billion-Parameter Language Models

大规模模型的遗忘：十亿参数语言模型中的状态精确、保留轨迹的删除

Abdullah X

机构 * Zephara AI 纠错

专题命中 评测与基准 ：language model(title)；分类 cs.AI、cs.LG

AI总结 该研究针对十亿参数语言模型，提出保留轨迹的删除方法，在Pythia、Llama模型上实现状态精确删除，但分散请求会导致高重放成本，发布相关测量作为诊断工具。

Comments 18 pages, 2 figures, 7 tables. Code and frozen research records available at https://github.com/abdullah-x-bd/unlearning (v0.3.1)