AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
Qiskit QuantumKatas: 为LLM评估改编微软的量子计算练习
机构 * IBM Research（IBM研究院）
专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI
AI总结 本文将微软的QuantumKatas量子计算课程从Q#移植到Qiskit，并构建评估框架，用于系统评估大型语言模型在量子计算任务上的能力。
AgentAtlas：超越LLM智能体的结果排行榜
机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Massachusetts Institute of Technology（麻省理工学院）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出AgentAtlas框架，通过控制决策分类法和轨迹故障词汇表，将智能体评估从结果成功分离为控制决策质量和轨迹质量，并揭示仅依赖结果排行榜的测量风险。
LLM 能否内省？一个现实检验
机构 * Center for Data Science（数据科学中心）
专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文基于人类元认知研究的教训，质疑大型语言模型能否真正内省，并通过重新审视两个评估范式发现，当前证据不足以证明LLM具有元认知监控能力。
AI智能体与大语言模型的自动化基准审计
机构 * Duke University（杜克大学） ； Together AI ； Stanford University（斯坦福大学）
专题命中 评测与基准 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.CL
AI总结 提出自动化基准审计框架ABA，系统审计基准任务中的隐藏环境依赖、规范缺失和评分逻辑问题，在168个基准中发现25.7%的任务存在关键问题，过滤后模型排名变化且性能提升约10%。
BESPOKE：通过诊断反馈进行搜索增强型大语言模型个性化的基准测试
机构 * Department of Artificial Intelligence, Yonsei University, Seoul, Republic of Korea（人工智能系，延世大学，首尔，大韩民国）
专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL
AI总结 提出BESPOKE基准，通过收集真实用户历史并配对细粒度偏好分数与反馈，系统评估搜索增强型大语言模型在个性化信息检索任务中的表现。
Comments Accepted to ICML 2026
GlobalDentBench：一个用于评估牙科领域大语言模型临床推理能力并包含专家校准的多国基准
机构 * Division of Applied Oral Sciences and Community Dental Care, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Department of Periodontology, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）牙周科） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； Department of Orthodontics, Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）正畸科） ； Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University, Shenzhen, China（南方医科大学深圳口腔医院（平山）） ； College of Future Technology, Peking University（北京大学未来技术学院） ； Freedom AI ； New Cornerstone Science Laboratory, National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University, Beijing 100871, China（新基石科学实验室、国家生物医学成像中心、膜生物学国家重点实验室、分子医学研究院、北京大学未来技术学院、生命科学中心，北京大学，北京100871，中国） ； IDG/McGovern Institute for Brain Research, Peking University, Beijing 100871, China（IDG/ McGovern脑科学研究院，北京大学，北京100871，中国） ； Division of Oral and Maxillofacial Surgery, Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院口腔颌面外科系） ； Shenzhen Loop Area Institute（深圳河套学院） ； Department of Cancer Biology, Mayo Clinic Arizona, 5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA（梅奥诊所亚利桑那分部癌症生物学部门，5777 E. Mayo Blvd., IERB-3-504A, Phoenix, Arizona, 85054, USA） ； Department of Conservative Dentistry, Periodontology and Digital Dentistry, LMU University Hospital, LMU Munich, Munich, Germany（慕尼黑大学医院保守牙科、牙周病学和数字牙科部门，慕尼黑，德国，慕尼黑大学） ； Division of Periodontology & Implant Dentistry, Faculty of Dentistry, The University of Hong Kong, Hong Kong, SAR, China（香港大学牙科学院牙周病学与种植牙科系，香港，中国）
专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 提出首个跨国牙科基准GlobalDentBench，包含14个专科、88个国家的8978道专家验证题目，评估三种推理层次，揭示当前大语言模型在牙科临床推理中性能随复杂度下降且存在高风险。
Conv-to-Bench: 通过代码任务中的用户-助手对话评估语言模型
机构 * Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学学院） ； Institute of Informatics, Federal University of Goiás（戈亚斯联邦大学信息学院） ； HUG Labs（HUG实验室） ； Advanced Knowledge Center for Immersive Technologies (AKCIT)（沉浸式技术高级知识中心）
专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL
AI总结 提出Conv-to-Bench框架，自动将多轮用户-助手对话转化为结构化需求清单，用于评估大语言模型，在编程领域与人工标准高度一致且计算开销低。
超越固定基准和最坏情况攻击：语言模型的动态边界评估
专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.AI
AI总结 提出动态边界评估（DBE）方法，通过定位模型在随机采样解码下通过概率接近0.5的边界项，构建统一难度尺度的评估协议，以解决固定基准的饱和问题。
Comments This submission is being withdrawn because it was submitted without the knowledge and authorization of all co-authors. The authors need to resolve this authorship/authorization issue before any public posting
当VLM“修正”学生：多行手写数学OCR评估中的过度修正识别与惩罚
机构 * Electronics and Telecommunications Research Institute（电子通信研究所）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 针对多行手写数学OCR评估中VLM过度修正问题，提出基于LLM的语义评估指标PINK，有效惩罚过度修正，在FERMAT数据集上优于BLEU。
当LLM自我基准测试：解构自动评估中的自我偏见
机构 * Google（谷歌） ； ETH Zurich（苏黎世联邦理工学院）
专题命中 评测与基准 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI
AI总结 研究LLM自动创建基准测试时存在的自我偏见问题，发现测试集生成和评估两个环节均产生偏见，导致模型偏爱自身输出，并提出了多样性指标以部分缓解该偏见。
公共物品博弈中的宪法军备竞赛：合作-背叛压力下共进化的大语言模型宪法
专题命中 评测与基准 ：LLM(title,summary_cn)
AI总结 研究在公共物品博弈中，通过LLM引导的进化搜索，发现对抗性宪法共进化在耦合适应度和足够评估预算下可行，并产生可解释的红队测试工件。
Comments 15 pages, 5 figures
负责任的基于LLM的人机协商：通过共生脚手架扩展集体智能
机构 * Northwestern University in Qatar（卡塔尔西北大学）
专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出一个三层共生人机框架，通过多样性放大、条款级溯源和人类主导批准，在扩展集体智能的同时保持主体性和合法性。
Comments Accepted at the LREC 2026 / 2nd Workshop on Language-driven Deliberation Technology
OmniToM：通过显式信念建模评估大语言模型的心智理论
机构 * University of Central Florida（佛罗里达大学中央分校）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出OmniToM基准，通过显式信念结构（包括信念提取和标签化两阶段）评估LLM在叙事中追踪不同角色心智状态的能力，揭示其在知识获取和表征决策上的瓶颈。
Comments 30 pages, 8 figures, 19 tables; includes appendix
E3: 面向自动化研究评论的问题级回测
专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 提出E3自动化评论助手，通过问题级回测协议评估其在识别研究论文技术问题上的表现，相比人类评审和LLM基线实现最高召回率。
VIDA: 多模态机器翻译中视觉依赖歧义的数据集
机构 * Department of Informatics, Universität Hamburg（汉堡大学信息学院） ； Alibaba Group（阿里巴巴集团） ； Alibaba Cloud（阿里云）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI
AI总结 提出VIDA数据集，包含2500个精心策划的实例，用于评估多模态机器翻译中需要视觉证据才能解决的歧义，并引入以歧义消解为中心的指标，实验表明链式思维微调能提升跨分布歧义消解能力。
Verus-SpecGym: 用于评估规范自动形式化的智能体环境
机构 * CMU（卡内基梅隆大学） ； Amazon（亚马逊）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI
AI总结 提出 Verus-SpecGym 环境与 Verus-SpecBench 基准，通过执行规范机制和对抗性测试评估 LLM 智能体将非正式编程问题转化为形式规范的能力，发现前沿模型可解决 77.8% 的任务但存在遗漏假设等脆弱性。
Comments Preprint
立场：具有可验证奖励的强化学习的隐藏成本与测量缺口
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校） ； The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Waseda University（早稻田大学） ； Georgia Tech（佐治亚理工学院） ； Northwestern University（西北大学） ； UCLA（加州大学洛杉矶分校） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Yale University（耶鲁大学） ； University of Waterloo（滑铁卢大学） ； Independent Researcher（独立研究者） ； CUHK（香港中文大学） ； UT Southwestern Medical Center（西南医学中心） ； National University of Singapore（新加坡国立大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Amazon AWS AI（亚马逊AWS人工智能）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文指出，具有可验证奖励的强化学习（RLVR）在提升大语言模型性能时，常因预算不匹配、尝试膨胀和基准数据污染等混淆因素导致收益被高估，并提出了预算匹配饱和曲线、校准跟踪、法官鲁棒性测试和污染筛查等最低标准。
Belief-Sim：迈向信念驱动的人口统计错误信息易感性模拟
机构 * University of Michigan - Ann Arbor（密歇根大学安娜堡分校） ； Texas State University（德克萨斯州立大学）
专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；post-training(abstract)
AI总结 提出BeliefSim框架，利用心理学分类和调查先验构建人口信念档案，通过提示条件化和后训练适应，实现基于信念模拟人口统计错误信息易感性，对齐度达92%。
Comments Paper Under Review
MATCHA: 通过对比语义对齐进行文本匹配
机构 * University of Tübingen（图宾根大学）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 针对现有评估指标无法区分语义矛盾的问题，提出MATCHA指标，通过双视角对比学习同时奖励语义一致性和惩罚矛盾，在多个基准上优于ROUGE和BERTScore。
MatFormBench: 一个面向目标驱动材料配方的基准评估框架
机构 * DeepVerse
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 针对现有材料机器学习基准仅关注正向属性预测而缺乏逆向优化评估的问题，提出MatFormBench基准框架，集成物理驱动配方生成方案与多维度评分指标，系统评估39种逆向设计算法。
Comments 26 pages
基于双层优化稀疏查询的GraphLLM扩展
机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学）
专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI
AI总结 提出BOSQ框架，通过自适应稀疏查询策略选择性调用LLM，在降低计算成本的同时保持或提升图节点任务性能。
InfoSynth: 信息引导的大语言模型基准合成
机构 * UC Berkeley（加州大学伯克利分校）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出基于信息论（KL散度和熵）的InfoSynth框架，自动生成高难度、多样化的Python编程基准，97%的测试用例和解决方案准确。
AI驱动的贡献评估与冲突解决：群体工作量调查的框架与设计
机构 * University of Warwick（沃里克大学） ； Warwick Manufacturing Group（沃里克制造集团）
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 提出一个AI增强的框架和实现设计，通过整合异构工件并利用大语言模型进行验证和上下文分析，以解决团队中个人贡献的公平评估和冲突解决难题。
Comments 20 pages, 8 figures, 8 tables
LUCoS: 表格基础模型的潜在无监督上下文选择
机构 * Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究 institute） ； Department of Computer Science and Artificial Intelligence (DECSAI)（计算机科学与人工智能系） ； Research Center in Information and Communication Technologies (CITIC)（信息与通信技术研究中心） ； Instituto de Investigación Biosanitaria Ibs.GRANADA, University of Granada, Granada, 18071, Spain（格拉纳达大学生物医学研究所）
专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG
AI总结 针对表格基础模型在低标签场景下的上下文选择问题，提出LUCoS方法，利用无监督先验拟合网络（PFN）的潜在几何结构选择代表性medoids作为上下文，在67个数据集上优于随机选择和原始空间方法。
Comments Comments: 18 pages, 4 figures, supplementary appendices included
智能体技能综述：分类、技术与应用
专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)
AI总结 本文从智能体技能的生命周期（表示、获取、检索和演化）出发，系统综述了基于大语言模型的智能体在自动化复杂工作流中的技能定义、方法、资源及应用，并讨论了质量控制、互操作性、安全更新和长期能力管理等挑战。
用于图表数据提取的自集成视觉语言模型
机构 * Computational Health Informatics Program, Boston Children’s Hospital & Harvard Medical School（波士顿儿童医院计算健康信息学项目及哈佛医学院）
专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL
AI总结 提出一种自集成方法，通过多次采样同一VLM的输出并聚合表格单元格，提升图表数据提取的准确性，并引入新基准WB-ChartExtract。
卷积、Transformer、混合模型及视觉语言模型在多病种视网膜筛查中的基准测试
机构 * Department of Computer Science and Software Engineering（计算机科学与软件工程系） ； Concordia University（康科迪亚大学） ； Ebovir Biotechnologie Inc.（Ebovir生物技术公司）
专题命中 评测与基准 ：language model(title,abstract)；分类 cs.LG
AI总结 本研究在RFMiD数据集上对四种模型家族的12种架构进行基准测试，评估其在多病种视网膜筛查中的性能，发现基于注意力的模型（如SwinTiny、CoAtNet0、MaxViTTiny）在二元筛查和多标签分类中表现最佳，视觉语言模型与CNN基线相当但未超越最优Transformer和混合模型。
Comments 12 pages, 3 figures, accepted at ICMHI 2026, 10th International Conference on Medical and Health Informatics, Kyoto, Japan. To appear in ACM Conference Proceedings
PitchBench: 测量音频-语言模型中的音高听觉能力
机构 * University of California, Berkeley（加州大学伯克利分校） ； Thoughtful Lab
专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI
AI总结 提出PitchBench评估套件，通过28个实验系统测量音频-语言模型在绝对和相对音高感知上的表现，发现当前模型在不同声源、音长和格式下音高感知不可靠。
Comments Preprint
稀疏激光雷达提示的单目几何基础：面向长距离驾驶深度的实证研究
机构 * Benewake (Beijing) Co., Ltd.（北京 Benewake 公司）
专题命中 评测与基准 ：prompting(title)；foundation model(abstract)
AI总结 本文提出SLIM，首次将MoGe-2适配为接受真正稀疏激光雷达输入，通过部分卷积稀疏编码器和多尺度融合网络，在长距离（100-150米）将绝对相对误差降低39-51%。
Comments 6 pages, 3 figures, 2 tables
用于皮肤癌检测的CNN、Transformer、混合模型和视觉语言模型
机构 * Department of Computer Science and Software Engineering, Concordia University, Montreal, Canada（计算机科学与软件工程系，康科迪亚大学，加拿大蒙特利尔） ； Ebovir Biotechnologie Inc., Montreal, Canada（Ebovir生物技术公司，加拿大蒙特利尔）
专题命中 评测与基准 ：language model(title,abstract)
AI总结 本文在PAD-UFES-20数据集上统一评估了12种深度学习模型（包括CNN、ViT、混合卷积Transformer和视觉语言模型），结果表明混合模型和基于SigLIP的VLM在排名性能和临床相关操作点之间取得了最佳平衡。
Comments 13 pages, 3 figures, accepted at ICPRAI 2026, The Fifth International Conference on Pattern Recognition and Artificial Intelligence. To appear in Lecture Notes in Computer Science
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈