语言大模型 / LLM

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Recognition Without Mitigation: Ethical Frameworks in Autonomous Offensive-LLM Agent Research

自主渗透测试代理研究中的伦理声明

Andreas Happe, Jürgen Cito

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析利用大语言模型进行进攻性安全研究的论文，探讨伦理考量的表达与合理性，揭示学术社区在创新与伦理责任之间的平衡现状。

Comments Accepted at AutonomousCyber 2026

DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues

DuplexGen：人机交替对话的自适应合成

Takyoung Kim, Kang-wook Kim, Sang Hoon Woo, Julia Hirschberg, Gunhee Kim, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Seoul National University（首尔大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL

AI总结 DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准，生成场景自适应交替发言对话，契合人类偏好的效果优于未校准方法，证明人类校准对交替发言合成场景特定性的关键作用。

Comments Manuscript under review

Predict before you train: Scaling Laws for particle physics foundation models

训练前预测：粒子物理基础模型的缩放定律

Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究粒子物理基础模型训练成本高及缩放回报难测问题，通过在小模型上拟合联合缩放定律预测大模型损失，还将其与下游物理性能关联，发布相关预训练模型、训练方法及代码。

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

ChineseBERT：通过字形和拼音信息增强的中文预训练模型

Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Guoyin Wang, Xiang Ao, Qing He, Fei Wu, Jiwei Li

机构 * Zhejiang University（浙江大学） ； Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对中文预训练模型忽略字形和拼音信息的问题，提出ChineseBERT，将二者纳入预训练，在大规模语料库上训练后，在多种中文NLP任务中性能显著提升，取得新SOTA，代码和模型已公开。

Comments To appear at ACL2021

SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search

SimpleWikiSearch：用于智能体搜索的简洁离线维基百科环境

Guanming Xiong, Penghui Zhang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SimpleWikiSearch是一套明确可运行的离线维基百科环境，用于智能体搜索的可复现评估，提供基线结果及对比闭源模型的子集，而非提出新智能体算法。

Comments Technical Report

Adaptive political surveys and GPT-4: Tackling the cold start problem with simulated user interactions

Fynn Bachmann, Daan van der Weijden, Lucien Heitz, Cristina Sarasua, Abraham Bernstein

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 23 pages. Under review at PLOS One

Journal ref PLOS ONE 2025

Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning

迈向无监督预训练与监督神经知识图谱学习的统一统计理论

Jifan Zhang, Miklos Racz, Suqi Liu

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本研究针对知识图谱学习中数据与理论问题，提出含无监督预训练与监督学习的两阶段框架，建立非渐近风险界，经合成与真实实验验证其有效性。

Comments 49 pages, 5 figures, 7 tables

A large-scale corpus of religious radio broadcast transcripts from webstream recordings in the United States

美国网络流录音的宗教广播文字转写大规模语料库

Samuel Bestvater, Athena Chapekis, Skyler Seets, Anna Lieb, Sono Shah, Aaron Smith

机构 * Pew Research Center（皮尤研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了2025年7月美国宗教广播网络流录音的大规模文字转写语料库，可用于宗教传播、社会议题分析及语音处理等相关领域研究。

Comments Presented at IC2S2 2026

Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography

Rad-JEPA 3D：用于三维计算机断层扫描的放射学联合嵌入预测模型

Quoc-Huy Trinh, Minh-Van Nguyen, Ulas Bagci

机构 * Northwestern University（西北大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 Rad-JEPA 3D是用于3D CT的自监督联合嵌入预测框架，采用混合H-Mamba编码器与HSOR正则化，在12万次CT扫描预训练后，在器官识别、空间推理等任务上达到最优性能。

Misalignment Has a Personality: A Big Five Account of Emergent Misalignment

错位具有人格特质：对涌现错位的大五人格解释

Hasibur Rahman, Smit Desai

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出用大五人格向量解释语言模型微调引发的错位，发现错位语料具特定人格特征，该向量可诊断安全现象且能捕捉单一方向无法识别的谄媚特质。

Comments The paper is currently under peer review

Demographic-aware fine-grained visual recognition of pediatric wrist pathologies

具有人口统计学意识的细粒度视觉识别用于儿童手腕病理学

Ammar Ahmed, Ali Shariq Imran, Zenun Kastrati, Sher Muhammad Daudpota

机构 * Department of Computer Science (IDI), Norwegian University of Science \& Technology (NTNU), Gjøvik, 2815, Norway Department of Informatics, Linnaeus University, V\"axj\"o, 351 95, Sweden Department of Computer Science, Sukkur IBA University, Sukkur, 65200, Pakistan 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种结合患者年龄和性别的混合卷积-Transformer模型，用于细粒度视觉识别儿童手腕病理学，以提高诊断准确性。

Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer

水平、锐度与语料：为何零样本分布外检测器的排名无法迁移

Ignacio M. De la Jara, Cristian Rodriguez-Opazo, Stephen Gould, Damith Ranasinghe

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文通过审计证明零样本OOD检测器排名无法跨域迁移，提出CEG封装器，可降低检测器敏感性并提升GL-MCM与MCM的族平衡FPR95。

Embedding Items at Scale: Comparing GNN-Based and ID-Based Item Embeddings in the Yandex Ecosystem

大规模物品嵌入：Yandex生态系统中基于GNN和基于ID的物品嵌入比较

Sergei Makeev, Artem Matveev, Vladimir Baikalov, Kirill Khrylchenko

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文通过案例研究，在Yandex的三个产品场景中对比了基于GNN的预训练物品嵌入与端到端可训练物品嵌入，发现训练数据有限时预训练有帮助，大规模数据集上则无显著益处。

TiPToP: A Modular Open-Vocabulary Robot Manipulation System That Plans

TiPToP：一种用于机器人操作的模块化开放式词汇规划系统

William Shen, Nishanth Kumar, Sahit Chintalapudi, Ryan Lindeborg, Jie Wang, Christopher Watson, Edward Hu, Jing Cao, Dinesh Jayaraman, Leslie Pack Kaelbling, Tomás Lozano-Pérez

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 TiPToP是一种模块化开放式词汇规划系统，结合预训练视觉模型与任务规划器，通过自然语言指令和RGB图像直接解决多步骤操作任务，实现实时高效的操作规划。

Comments Project website: https://tiptop-robot.github.io

Large Language Models for Fault Localization: An Empirical Study

用于故障定位的大语言模型：一项实证研究

Yingjian Xiao, Weiwei Gong, Jianjun Huang, Rongqun Hu, Hongwei Li, Anquan Jie, Boyang Yang

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；prompting(abstract)

AI总结 本文通过在HumanEval-Java、Defects4J数据集上评估四款LLMs，对比非LLM基线，分析不同提示策略，明确其在语句级故障定位的优缺与实际权衡，为软件工程应用提供实证支持。

Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation

评估本地大语言模型（LLM）机器翻译中的提示范围与示例相似性

Mihael Arcan

机构 * Home Lab（家庭实验室） 纠错

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文以9种欧盟语言为对象，对比3款本地LLM与专用MT基线，研究提示范围、示例选择对机器翻译的影响，发现专用MT系统仍最优，嵌入检索对强LLM效果较好，语族范围提示对强LLM可行但存在小型模型缺陷。

Identifying Implicit Bias in LLM-based Chat AI Toward People with Intellectual Disabilities

识别基于大语言模型（LLM）的聊天人工智能对智力障碍人群的隐含偏见

Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely

专题命中 指令微调 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对5款LLM聊天AI生成的25000个故事，分析发现其对智力障碍人群存在将其矮化、依赖化等负面隐含偏见，呼吁AI开发警惕此类偏见并加以缓解。

Journal ref Karly V. Coffey, Gloria L. Krahn, John P. Hanley, Jacob E. Neely, Identifying implicit bias in LLM-based chat AI toward people with intellectual disabilities, Disability and Health Journal, 2026, 102086, ISSN 1936-6574

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring

HealthSLM-Bench：面向移动与可穿戴医疗监护的小型语言模型基准测试

Xin Wang, Ting Dang, Xinyu Zhang, Vassilis Kostakos, Michael J. Witbrock, Hong Jia

机构 * School of Computing and Information Systems, University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） ； School of Computer Science, University of Auckland, New Zealand（奥克兰大学计算机科学学院） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 本研究构建HealthSLM-Bench基准，评估小型语言模型（SLMs）在医疗预测任务的表现，发现SLMs性能接近大型语言模型且效率、隐私性更优，为隐私保护型医疗监护提供新方向。

Comments 9 pages, 6 tables, 6 figures. Accepted at NeurIPS 2025 Workshop on GenAI4Health

A Physics-Informed Framework for PID Tuning of Chemical Processes Using Large Language Model Agents

基于大语言模型智能体的化工过程PID整定的物理信息框架

Zhoupeng Shou, Xiaodong Hong, Congjing Ren, Jingdai Wang, Yongrong Yang, Zuwei Liao

专题命中 指令微调 ：language model(title,abstract)；large language model(title)；SFT(abstract,abstract_cn)；small language model(abstract)

AI总结 本研究提出一种适用于大、小语言模型的PID整定框架，将工程师整定流程形式化，通过微调Qwen3-0.6B并在测试案例中取得优异整定成功率，提升了PID整定的可靠性与稳定裕度。

Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models

探究推理性能的起源：强化学习（RL）与监督微调（SFT）模型在数学问题求解中的表征质量

Antyabha Rahman, Akshaj Gurugubelli, Omar Ankit, Kevin Zhu, Aishwarya Balwani

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本研究探究RL与SFT微调模型数学推理性能差异的机制，发现RL模型的表征更具线性可分性、深层重要性更高，其token分配变异性或反映在线策略推理的分布。

Comments Second Workshop on XAI4Science, AAAI 2026

Shared SFT Lessons Across Alignment, Model Organisms, and Toy Models

对齐、模型有机体与玩具模型中的共享SFT经验教训

Anton de la Fuente, Arthur Conmy

专题命中 指令微调 ：SFT(title,title_cn)；分类 cs.LG

AI总结 本研究探讨对齐训练、模型有机体与玩具模型间SFT经验的三类迁移，发现跨领域迁移SFT经验可推动各领域发展，建议研究者借鉴域外技术。

Comments 31 pages, 13 figures

Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates

通过源保护更新缓解LLM目标语言适应中的灾难性遗忘

Atsuki Yamaguchi, Terufumi Morishita, Aline Villavicencio, Nikolaos Aletras

机构 * University of Sheffield（谢菲尔德大学） ； Hitachi, Ltd.（日立株式会社） ； University of Exeter（埃克塞特大学） ； Federal University of Rio Grande do Norte（里奥格兰德杜纳粹大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出源保护更新策略，利用少量源数据和参数重要性评分，在低资源条件下有效缓解LLM在目标语言适应中的灾难性遗忘问题，实验表明其在保持源语言能力的同时提升了目标语言性能。

Comments Accepted to ACL 2026 Main Conference

Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents

分数并非决策：大语言模型智能体工具获取的成本感知停止策略

Yicheng Feng, Yan Zhang, Yan Cheng, Wei Qi

专题命中 指令微调 ：LLM(title,summary_cn)；分类 cs.AI、cs.LG

AI总结 针对LLM智能体工具获取的异构成本问题，提出CAM-DF及其轻量变体，通过训练停止决策的离线差距实现成本感知停止，在1343个任务上验证其优于基线，减少工具接触量的同时保持任务成功率。

Adaptively Robust LLM Monitoring via Activation Watermarking

通过激活水印实现语言模型的鲁棒安全监控

Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

机构 * Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过激活水印技术提升语言模型的安全监控能力，针对适应性攻击者设计改进防御策略，有效提升检测准确率。

Comments 17 pages, 17 figures, 8 tables

Enhancing Generative Information Extraction with Two-step Validation: A Product Attribute Use Case

通过两步验证增强生成式信息抽取：产品属性用例

Yi-Sheng Hsu, Nermeen Abou Baker, Uwe Handmann

机构 * Computer Science Institute, Ruhr West University of Applied Sciences（鲁尔西应用科学大学计算机科学学院） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对数字产品护照领域标注数据稀缺问题，提出集成PLM模块的两步验证生成式信息抽取方法，可提升LLM对低显著性实体的抽取性能，中型模型表现接近大型模型，最小型开源模型效果有限，还开发了对应演示应用。

Comments 13 pages

Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models

两次调用胜过五个智能体：针对本地语言模型的多智能体流水线与自我优化的评估

Ashish Prajapati, Om Mohite

专题命中 指令微调 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.LG

AI总结 本研究对比多智能体流水线与自我优化方法，发现针对本地7B模型，两次调用自我优化在GSM8K表现更优且令牌用量低，经任务感知重设计后在HumanEval也能维持高准确率，简单方法优于多智能体架构。

Language Models are not Equally Robust to Non-Canonical Tokenization across Languages

语言模型对跨语言非规范分词的鲁棒性存在差异

Poulami Ghosh, Preethi Jyothi

机构 * IIT Bombay（印度理工学院孟买分校） 纠错

专题命中 指令微调 ：language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究发现语言模型对非规范分词的鲁棒性因语言而异，Llama-3.1-8B等模型在高碎片化语言中性能下降，LoRA微调可有效缓解分词敏感性。

MindForge: Teaching Small Language Models Whole-Life-Cycle Software Engineering via Source-Free Program Synthesis

MindForge：通过无源码程序合成教小型语言模型全生命周期软件工程

Yihao Chen, Shi Chang, Khaled Chawa, Feng Lin, Boyuan Chen, Shaowei Wang, Ahmed E. Hassan

专题命中 指令微调 ：language model(title)；small language model(title)；分类 cs.CL、cs.LG

AI总结 研究针对小型语言模型从零构建程序的挑战，提出MindForge构建全生命周期无源码训练环境，微调Qwen3.6-27B后在ProgramBench及7个软件工程基准上性能显著提升。