语言大模型 / LLM

Will Scaling Improve Social Simulation with LLMs?

扩展规模会改善基于LLM的社会模拟吗？

Caleb Ziems, William Held, Su Doga Karaca, David Grusky, Tatsunori Hashimoto, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Open Athena（开放雅典娜） 纠错

专题命中 预训练与数据 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLM规模扩展对社会模拟保真度的影响，发现多数任务随规模提升而改善，但存在例外，如纵向预测和低资源领域改进缓慢。

Recognition Without Mitigation: Ethical Frameworks in Autonomous Offensive-LLM Agent Research

自主渗透测试代理研究中的伦理声明

Andreas Happe, Jürgen Cito

专题命中 预训练与数据 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文分析利用大语言模型进行进攻性安全研究的论文，探讨伦理考量的表达与合理性，揭示学术社区在创新与伦理责任之间的平衡现状。

Comments Accepted at AutonomousCyber 2026

DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues

DuplexGen：人机交替对话的自适应合成

Takyoung Kim, Kang-wook Kim, Sang Hoon Woo, Julia Hirschberg, Gunhee Kim, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Seoul National University（首尔大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 预训练与数据 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL

AI总结 DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准，生成场景自适应交替发言对话，契合人类偏好的效果优于未校准方法，证明人类校准对交替发言合成场景特定性的关键作用。

Comments Manuscript under review

Predict before you train: Scaling Laws for particle physics foundation models

训练前预测：粒子物理基础模型的缩放定律

Jan-Lucas Uslu, Benjamin Nachman, Christopher Re

专题命中 预训练与数据 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

AI总结 研究粒子物理基础模型训练成本高及缩放回报难测问题，通过在小模型上拟合联合缩放定律预测大模型损失，还将其与下游物理性能关联，发布相关预训练模型、训练方法及代码。

ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

ChineseBERT：通过字形和拼音信息增强的中文预训练模型

Zijun Sun, Xiaoya Li, Xiaofei Sun, Yuxian Meng, Guoyin Wang, Xiang Ao, Qing He, Fei Wu, Jiwei Li

机构 * Zhejiang University（浙江大学） ； Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室） 纠错

专题命中 预训练与数据 ：pretraining(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对中文预训练模型忽略字形和拼音信息的问题，提出ChineseBERT，将二者纳入预训练，在大规模语料库上训练后，在多种中文NLP任务中性能显著提升，取得新SOTA，代码和模型已公开。

Comments To appear at ACL2021

SimpleWikiSearch: A Clean Offline Wikipedia Environment for Agentic Search

SimpleWikiSearch：用于智能体搜索的简洁离线维基百科环境

Guanming Xiong, Penghui Zhang

专题命中 预训练与数据 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SimpleWikiSearch是一套明确可运行的离线维基百科环境，用于智能体搜索的可复现评估，提供基线结果及对比闭源模型的子集，而非提出新智能体算法。

Comments Technical Report

Adaptive political surveys and GPT-4: Tackling the cold start problem with simulated user interactions

Fynn Bachmann, Daan van der Weijden, Lucien Heitz, Cristina Sarasua, Abraham Bernstein

专题命中 预训练与数据 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 23 pages. Under review at PLOS One

Journal ref PLOS ONE 2025

Toward a Unified Statistical Theory of Unsupervised Pretraining and Supervised Neural Knowledge Graph Learning

迈向无监督预训练与监督神经知识图谱学习的统一统计理论

Jifan Zhang, Miklos Racz, Suqi Liu

专题命中 预训练与数据 ：pretraining(title,abstract)

AI总结 本研究针对知识图谱学习中数据与理论问题，提出含无监督预训练与监督学习的两阶段框架，建立非渐近风险界，经合成与真实实验验证其有效性。

Comments 49 pages, 5 figures, 7 tables

A large-scale corpus of religious radio broadcast transcripts from webstream recordings in the United States

美国网络流录音的宗教广播文字转写大规模语料库

Samuel Bestvater, Athena Chapekis, Skyler Seets, Anna Lieb, Sono Shah, Aaron Smith

机构 * Pew Research Center（皮尤研究中心） 纠错

专题命中 预训练与数据 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究构建了2025年7月美国宗教广播网络流录音的大规模文字转写语料库，可用于宗教传播、社会议题分析及语音处理等相关领域研究。

Comments Presented at IC2S2 2026

Rad-JEPA 3D: Radiology Joint-Embedding Predictive Model for 3D Computed Tomography

Rad-JEPA 3D：用于三维计算机断层扫描的放射学联合嵌入预测模型

Quoc-Huy Trinh, Minh-Van Nguyen, Ulas Bagci

机构 * Northwestern University（西北大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；pretraining(abstract)

AI总结 Rad-JEPA 3D是用于3D CT的自监督联合嵌入预测框架，采用混合H-Mamba编码器与HSOR正则化，在12万次CT扫描预训练后，在器官识别、空间推理等任务上达到最优性能。

Misalignment Has a Personality: A Big Five Account of Emergent Misalignment

错位具有人格特质：对涌现错位的大五人格解释

Hasibur Rahman, Smit Desai

机构 * Northeastern University（东北大学） 纠错

专题命中 预训练与数据 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出用大五人格向量解释语言模型微调引发的错位，发现错位语料具特定人格特征，该向量可诊断安全现象且能捕捉单一方向无法识别的谄媚特质。

Comments The paper is currently under peer review

Demographic-aware fine-grained visual recognition of pediatric wrist pathologies

具有人口统计学意识的细粒度视觉识别用于儿童手腕病理学

Ammar Ahmed, Ali Shariq Imran, Zenun Kastrati, Sher Muhammad Daudpota

机构 * Department of Computer Science (IDI), Norwegian University of Science \& Technology (NTNU), Gjøvik, 2815, Norway Department of Informatics, Linnaeus University, V\"axj\"o, 351 95, Sweden Department of Computer Science, Sukkur IBA University, Sukkur, 65200, Pakistan 纠错

专题命中 预训练与数据 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种结合患者年龄和性别的混合卷积-Transformer模型，用于细粒度视觉识别儿童手腕病理学，以提高诊断准确性。

Level, Sharpness, and Corpus: Why Zero-Shot OOD Detector Rankings Do Not Transfer

水平、锐度与语料：为何零样本分布外检测器的排名无法迁移

Ignacio M. De la Jara, Cristian Rodriguez-Opazo, Stephen Gould, Damith Ranasinghe

专题命中 预训练与数据 ：language model(abstract)

AI总结 本文通过审计证明零样本OOD检测器排名无法跨域迁移，提出CEG封装器，可降低检测器敏感性并提升GL-MCM与MCM的族平衡FPR95。

Embedding Items at Scale: Comparing GNN-Based and ID-Based Item Embeddings in the Yandex Ecosystem

大规模物品嵌入：Yandex生态系统中基于GNN和基于ID的物品嵌入比较

Sergei Makeev, Artem Matveev, Vladimir Baikalov, Kirill Khrylchenko

专题命中 预训练与数据 ：pretraining(abstract)

AI总结 本文通过案例研究，在Yandex的三个产品场景中对比了基于GNN的预训练物品嵌入与端到端可训练物品嵌入，发现训练数据有限时预训练有帮助，大规模数据集上则无显著益处。

TiPToP: A Modular Open-Vocabulary Robot Manipulation System That Plans

TiPToP：一种用于机器人操作的模块化开放式词汇规划系统

William Shen, Nishanth Kumar, Sahit Chintalapudi, Ryan Lindeborg, Jie Wang, Christopher Watson, Edward Hu, Jing Cao, Dinesh Jayaraman, Leslie Pack Kaelbling, Tomás Lozano-Pérez

专题命中 预训练与数据 ：foundation model(abstract)

AI总结 TiPToP是一种模块化开放式词汇规划系统，结合预训练视觉模型与任务规划器，通过自然语言指令和RGB图像直接解决多步骤操作任务，实现实时高效的操作规划。

Comments Project website: https://tiptop-robot.github.io