AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
理解奖励模型中的有用性与无害性张力
机构 * University of Copenhagen（哥本哈根大学）
专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract,comments)；harmlessness(abstract)；分类 cs.CL、cs.LG
AI总结 通过激活分析和消融实验，发现奖励模型中有用性和无害性目标存在干扰，共享神经元对模型行为影响不成比例，导致对齐张力。
Comments The source code used in this study is publicly available at: https://github.com/EshaanT/RM-alignment\_tension
MARD: 镜像增强推理蒸馏用于机制级药物-药物相互作用预测
机构 * University of Guelph（圭尔夫大学） ； York University（约克大学） ； Vector Institute（向量研究所）
专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL
AI总结 提出MARD-7B模型，通过镜像增强推理蒸馏、单token KL散度、PRM加权DPO和机制感知检索通道，在机制级DDI预测中准确率超越GPT-4o 6.7个百分点，且成本仅为1%。
Comments 29 pages, 9 figures. Preprint
分析与改进医学LVLMs中的细粒度偏好优化
机构 * York University（约克大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Queen’s University（女王大学）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI
AI总结 针对医学大视觉语言模型在事实一致性、视觉定位和临床对齐方面的不足，提出一种结合双向令牌级KL正则化和视觉对比定位目标的细粒度在线偏好优化框架，通过最小编辑模型输出构建偏好对，仅修正临床错误片段，显著提升诊断准确性。
大型语言模型中的预填充感知
机构 * Constellation University of Wisconsin-Madison（威斯康星大学麦迪逊分校星座研究所） ； Constellation Georgia Institute of Technology（佐治亚理工学院星座研究所） ； UK AI Security Institute（英国人工智能安全研究所）
专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.AI
AI总结 研究大型语言模型能否识别并响应其助手消息被预填充或篡改，发现前沿模型具有显著预填充感知能力，可能影响安全评估方法。
Comments Submitted to NeurIPS 2026
Evoflux: 紧凑型智能体的可执行工具工作流的推理时演化
机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） ； IBM Research（IBM研究院）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.AI
AI总结 提出Evoflux，一种推理时演化搜索方法，通过结构化编辑和执行反馈修复紧凑语言模型的工具工作流，将执行可行性从3%提升至17-24%，优于SFT和ReAct。
Comments Code is available at https://github.com/IBM/Evoflux
Emo-LiPO：基于LLM的文本到语音中细粒度情感强度控制的列表式偏好优化
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Agency for Science, Technology and Research（新加坡科技研究局） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳市大数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院）
专题命中 偏好对齐 ：DPO(abstract,abstract_cn)
AI总结 提出Emo-LiPO框架，将情感强度控制建模为学习排序问题，通过列表式偏好优化对齐文本与语音的情感强度，实现更忠实连续的情感表达，在ESD-plus数据集上显著提升情感准确性和强度可控性。
Comments Accepted by IJCAI 2026. Emotional TTS, Preference Optimization, Emotion Intensity Control
Muse Spark 安全与准备报告
机构 * Muse Spark
专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.CY
AI总结 Meta 发布 Muse Spark 大语言模型，评估其在化学/生物、网络安全和失控风险等灾难性风险领域的安全性，通过多层缓解措施将风险降至可接受水平，并作为 Meta AI 的基础模型发布。
Comments 159 pages, 57 figures
超越运行时强制：作为对抗网络可防御性分析的盾牌合成
机构 * Information and Computer Science Department, King Fahd University of Petroleum and Minerals（信息与计算机科学系，法赫德国王石油矿产大学）
专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG
AI总结 提出将盾牌合成重新解释为设计时分析工具，通过约束双人安全博弈生成可防御性判定，并融合拓扑度量和强化学习行为形成可防御性指纹，揭示系统安全的结构性见解。
Comments 26 pages, 7 figures, 7 tables. Under review at JAIR. Code: https://github.com/AchrafHsain7/Bastion
个体控制障碍函数引导的扩散模型用于安全离线多智能体强化学习
机构 * Department of Electrical Engineering and Automation, Aalto University（阿尔托大学电气工程与自动化系） ； School of Computing and Data Science, Xiamen University Malaysia（厦门大学马来西亚分校计算与数据科学学院） ； Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
专题命中 安全训练 ：safety(abstract)；分类 cs.LG
AI总结 提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法，通过逆动力学恢复控制策略，在保证奖励的同时显著提升轨迹生成的安全性。
Comments Accepted to the 23rd IFAC World Congress, 2026
FENCE：一个金融和多模态越狱检测数据集
专题命中 越狱攻击 ：jailbreak(title,abstract)；分类 cs.CL、cs.AI
AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。
Comments lrec 2026 accepted paper
更聪明的破坏者，更好的修复者：线性多智能体工作流中的规模与安全性
机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学）
专题命中 越狱攻击 ：safety(abstract)；分类 cs.LG
AI总结 研究模型规模对线性多智能体工作流安全性的影响，发现大模型更易执行恶意指令，但轻量级修复阶段可恢复性能，表明线性结构在适当校正下具有鲁棒性。
Comments 16 pages (4 are main text), 2 figures, 6 tables. Accepted to the AIWILD Workshop at ICML 2026
PI-Hunter：用于暴露和定位提示注入的自动化红队测试
机构 * Google Cloud AI Research（谷歌云人工智能研究） ； Google（谷歌） ； Michigan State University（密歇根州立大学）
专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI
AI总结 提出PI-Hunter自动化审计框架，通过构建源感知测试用例并迭代演化，主动暴露LLM智能体中的潜在提示注入漏洞，显著提升漏洞暴露和攻击面覆盖。
Nous: 提取并注入预测市场行为背后认知的尝试
机构 * Independent Researcher（独立研究员）
专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI
AI总结 针对LLM代理在预测市场中认知同质化问题，提出Nous方法从真实交易行为提取八维行为画像并注入提示，发现提取部分有效但提示注入无法传递认知多样性。
Comments 37 pages, 1 figure, 7 tables. Reproduction artifacts (code, frozen profiles, prompts, model outputs): https://github.com/WillChienT/nous-paper
SafeLLM: 在安全关键场景中，提取作为重写的抗幻觉替代方案
机构 * Institute of Health Informatics, University College London（伦敦大学学院健康信息学研究所） ； National Hospital for Neurology and Neurosurgery（国家神经内科与神经外科医院） ； Somerset NHS Foundation Trust（萨默塞特NHS基金会信托） ； King's College Hospital（国王学院医院） ； King's College London（伦敦国王学院）
专题命中 幻觉与事实性 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL
AI总结 提出将提取作为重写型RAG的抗幻觉替代方案，通过行号选择策略在安全关键文档中实现高召回（95%）和低幻觉，优于直接复制和安全导向方法。
零源大语言模型幻觉检测：类人类标准探测
机构 * South China University of Technology（华南理工大学） ； The University of Melbourne（墨尔本大学） ； Pazhou Laboratory（帕乔实验室） ； Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出HCPD范式，通过类人类标准探测机制模拟人类评估者的多面推理，结合奖励对齐和多样本聚合，实现零源条件下的有效可解释幻觉检测。
Comments Accepted at ICML 2026
一种用于自动混凝土护栏设计的轻量级多智能体框架
机构 * College of Civil Engineering, Hunan University（湖南大学土木工程学院） ； Department of Civil and Architectural Engineering, University of Miami（迈阿密大学土木与建筑系） ； School of Architecture, University of Miami（迈阿密大学建筑学院）
专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI
AI总结 提出基于AutoGen的“生成-评估-优化”闭环多智能体框架，实现混凝土护栏自动设计，准确率超98%，且8B参数轻量模型可优于631B旗舰模型。
HalluJudge: 代码审查自动化中上下文错位的无参考幻觉检测
机构 * Monash University Australia（墨尔本大学澳大利亚） ； The University of Melbourne Australia（墨尔本大学澳大利亚） ； Atlassian USA（Atlassian美国）
专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI
AI总结 提出无参考幻觉检测方法HalluJudge，通过上下文对齐评估生成评论的根基性，采用多分支推理策略，在F1=0.85且成本$0.009下与开发者偏好67%一致。
Comments Accepted at FSE'26: Industry Track, Full-Length, Peer-Reviewed
遏制缺口：已部署的自主AI框架如何未能满足面向公众的安全要求
机构 * New Jersey Institute of Technology（新泽西理工学院）
专题命中 安全评测 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI
AI总结 研究发现主流自主AI框架缺乏架构级安全保证，内存完整性漏洞可导致定向腐败，提出轻量级遏制机制消除攻击向量。
Comments ICML 2026 (AI4GOOD Workshop)
多轮交互中的安全隐患：工具使用智能体的多轮安全风险基准与防御
机构 * Stanford University（斯坦福大学） ； UC Berkeley（加州大学伯克利分校）
专题命中 安全评测 ：safety(title,abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出多轮工具使用安全基准MT-AgentRisk，发现多轮设置下攻击成功率平均增加16%，并设计无训练、与工具无关的自探索防御方法ToolShield，平均降低30%攻击成功率。
共享还是不共享：协调全球价值链中的可信数据
专题命中 安全评测 ：trustworthy(title,abstract)；分类 cs.CY
AI总结 针对欧盟CBAM带来的监管透明与数据主权矛盾，提出基于IDSA框架的RegTech参考架构，通过主权数据交换实现数字产品护照，驱动全球商业服务能力需求，并集成Agentic AI与绿色金融，为全球产业集群提供可扩展蓝图。
重新思考LLMs的心理测量评估：自我报告何时以及为何能预测行为
机构 * Caltech（加州理工学院） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； University of Cambridge（剑桥大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究对比大五人格与计划行为理论，发现LLMs的自我报告-行为一致性存在选择性：在共享对话中TPB达到人类水平，跨对话仅对锚定于训练的行为保持一致性，且角色提示不能使行为对齐。
Comments Accepted as an Oral (Contributed Talk) at the ICML 2026 Workshop on Combining Theory and Benchmarks (CTB)
面向入门编程教育的可解释AI助手：通过教师-AI协作提高反馈可靠性
机构 * North Carolina State University（北卡罗来纳州立大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG
AI总结 提出一种可解释AI驱动的课堂助手，通过分析学生代码、映射逻辑错误到教师识别的误解并提供教师撰写的反馈，提高入门编程课程中反馈的可靠性和可解释性。
Comments Full paper accepted to the 27th International Conference on AI in Education (AIED 2026)
MLUBench: 多模态大语言模型终身遗忘评估基准
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 提出MLUBench基准，评估多模态大模型在连续遗忘请求下的性能，发现现有方法存在累积退化，并揭示多模态对齐保持的挑战，提出LUMoE方法缓解退化。
Comments 36 pages, accepted to the ICML 2026
地理空间多模态基础模型的新兴灵活设计
机构 * Oak Ridge National Laboratory（橡树岭国家实验室）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG
AI总结 本文系统比较了不同架构的地理空间基础模型，在统一设置下评估其灵活性与性能，为多模态推理提供设计指导。
关键领域中平衡AI合规与技术创新的挑战：系统文献综述
机构 * Claremont Graduate University（克莱蒙特研究生大学）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY
AI总结 通过系统文献综述，识别出碎片化法规、中小企业过度合规负担和治理模型错配三大挑战，并提出风险分级监管、设计合规和可解释AI等策略。
Comments 11 pages, 7 figures, Hawaii International Conference on System Sciences
GraspLLM: 面向文本属性图与LLM的零样本泛化
机构 * Peking University（北京大学） ； National University of Singapore（新加坡国立大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG
AI总结 提出GraspLLM框架，通过融合图结构理解与LLM语义能力，利用基序感知对比学习和最优上下文子图对齐，实现跨数据集和跨任务的零样本泛化。
探索系统思维方法应对失控风险
专题命中 安全评测 ：safety(abstract)；分类 cs.CY
AI总结 本文运用STECA、STPA和FRAM三种系统安全方法分析前沿实验室编码智能体场景，发现模型级评估可能遗漏治理责任、反馈回路和操作变异等风险，主张将模型评估与系统级危害分析和操作保证相结合。
Comments Accepted to the Technical AI Governance Workshop at ICML 2026
元数据驱动分类中的评估主权：面向弱监督信息系统的多轨道框架
机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 针对弱监督元数据系统中标签权威性影响评估有效性的问题，提出评估主权概念及多轨道评估框架，通过实验揭示模型性能在银标与金标评估下的显著差异，并重新定义评估有效性为系统级属性。
EPIG：基于情感提示的个性化图像生成
机构 * MARS Research Lab LR17ES05, ISITCom, University of Sousse（苏塞大学ISITCom学院MARS研究实验室LR17ES05）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI
AI总结 提出EPIG方法，利用心理学效价-唤醒模型在提示层面增强情感表达，无需训练即可控制生成图像的唤醒度，在10个多样化提示上平均唤醒误差降低14%-17%。
Comments Submitted to arXiv. 20 pages, 4 figures. Work on emotion-based prompt engineering for text-to-image diffusion models with applications in personalized image generation
MÖVE：德国公共部门的大语言模型整体基准
机构 * Innovations Department, Bundesdruckerei GmbH（德国联邦印钞公司创新部）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL
AI总结 提出MÖVE基准，从性能和治理两个维度评估39个LLM在德国公共部门的应用，发现无单一模型全面领先，模型大小非质量可靠指标。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈