AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
大语言模型中的信息辨别
机构 * University of Michigan（密歇根大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY
AI总结 研究大语言模型在与外部知识源结合时的信息辨别问题，提出Learn2Discern框架及基准，通过用户研究和大量模型试验发现模型在来源和真相辨别上存在问题，识别出简单干预措施，发布数据集和调查作为测试平台。
DocOCR-Eval：一种无需真实标签的基于校正的OCR工具选择框架
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 针对文档解析中OCR工具选择难题，尤其是标签稀缺情况，提出无标注评估框架DocOCR-Eval。它采用三阶段校正和排序策略，通过跨多个MLLM聚合改善与基于标注排名的对齐，能在现实有限标签设置中实现可靠OCR工具选择并提供实用指导。
Comments Work in progress
用于对危险驾驶产生情感反应的视觉语言助手
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 研究针对现有自动驾驶视觉语言模型忽视情感维度与用户体验的问题，提出KYA系统。它由视觉模块（用YOLOv8变体检测危险行为并提取指标生成日志）和语言模块（依情感基调设置生成回应）组成，经实验评估表现良好，为车载人工智能带来新范式。
Comments Transportation Research Record. Advance online publication (2026)
语言模型中的可言语化表征形成全局工作空间
机构 * Anthropic（A÷）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究探讨语言模型中可言语化表征，用雅可比透镜识别出J空间，其具有全局工作空间功能特性与结构特征，能揭示模型未显思考，发现训练后助手观点在工作空间，引入反事实反思训练，解码表征助于了解认知过程。
SingGuard-NSFA：通过生成式推理和实时分类实现的可扩展智能体人工智能护栏
机构 * Ant Group（蚂蚁集团）
专题命中 安全评测 ：prompt injection(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 研究针对智能体人工智能系统操作威胁，提出NSFA分类法构建基准套件，开发双模式方法，发布四个不同参数模型，在基准测试和跨源评估中表现出色，证明方法可扩展性与通用性。
论非 GPU 人工智能加速器在大模型推理中的局限性：基于华为昇腾的 MoE 和多模态服务的实地研究
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 研究非 GPU 人工智能加速器在大模型推理中的局限性，通过在华为昇腾系统上部署两个大型推理工作负载进行实地研究，总结平台八类限制及原因，量化相关指标，为评估或操作此类加速器的团队提供可重复参考。
一种用于自动驾驶的可靠上下文感知和时间规划框架
专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)
AI总结 研究自动驾驶中车载传感退化时的可靠感知与规划问题，提出RCT-AD框架，通过显式建模特征质量和时间一致性，经可靠上下文感知模块和时间轨迹规划器等提升感知、预测及规划能力。
Comments Submitted to IEEE Transactions on Intelligent Transportation Systems. 12 pages, 6 figures
当无人注视时LLM智能体在说什么：多智能体辩论中的社会结构与潜在目标涌现
机构 * Independent Researcher（独立研究员） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出双通道辩论框架，研究社会结构（角色、受众、关系）如何导致LLM智能体在公开与私下（OTR）表达中产生系统性分歧，揭示潜在目标的涌现。
利用潜在空间：从引导向量到模型校准器以实现控制与信任
机构 * Carnegie Mellon University, Language Technologies Institute（卡内基梅隆大学语言技术研究所）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出利用潜在空间中的引导向量控制语言模型行为，并开发基于潜在空间的模型校准器评估输出可信度，从而增强模型的可控性与可靠性。
Comments ACL 2026 (BigPicture Workshop)
DysLexLens：面向低资源场景的LLM框架，用于分析在线论坛中阅读障碍学习者的见解
机构 * Swinburne University of Technology（斯威本科技大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出DysLexLens框架，通过字典过滤、知识图谱推理和评估机制，从低资源论坛数据中分析阅读障碍学习者对AI工具的使用体验。
RASC+: 用于临床值集创作的检索约束LLM裁决
机构 * Oracle Health, USA（美国甲骨文健康）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出RASC+方法，通过检索优化候选池召回率，并利用约束LLM裁决器选择候选，在临床值集完成任务上显著提升F1分数，同时保证返回代码来自可审计候选池。
REALM: 面向物理世界视觉语言模型的统一红队基准
机构 * University of Central Florida（中佛罗里达大学）
专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)
AI总结 提出REALM，首个统一红队基准，集成12种攻击方法、3种防御和13个视觉语言模型，通过代理目标生成管道实现公平比较，发现文本注入攻击最有效。
Comments 20 pages, 5 figures. Preprint
DrugBench：评估用于减轻药物危害的AI控制协议
机构 * Universidad de Buenos Aires, Facultad de Ciencias Exactas y Naturales, Departamento de Computación（布宜诺斯艾利斯大学，精确与自然科学学院，计算机系） ； AI Safety Argentina (AISAR)（阿根廷人工智能安全组织 (AISAR)） ； Department of Computer Science, University of Oxford（牛津大学计算机科学系） ； CONICET-Universidad de Buenos Aires, Instituto de Ciencias de la Computación (ICC)（阿根廷国家科学与技术研究理事会-布宜诺斯艾利斯大学，计算机科学研究所 (ICC)）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出DrugBench基准，结合医疗对话与FDA标签，评估AI控制协议在减轻药物交互、禁忌症等四类危害中的有效性，并引入基于严重性的监控方法。
从知道到行动：基准测试LLM代理的自我意识能力
机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Edinburgh（爱丁堡大学） ； Tencent（腾讯） ； University of Bristol（布里斯托大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出KAPRO框架和KAware数据集，通过解耦元认知判断与自主执行，评估LLM代理的自我意识能力，发现其与任务成功强相关但在内部能力场景中下降，开源模型易过度使用工具。
在LLM推理中，价值对齐之上存在非理性
机构 * University of Edinburgh（爱丁堡大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出理性价值风险概念，形式化LLM在推理中即使价值对齐也可能无法最大化对齐价值的问题，并通过实验验证该风险普遍存在且无法被对齐消除。
Mind Companion: 一种用于基于过程心理治疗的具身对话代理
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 提出Mind Companion，一种基于大语言模型的具身对话代理，通过多层级心理分析与过程治疗原则，实时分析客户陈述并生成回应，评估显示GPT-5.2在多个维度上优于人类治疗师。
Journal ref 2026 IEEE 14th International Conference on Healthcare Informatics (ICHI), Minneapolis, MN, June 1-3, 2026, pp. 980-989
LADBench: 图像中逻辑故障检测的基准
机构 * University of South Florida（南佛罗里达大学）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 提出LAD-Bench基准，包含1000多张合成图像的四域逻辑异常，通过分层提示协议评估模型，揭示现有VLM在隐式逻辑故障检测上的不足。
Comments Accepted to the IEEE International Conference on Development and Learning (ICDL 2026)
视觉会撒谎，一致性说话：在视觉-语言模型中解耦空间注意力与可靠性
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Algoverse AI Research（Algoverse AI研究） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本文提出VLM可靠性探针（VRP），通过结构注意力指标和生成动态分析，发现空间注意力与准确性几乎无关（R≈0.001），而自一致性是可靠性的主要预测因子（R=0.429），揭示了视觉特征与最终生成之间的符号脱离现象。
Comments 16 pages. Accepted to the ICLR 2026 Workshop on Multimodal Intelligence. Code: https://github.com/itsloganmann/VLM-Reliability-Probe
多模态大语言模型评判器的对抗鲁棒性
机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； State Key Laboratory of Virtual Reality Technology and System, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； State Key Laboratory of Software Development Environment, Jiangxi Research Institute, Beihang University（北京航空航天大学江西研究院软件开发环境国家重点实验室） ； School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息系统学院）
专题命中 安全评测 ：alignment(abstract)；safety(abstract)
AI总结 提出RobustMLLMJudge框架评估多模态大语言模型作为评判器时的对抗鲁棒性，并设计MGSIA攻击方法，通过语义诱导和高分流形对齐生成可迁移的分数膨胀扰动，揭示其脆弱性。
OdysSim: 构建人类行为模拟的基础模型
机构 * Carnegie Mellon University, Language Technologies Institute（卡内基梅隆大学语言技术研究所）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出OdysSim，通过SOUL分类法统一62个数据集和23个基准任务，采用混合训练、任务特定强化学习和专家蒸馏，构建8B参数行为基础模型OSim，在多数任务上超越前沿模型，并实现更类人输出和零样本迁移。
Comments 34 pages. Code: https://github.com/sunnweiwei/OdysSim ; Models and data: https://huggingface.co/collections/cmu-lti/odyssim
立场：AI 必须转向以行星为中心，而非仅以人为中心
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG
AI总结 本文提出以行星为中心的AI（PCAI）设计哲学，通过系统思维重新定位AI以应对全球性社会-生态系统挑战，并强调与全球议程对齐、系统感知基础、轨迹导向评估和可监测性。
Journal ref International Conference on Machine Learning (ICML 2026)
面向入门编程教育的可解释AI助手：通过教师-AI协作提高反馈可靠性
机构 * North Carolina State University（北卡罗来纳州立大学） ； University of California, Berkeley（加州大学伯克利分校）
专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG
AI总结 提出一种可解释AI驱动的课堂助手，通过分析学生代码、映射逻辑错误到教师识别的误解并提供教师撰写的反馈，提高入门编程课程中反馈的可靠性和可解释性。
Comments Full paper accepted to the 27th International Conference on AI in Education (AIED 2026)
OpenMedReason: 医学视觉语言模型的科学推理监督
机构 * York University（约克大学） ； Vector Institute（向量研究所） ； University of British Columbia（不列颠哥伦比亚大学） ； University of Toronto（多伦多大学） ； Unity Health Toronto / St. Michael’s Hospital（多伦多联合健康/圣迈克尔医院） ； University Health Network（大学健康网络） ； Arc Institute（弧研究所） ； Queen's University（女王大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出OpenMedReason，一个包含约45万图像-问题-答案实例的大规模开放医学推理语料库，其推理轨迹主要来自生物医学科学文章，并配套基准OpenMedReason-Bench进行细粒度评估，在监督微调和强化对齐中有效提升模型性能。
Comments 42 pages, 9 figures, 24 tables. Dataset and code: https://huggingface.co/datasets/neginb/OpenMedReason
PreAct-Bench：大语言模型中的预测性监控基准
机构 * King’s College London（伦敦国王学院） ； National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学） ； Thomson Reuters Foundational Research（汤姆森路透基础研究） ； Imperial College London（伦敦帝国学院） ； The Alan Turing Institute（艾伦·图灵研究所）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出预测性监控任务，在动作执行前判断是否会导致不道德行为，并构建PreActBench基准，评估多种模型发现该任务具有挑战性。
基于LLM的代码文档生成与多裁判评估
机构 * University of Tunis El Manar（突尼斯国家理工大学）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 提出利用八种大语言模型自动生成代码文档，并通过多裁判评估框架（四个LLM从九个维度评分）提升文档质量，在医学物理库上实验显示最佳与最差模型性能差距达42%。
Comments ICAHS, \c{opyright} 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
Journal ref Conference ICAHS IEEE, 2025
针对瑞士德语音识别的Whisper字幕对齐微调：基准污染、惯例不匹配以及25.6% WER（13.8% cWER）的诚实基线
机构 * Independent Researcher, Zurich, Switzerland（独立研究员，瑞士苏黎世） ； ETH Zürich（苏黎世联邦理工学院） ； University of Bern（伯尔尼大学） ； FHNW（西北应用科学与艺术大学） ； CeTIM Leiden/Munich（CeTIM 莱顿/慕尼黑）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 通过1,367小时广播语音与标准德语字幕的弱监督，系统微调Whisper large-v3用于瑞士德语音识，发现公开结果因基准污染被高估，并发布两个诚实评估的模型。
Comments 15 pages, 21 tables. Models available at https://huggingface.co/Flix-AI
当大型语言模型在医疗保健中失败：评估对提示变化的敏感性
机构 * Department of Computer Science and Engineering, Doha, Qatar（计算机科学与工程系，多哈，卡塔尔）
专题命中 安全评测 ：safety(abstract)；分类 cs.CL、cs.AI、cs.LG
AI总结 本研究系统分析了通用和医学专用LLM对提示扰动的敏感性，发现即使是微小的措辞变化也可能改变临床建议，对抗性提示可能引发有害输出，表明这些模型在临床应用中不可靠。
Comments 12 pages
基于社会基础的智能体人工智能：通过社会理论协调多元视角
专题命中 安全评测 ：alignment(abstract,comments)；分类 cs.AI、cs.LG
AI总结 本文提出将社会理论用于人工智能系统设计，以解决多元对齐问题，将多元对齐重新定位为基于社会基础的协调问题，勾勒了相关系统的设计空间并指明未来研究方向。
Comments Pluralistic Alignment Workshop @ ICML 2026, Seoul, South Korea
SURGELLM: 通过任务感知特征门控与类别平衡归一化重新思考多任务评估
机构 * Istanbul Technical University（伊斯坦布尔理工大学）
专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI；trustworthy(comments)
AI总结 针对异构NLP任务中归纳偏置不匹配、类别不平衡和缺乏外部词汇知识的问题，提出统一Transformer框架SURGELLM，包含手术特征门控、任务条件前缀令牌和实例加权归一化，在四个任务上平均F1提升0.036。
Comments Proceedings of the 6th Workshop on Trustworthy NLP (TrustNLP 2026), ACL 2026, San Diego, California, USA. Available at https://openreview.net/forum?id=WJCalficPT
BELLS-O：评估LLM监督系统的运营权衡
机构 * University of Graz, Graz, Austria（格拉茨大学） ； Supervised Program for Alignment Research (SPAR)（对齐研究监督计划 (SPAR)） ； Centre pour la Sécurité de l'IA (CeSIA), Paris, France（人工智能安全研究中心 (CeSIA)，巴黎，法国）
专题命中 安全评测 ：jailbreak(abstract)；分类 cs.AI、cs.LG；trustworthy(comments)
AI总结 提出首个独立运营基准BELLS-O，评估28个LLM监督系统在检测率、误报率、延迟和成本上的权衡，发现专用护栏在内容审核中占优，而前沿通用模型在越狱检测中表现更好但成本更高。
Comments Accepted at the ICML 2026 Workshop on Trustworthy AI for Good (AI4GOOD). 2 figures; main text plus appendices
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈