Beyond Grading Accuracy: Exploring Alignment of TAs and LLMs
超越评分准确性:探索助教与LLMs的一致性
专题命中 安全评测 :alignment(title,abstract);分类 cs.CY
AI总结 本文提出一个评估管道,通过定量研究92个UML类图,比较助教与六个开源LLMs在单个评分标准上的表现,发现开源LLMs在评分准确性上接近助教,为混合主动评分系统提供了可能。
Comments 7 pages, 3 figures
AI 大模型
大模型对齐、安全、越狱、红队、提示注入和可信评测。
超越评分准确性:探索助教与LLMs的一致性
专题命中 安全评测 :alignment(title,abstract);分类 cs.CY
AI总结 本文提出一个评估管道,通过定量研究92个UML类图,比较助教与六个开源LLMs在单个评分标准上的表现,发现开源LLMs在评分准确性上接近助教,为混合主动评分系统提供了可能。
Comments 7 pages, 3 figures
可信多智能体系统:使用Argent信令协议缓解语义漂移
机构 * Synechron Inc(Synechron公司)
专题命中 安全评测 :trustworthy(title);分类 cs.CL、cs.AI
AI总结 提出Argent信令协议(ASP),通过结构化质量信号区分可修复与不可修复的失败,在文档问答和多智能体系统中分别提升通过率和阻断无依据传播。
Comments 17 pages
脚手架效应:提示框架如何驱动临床VLM评估中的表面多模态增益
机构 * Technical University of Darmstadt(达姆施塔特技术大学)
专题命中 安全评测 :alignment(abstract);trustworthy(abstract);分类 cs.AI、cs.LG
AI总结 研究发现,在临床VLM评估中,提示中提及MRI可用性即可解释70-80%的性能提升,与图像数据是否存在无关,这种“脚手架效应”揭示了表面评估无法反映真实多模态推理能力。
LLM在硬件设计的RTL编码中如何失败与泛化?
机构 * NVIDIA Research(英伟达研究院)
专题命中 安全评测 :alignment(abstract);分类 cs.CL、cs.AI
AI总结 提出基于问题可解性的错误分类法,揭示LLM在RTL编码中受限于预训练知识,对齐技术仅教会编译,而推理能力才是关键瓶颈。
Comments Preview, under submission for EMNLP 2026
TxBench-PP:分析AI代理在小分子临床前药理学中的表现
机构 * LatchBio
专题命中 安全评测 :safety(abstract);分类 cs.AI、cs.LG
AI总结 提出TxBench-PP基准,用于评估AI代理从真实实验数据中恢复临床前药理学结论的能力,测试显示最强配置Claude Opus 4.8 / Pi仅通过59.3%的端点尝试。
SARLO-80:全球斜距SAR语言光学数据集80cm
机构 * DEMR-ONERA – The French Aerospace Lab, Université Paris-Saclay(法国航空航天实验室DEMR-ONERA,巴黎-萨克雷大学) ; DTIS-ONERA – The French Aerospace Lab, Université Paris-Saclay(法国航空航天实验室DTIS-ONERA,巴黎-萨克雷大学) ; Hugging Face
专题命中 安全评测 :alignment(abstract);分类 cs.AI
AI总结 为解决高分辨率SAR与光学图像及文本对齐的数据稀缺问题,基于Umbra SLC数据构建了80cm斜距网格的SAR-光学-文本三元组数据集,支持跨模态检索与生成任务。
FreeStyle: 从社区LoRA挖掘中实现风格-内容双参考生成的自由控制
机构 * Fudan University(复旦大学) ; StepFun ; Westlake University(西湖大学) ; University of Hong Kong(香港大学)
专题命中 安全评测 :alignment(abstract);分类 cs.AI
AI总结 提出FreeStyle框架,利用社区LoRA作为锚点,通过两阶段课程学习(注意力级约束和频率感知RoPE调制)解决双参考生成中的内容泄露问题,并引入新基准和评估指标,实现风格对齐、内容保持与泄露抑制的平衡。
Comments 35 pages, 26figures. Project page: https://github.com/Blue2Giant/FreeStyle
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院) ; Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院) ; School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院) ; School of Artificial Intelligence, Shandong University(山东大学人工智能学院) ; School of Computer Science and Artificial Intelligence, Shandong Normal University(山东师范大学计算机科学与人工智能学院) ; Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University(山东师范大学通用人工智能跨学科研究中心)
专题命中 安全评测 :alignment(abstract);分类 cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题,提出UAV-VLN-FOV任务和3DG-VLN框架,通过动态3D方向线索增强细粒度视觉定位与空间对齐,在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
大型语言模型黑盒不确定性估计方法的系统评估
机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)
专题命中 安全评测 :trustworthy(abstract);分类 cs.AI
AI总结 系统评估了24种黑盒不确定性估计方法在4个模型和4个数据集上的表现,发现无单一方法普遍最优,但基于答案空间推理和比较的方法通常有效,混合方法在多数条件下表现良好。
代理式电子设计自动化:一种交接视角
机构 * The Chinese University of Hong Kong(香港中文大学) ; Primarius Technologies(Primarius技术公司)
专题命中 安全评测 :trustworthy(abstract);分类 cs.AI
AI总结 本文从交接有效性角度出发,将EDA流程中的代理系统分为三类,并提出五层代理通信协议,以解决多阶段、多工具间的状态传递和验证问题。
预测参数高效微调更新的可合并性
机构 * Sichuan University(四川大学) ; University of Electronic Science and Technology of China(电子科技大学)
专题命中 安全评测 :safety(abstract);分类 cs.LG
AI总结 提出MergeProbe,通过训练初期信号预测LoRA适配器的可合并性,在MERGE-PEFT基准上实现最佳平均和最差保留性能。
DynAMO:基于拓扑多智能体调度的动态资产管理编排
机构 * Gati Shakti Vishwavidyalaya(加蒂·沙克蒂大学) ; IBM Research(IBM研究院)
专题命中 安全评测 :safety(abstract);分类 cs.AI
AI总结 提出DynAMO引擎,采用先规划后执行架构生成可验证工作流图,支持顺序与并行执行,通过动态识别独立任务提升效率,在工业基准上实现1.6倍延迟降低,并保持正确性与安全性。
Comments 11 pages, 2 figures, 7 tables, 4 algorithms. Evaluated on the AssetOpsBench industrial benchmark. Code: https://github.com/kushwaha001/DynAMO
缩小社会-语义差距:SPSD用于云LLM推理中的边缘端提示压缩
机构 * Indian School of Business(印度管理学院)
专题命中 安全评测 :safety(abstract);分类 cs.LG
AI总结 针对云LLM推理中提示词预填充阶段能耗高的问题,提出SPSD边缘端管道,利用4比特量化小语言模型压缩用户提示,在保持响应质量非劣效的前提下,平均节省99.9个输入token,每调用净节能70-270 uWh。
Comments 19 pages, 7 tables, 1 figure, includes appendix
最优确定性多校准与全预测
机构 * University of Pennsylvania(宾夕法尼亚大学)
专题命中 安全评测 :trustworthy(abstract);分类 cs.LG
AI总结 本文提出一种确定性算法,实现多校准的极小化最优样本复杂度,并推广到结果不可区分性,解决确定性预测器是否必要的问题。
CareTransition-Audit:用于高效护理过渡的出院总结审计基准
机构 * Department of Computer Science \& Engineering, University of Minnesota-Twin Cities, Minneapolis, USA ; Centific AI Research, Redmond, USA
专题命中 安全评测 :safety(abstract);分类 cs.AI
AI总结 提出基于大语言模型的自动化框架,通过46项检查清单审计出院总结完整性,在MIMIC-IV数据集上基准测试11个模型,最佳模型与临床医生标签的Cohen's kappa约0.5,所有模型难以识别模糊文档。
Comments Accepted as a poster at IEEE-ICHI 2026; Accepted at SD4H@ICML
Omnilingual SONAR:跨语言与跨模态句子嵌入,连接大规模多语言文本与语音
机构 * FAIR at Meta(Meta的FAIR)
专题命中 安全评测 :alignment(abstract);分类 cs.CL
AI总结 提出OmniSONAR模型,通过渐进式训练和教师-学生蒸馏,在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入,在跨语言检索和翻译任务上显著降低错误率,并支持零样本语音翻译。
TransLaw:模拟香港判例法专业翻译的大规模数据集与多智能体基准
机构 * City University of Hong Kong, Hong Kong SAR, China(香港城市大学)
专题命中 安全评测 :alignment(abstract);分类 cs.CL
AI总结 针对香港判例法英译中资源匮乏、法律术语和格式要求严格的问题,构建了首个大规模句对齐平行语料库HKCFA Judgment 97-22,并提出多智能体框架TransLaw,通过分解翻译任务、集成法律词汇库和检索增强生成,显著提升翻译质量,但仍未达到人类专家的风格自然度。
Comments Accepted at ICML 2026 - AI for Law
Vibe Coding 用于可视化实现:实践与挑战的实证研究
专题命中 安全评测 :alignment(abstract)
AI总结 通过16名参与者的实证研究,探讨用户使用AI驱动的自然语言交互工具生成可视化时的实践(提示、评估、迭代)和挑战。
Comments 5 pages, 2 figures. Short paper under review
通过知识增强的LLM智能体实现左移高层次综合验证
专题命中 安全评测 :alignment(abstract)
AI总结 提出一种知识增强的智能体驱动左移验证框架,通过双层级一致性检查、符号执行和HLS验证知识图谱,在综合前自动验证C与HLS-C的功能一致性,覆盖率达98.26%。