University of Edinburgh（爱丁堡大学）

Think Before you Write: QA-Guided Reasoning for Character Descriptions in Books

在写作前思考：基于问答的字符描述推理

Argyrios Papoudakis, Mirella Lapata, Frank Keller

机构 * Institute of Language, Cognition and Computation（语言、认知与计算研究所） ； School of Informatics, University of Edinburgh（爱丁堡大学信息学院） 纠错

AI总结 本文提出一种解耦推理与生成的框架，通过问答引导推理提升字符描述的准确性、信息量和现实基础。

Comments 20 pages, 16 tables, 1 figure

CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation

CodeSpecBench: 用于可执行行为规范生成的LLM基准测试

Zaoyu Chen, Jianbo Dai, Boyu Zhu, Jingdong Wang, Huiming Wang, Xin Xu, Haoyang Yuan, Zhijiang Guo, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； University of Edinburgh（爱丁堡大学） ； UCL（伦敦大学学院） ； CUHK (SZ)（香港中文大学（深圳）） ； SUTD（新加坡科技设计大学） ； HKUST（香港科技大学） ； CUHK（香港中文大学） ； HKUST (GZ)（香港科技大学（广州）） 纠错

AI总结 本文提出CodeSpecBench，一个基于执行评估协议的LLM可执行行为规范生成基准，评估了15种最新LLM在函数和仓库级任务中的表现，发现仓库级任务性能显著下降，且规范生成比代码生成更具挑战性。