Attention Sinks and Outliers in Attention Residuals
注意力沉底与注意力残差中的异常值
Haozheng Luo, Haoran Dai, Shaoyang Zhang, Xi Chen, Eric Hanchen Jiang, Yijiang Li, Jingyuan Huang, Chenghao Qiu, Chenwei Xu, Zhenyu Pan, Haotian Zhang, Binghui Wang, Yan Chen
机构
*
Department of Computer Science, Northwestern University（西北大学计算机科学系）
；
Department of Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系）
；
Department of Statistics and Data Science, University of California Los Angeles（加州大学洛杉矶分校统计与数据科学系）
；
Department of Electrical and Computer Engineering, University of California San Diego（加州圣地亚哥大学电气与计算机工程系）
；
Department of Computer Science, Rutgers University-New Brunswick（新泽西州立大学鲁特学院计算机科学系）
；
Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）
；
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
A Conditional U-Net Pipeline with Pre- and Post-Processing for Aerial RGB-to-Thermal Image Translation
具有预处理和后处理的条件U-Net管道用于航空RGB到热图像转换
Tseten Sherpa, Sikandar Ali, Shubham Parab, Haoyun Feng, Matthew Dennis, Keenan Gibbons, Verrah Otiende, Geoffrey H. Siwo
机构
*
Department of Data Science, University of Michigan, Ann Arbor, MI, USA（数据科学系，密歇根大学，安阿伯，MI，美国）
；
Department of Information Science, University of Michigan, Ann Arbor, MI, USA（信息科学系，密歇根大学，安阿伯，MI，美国）
；
Department of Computer Science, University of Michigan, Ann Arbor, MI, USA（计算机科学系，密歇根大学，安阿伯，MI，美国）
；
Arcknow, New York, USA（Arcknow，纽约，美国）
；
School of Environmental Sustainability, University of Michigan, Ann Arbor, MI, USA（可持续环境学院，密歇根大学，安阿伯，MI，美国）
；
SmithGroup, Ann Arbor, MI, USA（SmithGroup，安阿伯，MI，美国）
；
Michigan Institute for Data and AI in Society (MIDAS), University of Michigan, Ann Arbor, MI, USA（密歇根数据与人工智能社会研究院（MIDAS），密歇根大学，安阿伯，MI，美国）
；
United States International University (USIU), Nairobi, Kenya（美国国际大学（USIU），内罗毕，肯尼亚）
；
Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, MI, USA（学习健康科学系，密歇根大学医学院，安阿伯，MI，美国）
；
Department of Pharmacology, University of Michigan Medical School, Ann Arbor, MI, USA（药理学系，密歇根大学医学院，安阿伯，MI，美国）
；
Center for Global Health Equity, University of Michigan, Ann Arbor, MI, USA（全球健康公平中心，密歇根大学，安阿伯，MI，美国）
Kaito Iwasaki, Anthony Bloch, Taeyoung Lee, Maani Ghaffari
机构
*
Department of Mathematics University of Michigan（数学系密歇根大学）
；
Department of Mechanical and Aerospace Engineering George Washington University（机械与航空航天工程系乔治华盛顿大学）
；
Department of Naval Architecture & Marine Engineering and Department of Robotics University of Michigan（海军建筑与海洋工程系和机器人系密歇根大学）
Policy Library CBF: Finite-Horizon Safety at Runtime via Parallel Rollouts
策略库CBF：通过并行滚动预测实现有限时间范围内的运行时安全
Taekyung Kim, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Dimitra Panagou
机构
*
Department of Robotics（机器人学系）
；
Department of Aerospace Engineering（航空航天工程系）
；
University of Michigan（密歇根大学）
；
Toyota Motor North America, Research & Development（丰田美国北美洲研发部门）
Keeping an Eye on AI: A Framework for Effective Human Oversight of AI Systems
关注人工智能：一种有效的人工智能系统人类监督的框架
Susanne Gaube, Markus Langer, Tim Miller, Kevin Baum, Raimund Dachselt, Anna Maria Feit, Ujwal Gadiraju, Harmanpreet Kaur, Mark T. Keane, Richard Landers, Johann Laux, Q. Vera Liao, Brian Lim, Linda Onnasch, Tim Schrills, Liz Sonenberg, Chenhao Tan, Nava Tintarev, Ziang Xiao, Hanwei Zhang
机构
*
University College London（伦敦大学）
；
University of Freiburg（弗赖堡大学）
；
University of Queensland（昆士兰大学）
；
Saarland University（萨尔兰大学）
；
TU Dresden（德累斯顿技术大学）
；
Delft University of Technology（代尔夫特理工大学）
；
University of Minnesota（明尼苏达大学）
；
University College Dublin（都柏林大学）
；
University of Oxford（牛津大学）
；
University of Michigan（密歇根大学）
；
National University of Singapore（新加坡国立大学）
；
Technische Universität Berlin（柏林技术大学）
；
University of Lübeck（吕贝克大学）
；
University of Melbourne（墨尔本大学）
；
University of Chicago（芝加哥大学）
；
Maastricht University（马斯特里赫特大学）
CommentsThe conceptual analysis for this work was undertaken by the authors at Dagstuhl seminar 25272 'Challenges of Human Oversight: Achieving Human Control of AI-Based Systems' (https://www.dagstuhl.de/25272), held at Schloss Dagstuhl (June 29th-July 4th, 2025)
From Pixels to Places: A Systematic Benchmark for Evaluating Image Geolocalization Ability in Large Language Models
从像素到地点：一个系统性基准，用于评估大语言模型中的图像地理定位能力
Lingyao Li, Runlong Yu, Qikai Hu, Bowei Li, Min Deng, Yang Zhou, Xiaowei Jia
机构
*
University of South Florida Tampa USA
；
University of Alabama Tuscaloosa USA
；
University of Michigan Ann Arbor USA
；
Texas Tech University Lubbock USA
；
Texas A \& M University College Station USA
；
University of Pittsburgh Pittsburgh USA
；
University of South Florida
；
University of Alabama
；
University of Michigan
；
Texas Tech University
；
Texas A \& M University
；
University of Pittsburgh
CryptoBench: A Dynamic Benchmark for Expert-Level Evaluation of LLM Agents in Cryptocurrency
CryptoBench: 一种动态基准，用于评估LLM代理在加密货币领域的专家级能力
Jiacheng Guo, Suozhi Huang, Zixin Yao, Yifan Zhang, Yifu Lu, Jiashuo Liu, Zihao Li, Nicholas Deng, Qixin Xiao, Jia Tian, Kanghong Zhan, Tianyi Li, Xiaochen Liu, Jason Ge, Chaoyang He, Kaixuan Huang, Lin Yang, Wenhao Huang, Mengdi Wang
机构
*
Princeton University（普林斯顿大学）
；
Zenith Lab（Zenith实验室）
；
University of California, Los Angeles（加州大学洛杉矶分校）
；
University of California, Berkeley（加州大学伯克利分校）
；
University of Michigan（密歇根大学）
Modality-agnostic, patient-specific digital twins modeling temporally varying digestive motion
模态无关、患者特异性的数字双胞胎建模时变消化运动
Jorge Tapias Gomez, Nishant Nadkarni, Lando S. Bosma, Jue Jiang, Ergys D. Subashi, William P. Segars, James M. Balter, Mert R Sabuncu, Neelam Tyagi, Harini Veeraraghavan
机构
*
Computer and Information Science, Cornell University（康奈尔大学计算机与信息科学系）
；
Department of Medical Physics, Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心医学物理系）
；
University Medical Center Utrecht（乌得勒支大学医学中心）
；
Department of Radiation Physics, University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心放射物理系）
；
Carl E. Ravin Advanced Imaging Laboratories and Center for Virtual Imaging Trials, Duke University Medical Center（杜克大学医学中心卡尔·E·拉文高级影像实验室和虚拟影像试验中心）
；
Department of Radiation Oncology, University of Michigan（密歇根大学放射肿瘤学系）
A New Framework for Convex Clustering in Kernel Spaces: Finite Sample Bounds, Consistency and Performance Insights
核空间中凸聚类的新框架：有限样本界、一致性和性能洞察
Shubhayan Pan, Kushal Bose, Debolina Paul, Saptarshi Chakraborty, Swagatam Das
机构
*
Indian Statistical Institute, Kolkata（印度统计研究院，加尔各答）
；
Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究院电子与通信科学单位）
；
Department of Statistics, University of Oxford（牛津大学统计系）
；
Department of Statistics, University of Michigan（密歇根大学统计系）
Potential and challenges of generative adversarial networks for super-resolution in 4D Flow MRI
生成对抗网络在4D流体磁共振成像超分辨率中的潜力与挑战
Oliver Welin Odeback, Arivazhagan Geetha Balasubramanian, Jonas Schollenberger, Edward Ferdiand, Alistair A. Young, C. Alberto Figueroa, Susanne Schnell, Outi Tammisola, Ricardo Vinuesa, Tobias Granberg, Alexander Fyrdahl, David Marlevi
机构
*
Surgery, Karolinska Institutet , addressline= Karolinska Universitetssjukhuset Solna (L1:00) , city= Stockholm , postcode= 171 76 , country= Sweden
；
organization= FLOW, Engineering Mechanics, KTH Royal Institute of Technology , addressline= Osquars Backe 18 , city= Stockholm , postcode= 100 44 , country= Sweden
；
organization= Department of Radiology
；
Biomedical Imaging, University of California San Francisco , addressline= 505 Parnassus Avenue , city= San Francisco , postcode= 94143 , state= CA , country= USA
；
organization= Faculty of Informatics, Telkom University , addressline= Jl.Telekomunikasi No. 1, Terusan Buahbatu , city= Bandung , postcode= 40257 , state= West Java , country= Indonesia
；
organization= Auckland Bioengineering Institute, University of Auckland , addressline= Bioengineering House, 70 Symonds St , city= Grafton , postcode= 1010 , country= New Zealand
；
organization= School of Biomedical Engineering \& Imaging Sciences, King's College London , addressline= 1 Lambeth Palace Rd, South Bank , city= London , postcode= SE1 7EU , country= UK
；
organization= Department of Biomedical Engineering, University of Michigan , addressline= 1107 Carl A. Gerstacker Bldg 2200 Bonisteel Blvd. , city= Ann Arbor , postcode= 48109-2099 , state= MI , country= USA
；
organization= Department of Physics, University of Greifswald , addressline= Felix-Hausdorff-Str. 6 , city= Greifswald , postcode= 174 89 , country= Germany
；
organization= Department of Aerospace Engineering, University of Michigan , addressline= 1320 Beal Avenue , city= Ann Arbor , postcode= 48109-2140 , state= MI , country= USA
；
organization= Department of Neuroradiology, Karolinska University Hospital , addressline= Hälsovägen 13, O42 , city= Stockholm , postcode= 141 86 , country= Sweden
；
organization= Department of Clinical Physiology, Karolinska University Hospital , addressline= Eugeniavägen 3, A8:01 , city= Solna , postcode= 171 64 , country= Sweden
；
organization= Institute for Medical Engineering
；
Science, Massachusetts Institute of Technology , addressline= 45 Carleton St , city= Cambridge , postcode= 02142 , state= MA , country= USA
MedHopQA: A Disease-Centered Multi-Hop Reasoning Benchmark and Evaluation Framework for LLM-Based Biomedical Question Answering
MedHopQA: 一种以疾病为中心的多跳推理基准和评估框架，用于基于大语言模型的生物医学问答
Rezarta Islamaj, Robert Leaman, Joey Chan, Nicholas Wan, Qiao Jin, Natalie Xie, John Wilbur, Shubo Tian, Lana Yeganova, Po-Ting Lai, Chih-Hsuan Wei, Yifan Yang, Yao Ge, Qingqing Zhu, Zhizheng Wang, Zhiyong Lu
机构
*
National Library of Medicine, Division of Intramural Research（国家医学图书馆，院内研究部）
；
University of Illinois at Urbana-Champaign, Department of Computer Science（伊利诺伊大学厄巴纳-香槟分校计算机科学系）
；
University of Michigan Medical School（密歇根大学医学院）
