HarmMetric Eval: Benchmarking Metrics and Judges for LLM Harmfulness Assessment
HarmMetric Eval: 对LLM有害性评估的度量和裁判进行基准测试
Langqi Yang, Tianhang Zheng, Yixuan Chen, Kedong Xiu, Hao Zhou, Wangze Ni, Lei Chen, Zhan Qin, Kui Ren
机构
*
The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室）
；
Zhejiang University（浙江大学）
；
Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
；
Pretraining Team, xAI（预训练团队，xAI）
；
Hong Kong University of Science and Technology (GuangZhou)（香港科技大学（广州））
专题命中
评测与基准
：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
机构
*
Beijing Institute of AI Safety and Governance（北京人工智能安全与治理研究院）
；
Beijing Key Laboratory of Safe AI and Super Alignment（北京安全人工智能与超对齐重点实验室）
；
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
；
CSE, The Chinese University of Hong Kong（香港中文大学电子工程系）
；
University of Chinese Academy of Sciences（中国科学院大学）
；
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
；
Long-term AI（长期人工智能）
专题命中
评测与基准
：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
SCAM: A Real-World Typographic Robustness Evaluation for Multimodal Foundation Models
SCAM：多模态基础模型的现实世界字形鲁棒性评估
Justus Westerhoff, Erblina Purelku, Jakob Hackstein, Jonas Loos, Leo Pinetzki, Erik Rodner, Lorenz Hufe
机构
*
BLISS e.V.（BLISS协会）
；
Berliner Hochschule für Technik (BHT)（柏林技术大学）
；
Technische Universität Berlin（柏林技术大学）
；
KI Werkstatt, Hochschule für Technik und Wirtschaft Berlin (HTW)（柏林技术经济学院）
；
Merantix Momentum（Merantix Momentum公司）
；
Fraunhofer Heinrich-Hertz-Institut, Berlin, Germany（柏林弗劳恩霍夫 Heinrich-Hertz 研究所）
专题命中
评测与基准
：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI
ReviewScore: Misinformed Peer Review Detection with Large Language Models
ReviewScore：利用大语言模型进行误信同行评审检测
Hyun Ryu, Doohyuk Jang, Hyemin S. Lee, Joonhyun Jeong, Gyeongman Kim, Donghyeon Cho, Gyouk Chu, Minyeong Hwang, Hyeongwon Jang, Changhun Kim, Haechan Kim, Jina Kim, Joowon Kim, Yoonjeon Kim, Kwanhyung Lee, Chanjae Park, Heecheol Yun, Gregor Betz, Eunho Yang
VL-RouterBench: A Benchmark for Vision-Language Model Routing
VL-RouterBench：一种用于视觉-语言模型路由的基准测试
Zhehao Huang, Baijiong Lin, Jingyuan Zhang, Jingying Wang, Yuhang Liu, Ning Lu, Tao Li, Xiaolin Huang
机构
*
Institute of Image Processing and Pattern Recognition, Shanghai Jiao Tong University（1 图像处理与模式识别研究所，上海交通大学）
；
The Hong Kong University of Science and Technology (Guangzhou)（2 香港科学与技术大学（广州））
；
The Hong Kong University of Science and Technology（3 香港科学与技术大学）
Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures
机器翻译中的性别歧义化解：解码器-only架构的诊断评估
Chiara Manna, Hosein Mohebbi, Afra Alishahi, Frédéric Blain, Eva Vanmassenhove
机构
*
Research Center for Cognitive Science and Artificial Intelligence（认知科学与人工智能研究中心）
；
Tilburg School of Humanities and Digital Sciences（蒂尔堡人文与数字科学学院）
；
Tilburg University（蒂尔堡大学）
专题命中
评测与基准
：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；post-training(abstract)
Neuron-Level Emotion Control in Speech-Generative Large Audio-Language Models
语音生成大音频-语言模型中的神经层面情感控制
Xiutian Zhao, Ismail Rasim Ulgen, Philipp Koehn, Björn Schuller, Berrak Sisman
机构
*
1 Center for Language
；
Speech Processing (CLSP), Johns Hopkins University, USA 2 Group on Language, Audio \& Music (GLAM), Imperial College London, UK
M2P: Improving Visual Foundation Models with Mask-to-Point Weakly-Supervised Learning for Dense Point Tracking
M2P：通过Mask-to-Point弱监督学习改进视觉基础模型以实现密集点跟踪
Qiangqiang Wu, Tianyu Yang, Bo Fang, Jia Wan, Matias Di Martino, Guillermo Sapiro, Antoni B. Chan
机构
*
Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
；
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）
；
Meituan, Shenzhen, China（美团（深圳，中国））
；
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
；
Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
DeepCORO-CLIP: A Multi-View Foundation Model for Comprehensive Coronary Angiography Video-Text Analysis and External Validation
DeepCORO-CLIP：一种多视图基础模型，用于综合冠状动脉造影视频-文本分析和外部验证
Sarra Harrabi, Yichen Wu, Geoffrey H. Tison, Minhaj Ansari, Milos Vukadinovic, David Ouyang, Joshua P. Barrios, Jacques Delfrate, Robert Avram
机构
*
Division of Cardiology, Department of Medicine, Montreal Heart Institute（蒙特利尔心脏研究所心血管科，医学部）
；
McGill, Faculty of Engineering（麦吉尔大学工程学院）
；
Division of Cardiology, Department of Medicine, University of California, San Francisco（加州大学旧金山分校医学部心血管科）
；
Cardiovascular Research Institute, University of California, San Francisco（加州大学旧金山分校心血管研究所）
；
Bakar Computational Health Sciences Institute, University of California, San Francisco（加州大学旧金山分校Bakar计算健康科学研究所）
；
Department of Cardiology, Smidt Heart Institute, Cedars-Sinai Medical Center, Los Angeles, CA（Cedars-Sinai 医疗中心洛杉矶分院心血管科，Smidt心脏研究所）
；
Department of Bioengineering, University of California Los Angeles（加州大学洛杉矶分校生物工程系）
；
Department of Medicine, Kaiser Permanente, San Francisco, USA（Kaiser Permanente 旧金山分院医学部）
；
Department of Medicine, Université de Montréal（蒙特利尔大学医学部）
A Comprehensive Benchmark of Histopathology Foundation Models for Kidney Digital Pathology Images
一种针对肾数字病理图像的病理基础模型综合基准测试
Harishwar Reddy Kasireddy, Patricio S. La Rosa, Akshita Gupta, Anindya S. Paul, Jamie L. Fermin, William L. Clapp, Meryl A. Waldman, Tarek M. El-Ashkar, Sanjay Jain, Luis Rodrigues, Kuang Yu Jen, Avi Z. Rosenberg, Michael T. Eadon, Jeffrey B. Hodgin, Pinaki Sarder
机构
*
Department of Electrical and Computer Engineering, University of Florida（佛罗里达大学电气与计算机工程系）
；
Seed Production Innovation, Crop Science Division, Bayer Company（拜耳公司种子生产创新部）
；
Division of Medicine – Quantitative Health, University of Florida（佛罗里达大学医学部-定量健康分部）
；
Department of Health Outcomes and Biomedical Informatics, University of Florida（佛罗里达大学健康结果与生物医学信息学系）
；
Department of Pathology, Immunology and Laboratory Medicine, University of Florida College of Medicine（佛罗里达大学医学院病理学、免疫学与实验室医学系）
；
Kidney Disease Branch, National Institute of Diabetes and Digestive and Kidney Diseases, National Institutes of Health（美国国立卫生研究院糖尿病、消化系统与肾病研究所肾病分支）
；
Indiana University School of Medicine（印第安纳大学医学院）
；
Departments of Medicine, Washington University School of Medicine（华盛顿大学医学院医学部）
；
Universidade de Coimbra（科英布拉大学）
；
Department of Pathology and Laboratory Medicine, University of California at Davis School of Medicine（加州大学戴维斯分校医学院病理学与实验室医学系）
；
Department of Pathology, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院病理学系）
Comments9 pages, 5 figures, 2 tables; MSc dissertation reformatted as conference paper; extended version available at github.com/unseen1980/acro-helper
SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems
SafeTutors: 评估AI辅导系统中的教学安全性
Rima Hazra, Bikram Ghuku, Ilona Marchenko, Yaroslava Tokarieva, Sayan Layek, Somnath Banerjee, Julia Stoyanovich, Mykola Pechenizkiy
机构
*
Eindhoven University of Technology（埃因霍温理工大学）
；
Indian Institute of Technology Kharagpur（印度理工学院Khargpur分校）
；
Cisco Research（思科研究）
；
Taras Shevchenko National University of Kyiv（塔拉斯·谢甫琴科基辅国立大学）
；
National Technical University of Ukraine（乌克兰国家技术大学）
；
New York University（纽约大学）
专题命中
评测与基准
：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL
Topology-Guided Biomechanical Profiling: A White-Box Framework for Opportunistic Screening of Spinal Instability on Routine CT
拓扑引导的生物力学分析：一种白盒框架用于常规CT中脊柱不稳定性的机会性筛查
Zanting Ye, Xuanbin Wu, Guoqing Zhong, Shengyuan Liu, Jiashuai Liu, Ge Song, Zhisong Wang, Jing Hao, Xiaolong Niu, Yefeng Zheng, Yu Zhang, Lijun Lu
机构
*
Southern Medical University（南方医科大学）
；
The Affiliated Cancer Hospital of Zhengzhou University（郑州大学附属肿瘤医院）
；
The Chinese University of Hong Kong（香港中文大学）
；
Xi'an Jiaotong University（西安交通大学）
；
Northwestern Polytechnical University（西北工业大学）
；
The University of Hong Kong（香港大学）
；
Westlake University（西湖大学）
；
Guangdong Provincial People's Hospital（广东省人民医院）
专题命中
评测与基准
：LLM(abstract)；large language model(abstract)；language model(abstract)
