语言大模型 / LLM

UniAttn: Reducing Inference Costs via Softmax Unification for Post-Training LLMs

UniAttn: 通过Softmax统一降低推理成本以适应训练后的LLM

Yizhe Xiong, Wei Huang, Xin Ye, Hui Chen, Zijia Lin, Haoran Lian, Zhenpeng Su, Jungong Han, Guiguang Ding

机构 * School of Software, Tsinghua University（清华大学软件学院） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） ； Beihang University（北航） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 UniAttn通过统一Softmax操作降低训练后LLM的推理成本，同时保持性能。

Comments 8 pages, 6 figures. Preprint, under review

TF3-RO-50M: Training Compact Romanian Language Models from Scratch on Synthetic Moral Microfiction

TF3-RO-50M: 从合成道德微型小说中从头开始训练紧凑型罗曼尼亚语言模型

Mihai Dan Nadas, Laura Diosan, Andreea Tomescu, Andrei Piscoran

机构 * Babes-Bolyai University（巴纳特-博耶伊大学） ； KlusAI Labs（KlusAI实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；pretraining(abstract)；prompting(abstract)

AI总结 TF3-RO-50M通过从头开始训练，生成罗曼尼亚语紧凑型语言模型及大规模合成叙事语料库。

Active Context Compression: Autonomous Memory Management in LLM Agents

主动上下文压缩：LLM代理中的自主内存管理

Nikhil Verma

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出Focus代理，通过自主压缩上下文提升LLM在长周期任务中的效率与准确性。

Comments 8 pages, 2 figures, 2 tables. IEEE conference format

Detect, Explain, Escalate: Sustainable Dialogue Breakdown Management for LLM Agents

检测、解释、升级：面向LLM代理的可持续对话破裂管理

Abdellah Ghassel, Xianzhi Li, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering and Ingenuity Labs Research Institute, Queen’s University（电气与计算机工程系和Ingenuity Labs研究研究所，皇后大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出了一种可持续对话破裂管理框架，通过高效检测器和升级架构，在LLM代理中实现资源高效的对话破裂管理，提升对话AI的可靠性和成本效益。

Improving Generalization in LLM Structured Pruning via Function-Aware Neuron Grouping

通过函数感知神经元分组提升LLM结构剪枝的泛化能力

Tao Yu, Yongqi An, Kuan Zhu, Guibo Zhu, Ming Tang, Jinqiao Wang

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 FANG通过函数感知神经元分组提升LLM结构剪枝的泛化能力，结合FLAP和OBC方法在稀疏性下提升下游任务准确性。

Neurosymbolic Inference On Foundation Models For Remote Sensing Text-to-image Retrieval With Complex Queries

面向遥感文本到图像检索的神经符号推理：为复杂查询的基座模型

Emanuele Mezzi, Gertjan Burghouts, Maarten Kruithof

机构 * Vrije Universiteit Amsterdam（瓦赫宁根大学阿姆斯特丹） ； TNO（荷兰国防研究院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 RUNE通过结合大型语言模型和神经符号AI，利用逻辑推理提升遥感文本到图像检索的性能与可解释性，针对复杂查询和图像不确定性提出新的评估指标。

Instruction-Tuning Open-Weight Language Models for BPMN Model Generation

基于指令微调的开放权重语言模型用于BPMN模型生成

Gökberk Çelikmasat, Atay Özgövde, Fatma Başak Aydemir

机构 * Boğaziçi University（博雅奇大学） ； Utrecht University（乌得勒支大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；prompting(abstract)

AI总结 本文提出InstruBPM，通过指令微调开放权重语言模型，以高效生成BPMN过程模型，提升结构准确性和鲁棒性，减少对重型提示的依赖。

Comments Preprint. Under preparation for journal submission

Learning to Extract Context for Context-Aware LLM Inference

学习提取上下文以实现上下文感知的LLM推理

Minseon Kim, Lucas Caccia, Zhengyan Shi, Matheus Pereira, Marc-Alexandre Côté, Xingdi Yuan, Alessandro Sordoni

机构 * Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出通过提取上下文信息提升LLM推理的安全性，减少有害输出并提高合规性。

Unveiling Latent Knowledge in Chemistry Language Models through Sparse Autoencoders

通过稀疏自编码器揭示化学语言模型中的潜在知识

Jaron Cohen, Alexander G. Hasson, Sara Tanovic

机构 * Independent researcher（独立研究者） ； Department of Oncology, University of Oxford（牛津大学肿瘤学系） ； Department of Chemistry, University of Oxford（牛津大学化学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；foundation model(abstract)

AI总结 通过稀疏自编码器揭示化学语言模型中的潜在知识，分析其在不同分子数据集上的激活模式，揭示化学概念的丰富景观。

LLM Optimization Unlocks Real-Time Pairwise Reranking

Jingyu Wu, Aditya Shrivastava, Jing Zhu, Alfy Samuel, Anoop Kumar, Daben Liu

机构 * AI Foundations, Capital One（人工智能基础，Capital One） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Software Defined Vehicle Code Generation: A Few-Shot Prompting Approach

Quang-Dung Nguyen, Tri-Dung Tran, Thanh-Hieu Chu, Hoang-Loc Tran, Xiangwei Cheng, Dirk Slama

机构 * University of Information Technology VNUHCM（信息技术大学 VNUHCM） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 6 pages, 3 figures

LAFA: Agentic LLM-Driven Federated Analytics over Decentralized Data Sources

Haichao Ji, Zibo Wang, Cheng Pan, Meng Han, Yifei Zhu, Dan Wang, Zhu Han

机构 * Shanghai Jiao Tong University（上海交通大学） ； Peng Cheng Laboratory（鹏城实验室） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； University of Houston（休斯顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments This paper has been accepted by the 16th IEEE International Conference on Cloud Computing Technology and Science (CloudCom 2025)

Improving LLM Reasoning via Dependency-Aware Query Decomposition and Logic-Parallel Content Expansion

Xianjun Gao, Jianchun Liu, Hongli Xu, Liusheng Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

FlexQuant: A Flexible and Efficient Dynamic Precision Switching Framework for LLM Quantization

Fangxin Liu, Zongwu Wang, JinHong Xia, Junping Zhao, Shouren Zhao, Jinjin Li, Jian Liu, Li Jiang, Haibing Guan

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； New York University Shanghai（纽约大学上海分校） ； Ant Group（蚂蚁集团） ； Beihang University（北航大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 10 pages, 7 figures, 2 tables

Preserving LLM Capabilities through Calibration Data Curation: From Analysis to Optimization

Bowei He, Lihao Yin, Huiling Zhen, Shuqi Liu, Han Wu, Xiaokun Zhang, Mingxuan Yuan, Chen Ma

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Huawei（华为） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Accepted by NeurIPS 2025

AdaPM: a Partial Momentum Algorithm for LLM Training

Yimu Zhang, Yuanshi Liu, Cong Fang

机构 * State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；pretraining(abstract)

What is a protest anyway? Codebook conceptualization is still a first-order concern in LLM-era classification

Andrew Halterman, Katherine A. Keith

机构 * Michigan State University（密歇根州立大学） ； Williams College（威廉姆斯学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

PromptPilot: Improving Human-AI Collaboration Through LLM-Enhanced Prompt Engineering

Niklas Gutheil, Valentin Mayer, Leopold Müller, Jörg Rommelt, Niklas Kühl

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Preprint version. Accepted for presentation at the International Conference on Information Systems (ICIS 2025). Please cite the published version when available

Improving constraint-based discovery with robust propagation and reliable LLM priors

Ruiqi Lyu, Alistair Turcan, Martin Jinye Zhang, Bryan Wilder

机构 * School of Computer Science（计算机科学系） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

SBVR: Summation of BitVector Representation for Efficient LLM Quantization

Wonjun Bang, Jongseok Park, Hongseung Yu, Kyungmin Bin, Kyunghan Lee

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments 9 pages, 4 figures

MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines

Lei Gao, Amir Ziashahabi, Yue Niu, Salman Avestimehr, Murali Annavaram

机构 * University of Southern California（南加州大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Evaluating LLM Alignment on Personality Inference from Real-World Interview Data

Jianfeng Zhu, Julina Maharjan, Xinyu Li, Karin G. Coifman, Ruoming Jin

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 8 pages, 3 figures

Generating Energy-Efficient Code via Large-Language Models -- Where are we now?

Radu Apsan, Vincenzo Stoico, Michel Albonico, Rudra Dhar, Karthik Vaidhyanathan, Ivano Malavolta

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； Federal University of Technology of Paraná (UTFPR)（巴西南里尔联邦技术大学） ； IIIT Hyderabad（海得拉巴国家理工学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

No for Some, Yes for Others: Persona Prompts and Other Sources of False Refusal in Language Models

Flor Miriam Plaza-del-Arco, Paul Röttger, Nino Scherrer, Emanuele Borgonovo, Elmar Plischke, Dirk Hovy

机构 * LIACS, Leiden University（莱顿大学 LIACS） ； Bocconi University（博科尼大学） ； Independent Researcher（独立研究者） ； Boconni University（博科尼大学） ； Helmholtz-Zentrum Dresden-Rossendorf（德累斯顿-罗斯托克亥姆霍兹中心） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)

The Hidden Cost of Readability: How Code Formatting Silently Consumes Your LLM Budget

Dangfeng Pan, Zhensu Sun, Cenyuan Zhang, David Lo, Xiaoning Du

机构 * Monash University（墨尔本大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted by ICSE'26 (First Cycle)

CCFC: Core & Core-Full-Core Dual-Track Defense for LLM Jailbreak Protection

Jiaming Hu, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

机构 * Department. of Math & Statistics, Boston University（数学与统计学系，波士顿大学） ； Department. of Computer Science, University at Albany（计算机科学系，阿尔巴尼大学） ； Department. of ECE & Systems Eng., Department. of Biomedical Eng., Faculty of Computing & Data Sciences, Boston University（电子工程与系统工程系，生物医学工程系，计算与数据科学学院，波士顿大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 11 pages, 1 figure

LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference

Zhiwen Mo, Lei Wang, Jianyu Wei, Zhichen Zeng, Shijie Cao, Lingxiao Ma, Naifeng Jing, Ting Cao, Jilong Xue, Fan Yang, Mao Yang

机构 * Imperial College London（帝国理工学院伦敦分校） ； Microsoft Research London, UK（微软研究院伦敦, UK） ； Peking University（北京大学） ； Microsoft Research Beijing, China（微软研究院北京, China） ； University of Science（科学大学） ； University of Washington（华盛顿大学） ； Microsoft Research Seattle, USA（微软研究院西雅图, USA） ； Shanghai Jiao Tong University Shanghai, China（上海交通大学上海, China） ； Microsoft Research（微软研究院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Conference Version (ISCA'25). Fixed a typo

Squeeze10-LLM: Squeezing LLMs' Weights by 10 Times via a Staged Mixed-Precision Quantization Method

Qingcheng Zhu, Yangyang Ren, Linlin Yang, Mingbao Lin, Yanjing Li, Sheng Xu, Zichao Feng, Haodong Zhu, Yuguang Yang, Juan Zhang, Runqi Wang, Baochang Zhang

机构 * Beihang University（北航大学） ； Communication University of China（通信大学） ； Skywork AI ； Beijing Jiaotong University（北京交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

FireQ: Fast INT4-FP8 Kernel and RoPE-aware Quantization for LLM Inference Acceleration

Daehyeon Baek, Jieun Choi, Jimyoung Son, Kyungmin Bin, Seungbeom Choi, Kihyo Moon, Minsung Jang, Hyojung Lee

机构 * Cloud Research Team, Samsung SDS（三星SDS云研究团队） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Derailer-Rerailer: Adaptive Verification for Efficient and Reliable Language Model Reasoning

Guangya Wan, Yuqi Wu, Hao Wang, Shengming Zhao, Jie Chen, Sheng Li

机构 * School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系） ； Beaconfire Solution Inc.（Beaconfire解决方案公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；prompting(abstract)