语言大模型 / LLM

Large Language Models for Sequential Decision-Making: Improving In-Context Learning via Supervised Fine-Tuning

用于序列决策的大型语言模型：通过监督微调提升上下文学习

Minmin Zhang, Sina Aghaei, Soroush Saghafian

机构 * Harvard University（哈佛大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究了大型语言模型在序列决策任务中的上下文学习能力，通过监督微调提升其在马尔可夫决策过程等场景中的决策性能，实验表明微调后的模型在复杂环境中表现更优。

Compressing Sequences in the Latent Embedding Space: $K$-Token Merging for Large Language Models

在潜在嵌入空间中压缩序列：大型语言模型的K-标记合并

Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

机构 * Rutgers University（罗格斯大学） ； AWS AI Labs（AWS人工智能实验室） ； Amazon（亚马逊） ； Mistral AI ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出K-Token Merging方法，在潜在空间中压缩序列，通过轻量编码器合并连续K个标记嵌入，实现75%的输入长度缩减，性能损失小。

Comments Under Review

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

FedProxy：通过代理小型语言模型和异质性感知融合实现联邦微调

Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

机构 * Hong Kong University of Science and Technology（香港科技大学） ； WeBank Co., Ltd（WeBank公司） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 指令微调 ：LLM(summary_cn,abstract)；SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FedProxy通过代理小型语言模型和异质性感知融合解决联邦微调中知识产权保护、隐私安全和性能损失的三重难题，实现高效且高性能的LLM微调。

Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali

在可比规模的LLM中评估语言适应性：对Llama-3.1-8B、Mistral-7B-v0.1和Qwen3-8B在罗马化尼泊尔语上的研究

Ananda Rimal, Adarsha Rimal

机构 * Dept. of Computer Science & Engineering（计算机科学与工程系） ； Nepal Engineering College（尼泊尔工程学院） ； Central Dept. of CS and IT（计算机科学与信息科技中央系） ； Tribhuvan University（特里布文大学） 纠错

专题命中 指令微调 ：LLM(title_cn,summary_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究评估了三种可比规模的LLM在罗马化尼泊尔语上的语言适应性，通过零样本和微调设置，发现Qwen3-8B在语义相关性和结构对齐指标上表现最佳，验证了适应性假设。

Comments 31 pages, 4 figures, 14 tables

Extracting and Steering Emotion Representations in Small Language Models: A Methodological Comparison

在小型语言模型中提取和引导情绪表示：一种方法学比较

Jihoon Jeong

机构 * ModuLabs（ModuLabs实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；instruction tuning(abstract)；RLHF(abstract)

AI总结 本文比较了小型语言模型中情绪向量提取方法，评估了9种模型在5种架构家族中的情绪表示，发现生成基于的方法在情绪分离上更优，并揭示了情绪表示在中间transformer层的定位及引导实验中的三种 regime。

Comments 14 pages, 4 figures, 7 tables. Paper #6 in the Model Medicine series

Talking to Yourself: Defying Forgetting in Large Language Models

与自己对话：在大型语言模型中克服遗忘

Yutao Sun, Mingshuai Chen, Tiancheng Zhao, Phillip Miao, Zilun Zhang, Haozhan Shen, Ruizhe Zhu, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江学院） ； Om AI Research（奥姆人工智能研究） ； Stanford University（斯坦福大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

AI总结 本文提出SA-SFT方法，通过让LLM生成自我对话来缓解微调过程中的灾难性遗忘，提升领域性能并优于现有基线方法。

Enhancing Large Language Models for Time-Series Forecasting via Vector-Injected In-Context Learning

通过向量注入上下文学习增强大型语言模型用于时间序列预测

Jianqi Zhang, Jingyao Wang, Wenwen Qiang, Fanjiang Xu, Changwen Zheng

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 本文提出LVICL方法，通过向量注入上下文学习提升LLM在时间序列预测中的性能，无需微调参数以减少计算开销。

KALE: Enhancing Knowledge Manipulation in Large Language Models via Knowledge-aware Learning

KALE：通过知识感知学习增强大语言模型的知识操作

Qitan Lv, Tianyu Liu, Qiaosheng Zhang, Xingcheng Xu, Chaochao Lu

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；SFT(abstract)

AI总结 KALE通过知识感知学习框架提升大语言模型的知识操作能力，利用知识图谱生成高质量推理过程并优化模型性能。

Exploring the Performance of Large Language Models on Subjective Span Identification Tasks

探索大型语言模型在主观跨度识别任务中的性能

Alphaeus Dmonte, Roland Oruche, Tharindu Ranasinghe, Marcos Zampieri, Prasad Calyam

机构 * George Mason University（乔治·马歇尔大学） ； University of Missouri（密苏里大学） ； Lancaster University（兰卡斯特大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 本文探讨了大型语言模型在情感分析、攻击性语言识别和声明验证等任务中进行主观跨度识别的性能，评估了多种LLM策略的效果。

Wireless Traffic Prediction with Large Language Model

基于大语言模型的无线交通预测

Chuanting Zhang, Haixia Zhang, Jingping Qiao, Zongzhang Li, Mohamed-Slim Alouini

机构 * Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration, Shandong University（山东大学智能通信与感知-计算整合重点实验室） ； School of Information Science and Engineering, Shandong Normal University（山东师范大学信息科学与工程学院） ； China Mobile Communications Group Shandong Co., Ltd（中国移动通信集团山东有限公司） ； Computer, Electrical and Mathematical Science and Engineering Division, King Abdullah University of Science and Technology (KAUST)（卡布斯大学科学与工程学院） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

AI总结 本文提出TIDES框架，利用大语言模型和DeepSeek模块，通过空间对齐和个性化模型提升无线交通预测的精度和鲁棒性。

DR-Encoder: Encode Low-rank Gradients with Random Prior for Large Language Models Differentially Privately

Huiwen Wu, Deyi Zhang, Xiaohan Li, Xiaogang Xu, Jiafei Wu, Zhe Liu

机构 * Zhejiang Laboratory（浙江实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；foundation model(abstract)

Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models

Fuyao Zhang, Xinyu Yan, Tiantong Wu, Wenjie Li, Tianxiang Chen, Yang Cao, Ran Yan, Longtao Huang, Wei Yang Bryan Lim, Qiang Yang

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

LLM as GNN: Graph Vocabulary Learning for Text-Attributed Graph Foundation Models

Xi Zhu, Haochen Xue, Ziwei Zhao, Wujiang Xu, Jingyuan Huang, Minghao Guo, Qifan Wang, Kaixiong Zhou, Imran Razzak, Yongfeng Zhang

机构 * Rutgers University（罗格斯大学） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； University of Science and Technology of China（中国科学技术大学） ； Meta AI ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；foundation model(title,abstract)；large language model(abstract)；language model(abstract)

Evolution of meta's llama models and parameter-efficient fine-tuning of large language models: a survey

Abdulhady Abas Abdullah, Arkaitz Zubiaga, Seyedali Mirjalili, Amir H. Gandomi, Fatemeh Daneshfar, Mohammadsadra Amini, Alan Salam Mohammed, Hadi Veisi

机构 * University of Kurdistan（库尔德斯坦大学） ； Queen Mary University（女王玛丽大学） ； Torrens University Australia（澳大利亚托伦斯大学） ； University of Technology Sydney（悉尼技术大学） ； University of Kurdistan Sanandaj, Iran（伊朗桑和杰德大学） ； TU Dortmund University（多特蒙德技术大学） ； University of Kurdistan Hewler（库尔德斯坦大学海勒） ； Tehran University（德黑兰大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；instruction tuning(abstract)

Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models

Yukun Zhang, Qi Dong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；preference optimization(abstract)

The Open Source Advantage in Large Language Models (LLMs)

Jiya Manchanda, Laura Boettcher, Matheus Westphalen, Jasser Jasser

机构 * Department of Philosophy and Religion（哲学与宗教系） ； Rollins College（罗林斯学院） ； Department of Mathematics and Computer Science（数学与计算机科学系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments 9 pages, 1 figure

Exploring Solution Divergence and Its Effect on Large Language Model Problem Solving

Hang Li, Kaiqi Yang, Yucheng Chu, Hui Liu, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 17 pages, 11 figures

PromptCoT 2.0: Scaling Prompt Synthesis for Large Language Model Reasoning

Xueliang Zhao, Wei Wu, Jian Guan, Zhuocheng Gong, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；SFT(abstract)

Comments Preprint

Enhancing Large Language Model for Knowledge Graph Completion via Structure-Aware Alignment-Tuning

Yu Liu, Yanan Cao, Xixun Lin, Yanmin Shang, Shi Wang, Shirui Pan

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Griffith University（格里菲斯大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments EMNLP 2025, Main, Long Paper

TL-Training: A Task-Feature-Based Framework for Training Large Language Models in Tool Use

Junjie Ye, Yilong Wu, Sixian Li, Yuming Yang, Zhiheng Xi, Tao Gui, Qi Zhang, Xuanjing Huang, Peng Wang, Zhongchao Shi, Jianping Fan, Zhengyin Du

机构 * Fudan University（复旦大学） ； Lenovo Research（联想研究） ； ByteDance Seed（字节跳动种子） ； Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments Accepted by EMNLP 2025

Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets

Nikolaos Pavlidis, Vasilis Perifanis, Symeon Symeonidis, Pavlos S. Efraimidis

机构 * Institute for Language and Speech Processing, Athena Research Center（语言与语音处理研究所，阿提卡研究中心） ； Department of Electrical and Computer Engineering, Democritus University of Thrace（电气与计算机工程系，德摩克利特大学） ； Department of Production and Management Engineering, Democritus University of Thrace（生产与管理工程系，德摩克利特大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；prompting(abstract)

Adaptive Content Restriction for Large Language Models via Suffix Optimization

Yige Li, Peihai Jiang, Jun Sun, Peng Shu, Tianming Liu, Zhen Xiang

机构 * Singapore Management University（新加坡管理大学） ； The University of Georgia（佐治亚大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments 19 pages

Alignment and Safety in Large Language Models: Safety Mechanisms, Training Paradigms, and Emerging Challenges

Haoran Lu, Luyang Fang, Ruidong Zhang, Xinliang Li, Jiazhang Cai, Huimin Cheng, Lin Tang, Ziyu Liu, Zeliang Sun, Tao Wang, Yingchuan Zhang, Arif Hassan Zidan, Jinwen Xu, Jincheng Yu, Meizhi Yu, Hanqi Jiang, Xilin Gong, Weidi Luo, Bolun Sun, Yongkai Chen, Terry Ma, Shushan Wu, Yifan Zhou, Junhao Chen, Haotian Xiang, Jing Zhang, Afrar Jahin, Wei Ruan, Ke Deng, Yi Pan, Peilong Wang, Jiahui Li, Zhengliang Liu, Lu Zhang, Lin Zhao, Wei Liu, Dajiang Zhu, Xin Xing, Fei Dou, Wei Zhang, Chao Huang, Rongjie Liu, Mengrui Zhang, Yiwen Liu, Xiaoxiao Sun, Qin Lu, Zhen Xiang, Wenxuan Zhong, Tianming Liu, Ping Ma

机构 * Department of Statistics, University of Georgia（统计学系，佐治亚大学） ； School of Computing, University of Georgia（计算学院，佐治亚大学） ； Department of Biostatistics, Boston University（生物统计学系，波士顿大学） ； Department of Epidemiology & Biostatistics, University of Georgia（流行病学与生物统计学系，佐治亚大学） ； School of Computer and Cyber Sciences, Augusta University（计算机与网络科学学院，奥古斯塔大学） ； School of Electrical and Computer Engineering, University of Georgia（电气与计算机工程学院，佐治亚大学） ； Department of Statistics & Data Science, University of Arizona（统计学与数据科学系，亚利桑那大学） ； Kellogg School of Management, Northwestern University（凯洛格管理学院，西北大学） ； Department of Statistics, Harvard University（统计学系，哈佛大学） ； School of Computer Science, Carnegie Mellon University（计算机科学学院，卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；preference optimization(abstract)

Comments 119 pages, 10 figures, 7 tables

A Novel Self-Evolution Framework for Large Language Models

Haoran Sun, Zekun Zhang, Shaoning Zeng

机构 * Haoran Sun, Zekun Zhang, Shaoning Zeng（作者） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；preference optimization(abstract)

Large Language Models as Autonomous Spacecraft Operators in Kerbal Space Program

Alejandro Carrasco, Victor Rodriguez-Fernandez, Richard Linares

机构 * Massachusetts Institute of Technology, Department of Aeronautics and Astronautics（麻省理工学院航空与航天系） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments Non revised version for paper going to be published in Journal of Advances in Space Research

Mixture of Reasonings: Teach Large Language Models to Reason with Adaptive Strategies

Tao Xiong, Xavier Hu, Wenyan Fan, Shengyu Zhang

机构 * Dalian University of Technology（大连理工大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；prompting(abstract)

Adaptive Task Vectors for Large Language Models

Joonseong Kang, Soojeong Lee, Subeen Park, Sumin Park, Taero Kim, Jihee Kim, Ryunyi Lee, Kyungwoo Song

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

Small Language Models can Outperform Humans in Short Creative Writing: A Study Comparing SLMs with Humans and LLMs

Guillermo Marco, Luz Rello, Julio Gonzalo

机构 * UNED, Madrid, Spain（UNED, 马德里, 西班牙） ； IE University, Madrid, Spain（IE大学, 马德里, 西班牙） 纠错

专题命中 指令微调 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

Comments Accepted as Main Conference Paper at COLING 2025

Journal ref Proceedings of the 31st International Conference on Computational Linguistics (COLING 2025), pages 6552-6570, Abu Dhabi, UAE. Association for Computational Linguistics

Leveraging Large Language Models for Active Merchant Non-player Characters

Byungjun Kim, Minju Kim, Dayeon Seo, Bugeun Kim

机构 * Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SFT(abstract)

Comments Accepted to IJCAI 2025

An Empirical Study of Many-to-Many Summarization with Large Language Models

Jiaan Wang, Fandong Meng, Zengkui Sun, Yunlong Liang, Yuxuan Cao, Jiarong Xu, Haoxiang Shi, Jie Zhou

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯人工智能研究中心） ； Fudan Unversity（复旦大学） ； Waseda University（早稻田大学） ； Beijing Jiaotong University（北京交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments Accepted to ACL 2025 main conference