Hewlett Packard Enterprise（慧与）

MARLIN: Multi-Agent Game-Theoretic Reinforcement Learning for Sustainable LLM Inference in Cloud Datacenters

MARLIN：多智能体博弈强化学习用于云数据中心可持续LLM推理

H. Moore, S. Qi, D. Milojicic, C. Bash, S. Pasricha

机构 * Colorado State University（科罗拉多州立大学） ； Hewlett Packard Labs（惠普实验室） 纠错

AI总结 本文提出MARLIN框架，通过博弈强化学习优化LLM推理的TTFT、碳排放、用水量和能耗，实现至少18%的TTFT、33%的碳排放、43%的用水量和11%的能耗降低。