论文阅读： Mobile Edge Intelligence for Large LanguageModels: A Contemporary Survey

admin管理员组

文章数量:1130349

地址：Mobile Edge Intelligence for Large Language Models: A Contemporary Survey

摘要

设备端大型语言模型（LLMs）指在边缘设备上运行 LLMs，与云端模式相比，其成本效益更高、延迟更低且更能保护隐私，因此引发了广泛关注。然而，设备端 LLMs 的性能本质上受限于边缘设备的资源约束。移动边缘智能（MEI）介于云端 AI 和设备端 AI 之间，通过在移动网络边缘提供 AI 能力，允许终端用户将繁重的 AI 计算卸载到附近的边缘服务器，为这一问题提供了可行解决方案。本文对利用 MEI 支持 LLMs 的研究进行了最新综述：首先，通过若干典型应用场景说明在网络边缘部署 LLMs 的迫切需求；其次，介绍 LLMs 和 MEI 的基础知识，以及资源高效的 LLM 技术；随后，概述面向 LLMs 的 MEI 架构（MEI4LLM），阐述其核心组件及对 LLMs 部署的支持方式；接着，深入探讨 MEI4LLM 的各个方面，包括边缘 LLM 缓存与分发、边缘 LLM 训练和边缘 LLM 推理；最后，指出未来的研究方向。希望本文能启发研究者利用移动边缘计算推动 LLMs 部署，从而在各类隐私敏感和延迟敏感型应用中释放 LLMs 的潜力。

概述

1. 背景与动机

   • 云端 LLMs 存在隐私泄露、带宽成本高、延迟长等问题；设备端 LLMs 受限于资源，难以支持大规模模型和复杂任务。
   • MEI 作为折中方案，通过边缘服务器提供 AI 能力，平衡计算资源、延迟和隐私需求，成为 6G 时代 LLMs 部署的关键方向。

2. 核心应用场景
   聚焦四个对边缘部署 LLMs 需求迫切的场景：

   • 移动医疗：需低延迟处理敏感健康数据，符合隐私法规（如 GDPR）；
   • 类人机器人：依赖实时响应（10-100ms 延迟）和本地化数据处理；
   • 虚拟助手：要求低延迟交互（<200ms）和用户数据隐私保护；
   • 自动驾驶：需超低延迟（10ms 级）和处理海量多模态传感器数据。

3. 基础技术

   • LLMs 基础：基于 Transformer 架构，分为编码器仅用、解码器仅用、编码器 - 解码器三类，支持文本、图像等多模态输入，存在自回归生成等特性。
   • MEI 基础：融合移动边缘计算与 AI，通过边缘服务器实现分布式训练和推理，支持联邦学习、拆分学习等框架。
   • 资源高效技术：包括模型压缩（量化、剪枝、知识蒸馏）、快速解码（投机解码、早期退出）、参数高效微调（LoRA、前缀调优）等。

4. MEI4LLM 架构

   • 核心组件：AI 原生网络架构、参数共享的 LLM

地址：Mobile Edge Intelligence for Large Language Models: A Contemporary Survey

摘要

设备端大型语言模型（LLMs）指在边缘设备上运行 LLMs，与云端模式相比，其成本效益更高、延迟更低且更能保护隐私，因此引发了广泛关注。然而，设备端 LLMs 的性能本质上受限于边缘设备的资源约束。移动边缘智能（MEI）介于云端 AI 和设备端 AI 之间，通过在移动网络边缘提供 AI 能力，允许终端用户将繁重的 AI 计算卸载到附近的边缘服务器，为这一问题提供了可行解决方案。本文对利用 MEI 支持 LLMs 的研究进行了最新综述：首先，通过若干典型应用场景说明在网络边缘部署 LLMs 的迫切需求；其次，介绍 LLMs 和 MEI 的基础知识，以及资源高效的 LLM 技术；随后，概述面向 LLMs 的 MEI 架构（MEI4LLM），阐述其核心组件及对 LLMs 部署的支持方式；接着，深入探讨 MEI4LLM 的各个方面，包括边缘 LLM 缓存与分发、边缘 LLM 训练和边缘 LLM 推理；最后，指出未来的研究方向。希望本文能启发研究者利用移动边缘计算推动 LLMs 部署，从而在各类隐私敏感和延迟敏感型应用中释放 LLMs 的潜力。

概述

1. 背景与动机

   • 云端 LLMs 存在隐私泄露、带宽成本高、延迟长等问题；设备端 LLMs 受限于资源，难以支持大规模模型和复杂任务。
   • MEI 作为折中方案，通过边缘服务器提供 AI 能力，平衡计算资源、延迟和隐私需求，成为 6G 时代 LLMs 部署的关键方向。

2. 核心应用场景
   聚焦四个对边缘部署 LLMs 需求迫切的场景：

   • 移动医疗：需低延迟处理敏感健康数据，符合隐私法规（如 GDPR）；
   • 类人机器人：依赖实时响应（10-100ms 延迟）和本地化数据处理；
   • 虚拟助手：要求低延迟交互（<200ms）和用户数据隐私保护；
   • 自动驾驶：需超低延迟（10ms 级）和处理海量多模态传感器数据。

3. 基础技术

   • LLMs 基础：基于 Transformer 架构，分为编码器仅用、解码器仅用、编码器 - 解码器三类，支持文本、图像等多模态输入，存在自回归生成等特性。
   • MEI 基础：融合移动边缘计算与 AI，通过边缘服务器实现分布式训练和推理，支持联邦学习、拆分学习等框架。
   • 资源高效技术：包括模型压缩（量化、剪枝、知识蒸馏）、快速解码（投机解码、早期退出）、参数高效微调（LoRA、前缀调优）等。

4. MEI4LLM 架构

   • 核心组件：AI 原生网络架构、参数共享的 LLM

本文标签： 论文edgeMobileintelligenceSurvey