admin管理员组

文章数量:1130349

1 背景

近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：

  1. 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题。直接将模型部署到移动端，并在置信度较高情况下直接返回结果，而不需要请求服务端，可以大大节省服务端计算资源。同时在大促期间降低置信度阈值，平时又调高，可以充分实现云端一体负载均衡。
  2. 实时性好，响应速度快。在feed流推荐和物体实时检测等场景，需要根据用户数据的变化，进行实时计算推理。如果是采用服务端方案，则响应速度得不到保障，且易造成请求过于密集的问题。利用端计算能力，则可以实现实时计算。
  3. 稳定性高，可靠性好。在断网或者弱网情况下，请求服务端会出现失败。而采用端计算，则不会出现这种情况。在无人车和自动驾驶等可靠性要求很高的场景下，这一点尤为关键，可以保证在隧道、山区等场景下仍能稳定运行。
  4. 安全性高，用户隐私保护好。由于直接在端上

1 背景

近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域，不断刷新传统模型性能，并得到了广泛应用。随着移动端设备计算能力的不断提升，移动端AI落地也成为了可能。相比于服务端，移动端模型的优势有：

  1. 减轻服务端计算压力，并利用云端一体化实现负载均衡。特别是在双11等大促场景，服务端需要部署很多高性能机器，才能应对用户流量洪峰。平时用户访问又没那么集中，存在巨大的流量不均衡问题。直接将模型部署到移动端，并在置信度较高情况下直接返回结果，而不需要请求服务端，可以大大节省服务端计算资源。同时在大促期间降低置信度阈值，平时又调高，可以充分实现云端一体负载均衡。
  2. 实时性好，响应速度快。在feed流推荐和物体实时检测等场景，需要根据用户数据的变化，进行实时计算推理。如果是采用服务端方案，则响应速度得不到保障，且易造成请求过于密集的问题。利用端计算能力，则可以实现实时计算。
  3. 稳定性高，可靠性好。在断网或者弱网情况下，请求服务端会出现失败。而采用端计算，则不会出现这种情况。在无人车和自动驾驶等可靠性要求很高的场景下，这一点尤为关键，可以保证在隧道、山区等场景下仍能稳定运行。
  4. 安全性高，用户隐私保护好。由于直接在端上

本文标签： 模型机器

版权声明：本文标题：机器学习9 -- 模型压缩和加速 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1763892891a2970265.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。