作者： 老刘说NLP 来源： 老刘说NLP

随着大模型逐步增加和落地的同时，模型的推理与加速也变得尤为重要，很多场景下对模型响应的速度均有较高的要求 。比如：自动驾驶感知场景、实时监控场景、医疗诊断分析场景、金融行业股票交易场景等。

从模型优化与系统优化的角度分析，领域算法建模与模型压缩、推理****加速 通常紧密相关。深度学习模型压缩与加速技术，在降低存储空间和计算资源的同时，还可以降低部署和维护成本，提高相应响应速度，降低数据泄漏和滥用的风险。

深度学习模型的部署应用根据不同设备（NVIDIA、华为昇腾、FPGA等）会有不同的方案，但目前主流需求仍然是NVIDIA的GPU上部署，并使用NVIDIA推出的推理优化框架TensorRT。之前学院开设过TensorRT的基础课程，广受大家欢迎的同时，也带来了新的需求——“拿到一个深度学习模型，我如何一步一步地提升其推理速度，并做极致优化 ”。

因此，深蓝学院开设了**『深度学习模型推理加速项目实践 (小班课 - 百度文心大模型ERNIE)』** 课程。该课程以百度文心大模型ERNIE工业化部署实践中的推理加速为例，带着大家一步一步地提升大模型ERNIE的推理速度，并最终实现模型精度损失在要求范围内且推理速度至少提升7倍。

扫码添加，抢占最后26个名额

备注【314】优先通过！

01

讲师介绍

杨伟光 腾讯高级研究员 大连理工大学硕士

毕业后一直在腾讯从事语音领域深度学习加速上线工作。近10年CUDA开发经验，近6年TensorRT 开发经验，Github TensorRT_Tutorial作者。

02

课程亮点

1. 精选百度文心大模型ERNIE部署实践中的推理加速为例；

2. 详细讲解项目实践中常见推理加速方法与策略；

3. 培养真实推理加速任务中分析与拆解问题的能力；

4. 小班教学，专家讲师直播与录播结合授课。

03

课程大纲

04

课程脉络

05

课程收获

以百度文心大模型ERNIE用于搜索场景为案例，带着同学们一步一步优化推理加速。在此过程中，大家可以收获以下知识与技能：

*1. *面对新的深度学习模型推理加速任务时，应该如何分析与拆解；

*2. *针对不同项目需求，选择哪种推理加速方法或者策略；

*3. *常用的推理加速技能，比如合并算子、FP16、优化输入输出、输入对齐、手写算子等。

06

抢占名额

扫码添加，抢占最后26个名额

备注【314】优先通过！

更多AI工具，参考Github-AiBard123，国内AiBard123