Skip to content

LitLeo/TensorRT_Tutorial

Repository files navigation

中文翻译文档

  • 2023-9-27 增加 TensorRT8.5.3的中文翻译文档,使用Chat-GPT翻译+精校,chapter1-2

建议看最新视频版本!列表如下

进度记录

  • 2017-04-27 项目发起,创建GitHub仓库。
  • 2017-09-30 TensorRT 3最近发布,整理一下目前的资源。
  • 2017-10-18 增加博客-使用TensorRT实现leaky relu层
  • 2017-11-11 资源:新增google的INT8开源库
  • 2017-11-25 增加博客-TensorRT Plugin使用方式简介-以leaky relu层为例
  • 2020-8-31 增加博客《TensorRT Github 开源部分介绍》
  • 2020-9-7 增加博客《TensorRT 可借鉴代码汇总》
  • 2022-11-2 增加博客《Conformer Encoder GPU 加速策略较全面汇总》
  • 2022-11-2 增加博客《TensorRT 转换模型的几种方式比较》

资源整理


博客

TensorRT_Tutorial

TensorRT作为NVIDIA推出的c++库,能够实现高性能推理(inference)过程。最近,NVIDIA发布了TensorRT 2.0 Early Access版本,重大更改就是支持INT8类型。在当今DL大行其道的时代,INT8在缩小模型大小、加速运行速度方面具有非常大的优势。Google新发布的TPU就采用了8-bit的数据类型。

本人目前在使用TensorRT进行INT8的探究。已经被TensorRT不完善的文档坑了一次了。所以想自力更生做一个TensorRT Tutorial,主要包括三部分:

  • TensorRT User Guide 翻译;
  • TensorRT samples 介绍分析讲解;
  • TensorRT 使用经验。

感谢每一位为该翻译项目做出贡献的同学.

内容来源: TensorRT 下载页面: https://developer.nvidia.com/nvidia-tensorrt-20-download

TensorRT 文档、Samples 安装后对应目录中

参与者(按参与时间排序)

TensorRT User Guide 翻译

TensorRT samples 介绍分析讲解

TensorRT 使用经验。

欲参与者请加QQ群:483063470

支持捐赠项目

招实习生

【实习】【腾讯北京AILAB】招募AI异构加速实习生
简历直接给负责人,给简历保证迅速反馈。
基本条件: 熟悉c++,至少实习6个月
工作内容:

  1. 使用c++复现框架训练的模型并进行CPU、GPU、ARM加速,达到上线的性能要求。
  2. 调研各种inference框架并投入生产 加分项:
  3. 写过或者维护过深度学习框架代码;
  4. 会CUDA 开发,能自己写kernel,会用cublas,cudnn等库;
  5. linux cpu c++编程能力,会写avx、会用mkl;
  6. 熟悉深度学习计算过程
  7. 学习能力强,实习时间长 联系方式: lityangweiguang@163.com