Skip to content

Commit 2784e11

Browse files
authored
modify details (#5319)
* Revert "add tensorrt in docs (#5313)" This reverts commit bc1ea59. * add tensorrt install * add tensorrt install * modify details * Update linux-compile_en.md
1 parent ffa9552 commit 2784e11

File tree

11 files changed

+28
-21
lines changed

11 files changed

+28
-21
lines changed

docs/guides/performance_improving/paddle_tensorrt_infer.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -60,7 +60,7 @@ config->EnableTensorRtEngine(1 << 20 /* workspace_size*/,
6060
## <a name="Paddle-TRT 样例编译测试">Paddle-TRT 样例编译测试</a>
6161
6262
1. 下载或编译带有 TensorRT 的 paddle 预测库,参考[安装与编译 C++预测库](../../inference_deployment/inference/build_and_install_lib_cn.html)。
63-
2. 从[NVIDIA 官网](https://developer.nvidia.com/nvidia-tensorrt-download)下载对应本地环境中 cuda 和 cudnn 版本的 TensorRT,需要登陆 NVIDIA 开发者账号。
63+
2. 从[NVIDIA 官网](https://developer.nvidia.com/tensorrt)下载对应本地环境中 cuda 和 cudnn 版本的 TensorRT,需要登陆 NVIDIA 开发者账号。
6464
3. 下载[预测样例](https://paddle-inference-dist.bj.bcebos.com/tensorrt_test/paddle_inference_sample_v1.7.tar.gz)并解压,进入`sample/paddle-TRT`目录下。
6565
6666
`paddle-TRT` 文件夹目录结构如下:

docs/guides/performance_improving/paddle_tensorrt_infer_en.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -53,7 +53,7 @@ The details of this interface is as following:
5353
## <a name="Paddle-TRT example compiling test">Paddle-TRT example compiling test</a>
5454
5555
1. Download or compile Paddle Inference with TensorRT support, refer to [Install and Compile C++ Inference Library](../../inference_deployment/inference/build_and_install_lib_en.html).
56-
2. Download NVIDIA TensorRT(with consistent version of cuda and cudnn in local environment) from [NVIDIA TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download) with an NVIDIA developer account.
56+
2. Download NVIDIA TensorRT(with consistent version of cuda and cudnn in local environment) from [NVIDIA TensorRT](https://developer.nvidia.com/tensorrt) with an NVIDIA developer account.
5757
3. Download [Paddle Inference sample](https://paddle-inference-dist.bj.bcebos.com/tensorrt_test/paddle_inference_sample_v1.7.tar.gz) and uncompress, and enter `sample/paddle-TRT` directory.
5858
5959
`paddle-TRT` directory structure is as following:

docs/install/compile/linux-compile.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -16,15 +16,15 @@
1616

1717
* 如果您的计算机有 NVIDIA® GPU,请确保满足以下条件以编译 GPU 版 PaddlePaddle
1818

19-
* **CUDA 工具包 10.1 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高)**
19+
* **CUDA 工具包 10.1 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高;不支持使用 TensorRT)**
2020
* **CUDA 工具包 10.2 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT7.0.0.11)**
2121
* **CUDA 工具包 11.1 配合 cuDNN v8.1.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT7.2.3.4)**
2222
* **CUDA 工具包 11.2 配合 cuDNN v8.1.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.0.3.4)**
2323
* **CUDA 工具包 11.6 配合 cuDNN v8.4.0(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.4.0.6)**
2424
* **CUDA 工具包 11.7 配合 cuDNN v8.4.1(如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT8.4.2.4)**
2525
* **GPU 运算能力超过 3.5 的硬件设备**
2626

27-
您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/)[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/)[TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download)
27+
您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/)[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/)[TensorRT](https://developer.nvidia.com/tensorrt)
2828

2929

3030
## 安装步骤

docs/install/compile/linux-compile_en.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -16,15 +16,15 @@
1616

1717
* If your computer has NVIDIA® GPU, and the following conditions are met,GPU version of PaddlePaddle is recommended.
1818

19-
* **CUDA toolkit 10.1 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher)**
19+
* **CUDA toolkit 10.1 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher;TensorRT is not supported)**
2020
* **CUDA toolkit 10.2 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT7.0.0.11)**
2121
* **CUDA toolkit 11.1 with cuDNN v8.1.1(for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT7.2.3.4)**
2222
* **CUDA toolkit 11.2 with cuDNN v8.1.1(for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT8.0.3.4)**
2323
* **CUDA toolkit 11.6 with cuDNN v8.4.0(for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT8.4.0.6)**
2424
* **CUDA toolkit 11.7 with cuDNN v8.4.1(for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT8.4.2.4)**
2525
* **Hardware devices with GPU computing power over 3.5**
2626

27-
You can refer to NVIDIA official documents for installation process and configuration method of CUDA, cuDNN and TensorRT. Please refer to[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/)[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/)[TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download)
27+
You can refer to NVIDIA official documents for installation process and configuration method of CUDA, cuDNN and TensorRT. Please refer to[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/)[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/)[TensorRT](https://developer.nvidia.com/tensorrt)
2828

2929

3030
## Installation steps

docs/install/conda/linux-conda.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1,6 +1,6 @@
11
# Linux 下的 Conda 安装
22

3-
[Anaconda](https://www.anaconda.com/)是一个免费开源的 Python 和 R 语言的发行版本,用于计算科学,Anaconda 致力于简化包管理和部署。Anaconda 的包使用软件包管理系统 Conda 进行管理。Conda 是一个开源包管理系统和环境管理系统,可在 Windows、macOS 和 Linux 上运行。
3+
[Anaconda](https://www.anaconda.com/)是一个免费开源的 Python 和 R 语言的发行版本,用于计算科学,Anaconda 致力于简化包管理和部署。Anaconda 的包使用软件包管理系统 Conda 进行管理。Conda 是一个开源包管理系统和环境管理系统,可在 Windows、macOS 和 Linux 上运行。本文档为你介绍 Anaconda 安装方式,飞桨提供的 Anaconda 安装包支持分布式训练(多机多卡)、TensorRT 推理功能。
44

55

66
## 一、环境准备

docs/install/conda/windows-conda.md

Lines changed: 1 addition & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,8 +1,6 @@
11
# Windows 下的 Conda 安装
22

3-
[Anaconda](https://www.anaconda.com/)是一个免费开源的 Python 和 R 语言的发行版本,用于计算科学,Anaconda 致力于简化包管理和部署。Anaconda 的包使用软件包管理系统 Conda 进行管理。Conda 是一个开源包管理系统和环境管理系统,可在 Windows、macOS 和 Linux 上运行。
4-
5-
3+
[Anaconda](https://www.anaconda.com/)是一个免费开源的 Python 和 R 语言的发行版本,用于计算科学,Anaconda 致力于简化包管理和部署。Anaconda 的包使用软件包管理系统 Conda 进行管理。Conda 是一个开源包管理系统和环境管理系统,可在 Windows、macOS 和 Linux 上运行。本文档为你介绍 Anaconda 安装方式,飞桨提供的 Anaconda 安装包支持分布式训练(多机多卡)、TensorRT 推理功能。
64

75
## 一、环境准备
86

docs/install/pip/linux-pip.md

Lines changed: 10 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,7 @@
11
# Linux 下的 PIP 安装
22

3+
The Python Package Index(PyPI)是 Python 的包管理器。本文档为你介绍 PyPI 安装方式,飞桨提供的 PyPI 安装包支持分布式训练(多机多卡)、TensorRT 推理功能;PyPI 下载详见 PyPI 官网(PyPI 官网设置链接:https://pypi.org/)。
4+
35
## 一、环境准备
46

57
### 1.1 目前飞桨支持的环境
@@ -75,7 +77,7 @@
7577
7678
* 如果您的计算机有 NVIDIA® GPU,请确保满足以下条件并且安装[GPU 版 PaddlePaddle](#gpu)
7779
78-
* **CUDA 工具包 10.1 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高)**
80+
* **CUDA 工具包 10.1 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高; 不支持使用 TensorRT)**
7981
8082
* **CUDA 工具包 10.2 配合 cuDNN 7 (cuDNN 版本>=7.6.5, 如需多卡支持,需配合 NCCL2.7 及更高;如需使用 PaddleTensorRT 推理,需配合 TensorRT7.0.0.11)**
8183
@@ -89,7 +91,7 @@
8991
9092
* **GPU 运算能力超过 3.5 的硬件设备**
9193
92-
您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download)
94+
您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/tensorrt)
9395
9496
* 如果您需要使用多卡环境请确保您已经正确安装 nccl2,或者按照以下指令安装 nccl2(这里提供的是 CUDA10.2,cuDNN7 下 nccl2 的安装指令,更多版本的安装信息请参考 NVIDIA[官方网站](https://developer.nvidia.com/nccl)):
9597
@@ -163,11 +165,16 @@
163165
164166
2.2.4 CUDA11.2 的 PaddlePaddle
165167
166-
168+
cuDNN8.1.1:
167169
```
168170
python -m pip install paddlepaddle-gpu==2.4.0rc0.post112 -f https://www.paddlepaddle.org.cn/whl/linux/mkl/avx/stable.html
169171
```
170172
173+
如果你想使用 PaddleTensorRT 进行推理,cudnn8.2.1 与 TensorRT8.0.3.4 联编的安装包能够获得更优的推理性能,安装命令如下:
174+
```
175+
python -m pip install paddlepaddle-gpu==2.4.0rc0.post112 -f https://www.paddlepaddle.org.cn/whl/linux/cuda11.2-cudnn8.2-tensorrt8.html
176+
```
177+
171178
172179
2.2.5 CUDA11.6 的 PaddlePaddle
173180
@@ -236,8 +243,6 @@
236243
python -m pip download paddlepaddle==2.4.0rc0 -f https://www.paddlepaddle.org.cn/whl/linux/openblas/avx/stable.html --no-index --no-deps
237244
```
238245
239-
* 如果你想在`cuda11.2`环境下,获得更好的`PaddleTensorRT`推理性能,需配合`cudnn8.2.1`,并安装联编`tensorrt8.0.3.4`的 Paddle 包,可以参考[下载安装 Linux 预测库](https://paddleinference.paddlepaddle.org.cn/user_guides/download_lib.html)。
240-
241246
242247
243248

docs/install/pip/linux-pip_en.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -75,7 +75,7 @@ If you installed Python via Homebrew or the Python website, `pip` was installed
7575
7676
* If your computer has NVIDIA® GPU, please make sure that the following conditions are met and install [the GPU Version of PaddlePaddle](#gpu)
7777
78-
* **CUDA toolkit 10.1 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher)**
78+
* **CUDA toolkit 10.1 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher; TensorRT is not supported)**
7979
8080
* **CUDA toolkit 10.2 with cuDNN 7 (cuDNN version>=7.6.5, for multi card support, NCCL2.7 or higher;for PaddleTensorRT deployment, TensorRT7.0.0.11)**
8181
@@ -89,7 +89,7 @@ If you installed Python via Homebrew or the Python website, `pip` was installed
8989
9090
* **Hardware devices with GPU computing power over 3.5**
9191
92-
You can refer to NVIDIA official documents for installation process and configuration method of CUDA, cuDNN and TensorRT. Please refer to [CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download)
92+
You can refer to NVIDIA official documents for installation process and configuration method of CUDA, cuDNN and TensorRT. Please refer to [CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/tensorrt)
9393
9494
* If you need to use a multi-card environment, please make sure that you have installed nccl2 correctly, or install nccl2 according to the following instructions (here are the installation instructions of nccl2 under CUDA10.2 and cuDNN7. For more version installation information, please refer to NVIDIA [Official Website](https://developer.nvidia.com/nccl)):
9595

docs/install/pip/macos-pip.md

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,7 @@
11
# MacOS 下的 PIP 安装
22

3+
The Python Package Index(PyPI)是 Python 的包管理器。本文档为你介绍 PyPI 安装方式。PyPI 下载详见 PyPI 官网(PyPI 官网设置链接:https://pypi.org/)。
4+
35
## 一、环境准备
46

57
### 1.1 目前飞桨支持的环境

docs/install/pip/windows-pip.md

Lines changed: 4 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,7 @@
11
# Windows 下的 PIP 安装
22

3+
The Python Package Index(PyPI)是 Python 的包管理器。本文档为你介绍 PyPI 安装方式,飞桨提供的 PyPI 安装包支持分布式训练(多机多卡)、TensorRT 推理功能;PyPI 下载详见 PyPI 官网(PyPI 官网设置链接:https://pypi.org/)。
4+
35
## 一、环境准备
46

57
### 1.1 目前飞桨支持的环境
@@ -51,7 +53,7 @@
5153
5254
* 如果您的计算机有 NVIDIA® GPU,请确保满足以下条件并且安装 GPU 版 PaddlePaddle
5355
54-
* **CUDA 工具包 10.1 配合 cuDNN v7.6.5**
56+
* **CUDA 工具包 10.1 配合 cuDNN v7.6.5(不支持使用 TensorRT)**
5557
5658
* **CUDA 工具包 10.2 配合 cuDNN v7.6.5(如需使用 PaddleTensorRT 推理,需配合 TensorRT7.0.0.11)**
5759
@@ -65,7 +67,7 @@
6567
6668
* **GPU 运算能力超过 3.5 的硬件设备**
6769
68-
* 注:目前官方发布的 windows 安装包仅包含 CUDA 10.1/10.2/11.1/11.2/11.6/11.7,如需使用其他 cuda 版本,请通过源码自行编译。您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/nvidia-tensorrt-download)
70+
* 注:目前官方发布的 windows 安装包仅包含 CUDA 10.1/10.2/11.1/11.2/11.6/11.7,如需使用其他 cuda 版本,请通过源码自行编译。您可参考 NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法,请见[CUDA](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/),[cuDNN](https://docs.nvidia.com/deeplearning/sdk/cudnn-install/),[TensorRT](https://developer.nvidia.com/tensorrt)
6971
7072
7173

0 commit comments

Comments
 (0)