深度学习SDK文档-最近更新时间为2020年3月27日- 发送反馈 -

NVIDIA Deep Learning SDK


Introduction
深度学习从中产生见识的两个主要操作是训练和推理. 虽然相似,但有显着差异. 训练提供诸如动物,交通标志等待检测/识别物体的示例,从而使其能够对这些物体是什么做出预测. 培训过程会加强正确的预测并纠正错误的预测. 经过训练,生产神经网络可以达到90-98%的正确结果. "推理"是指训练有素的网络来评估新对象,并以相似的预测精度进行预测. 推理是在训练之后进行的,因此,必须先获得经过训练的神经网络,然后才能进行推理.

Training Library


cuDNN Support Matrix
这些支持矩阵提供了针对cuDNN 7.6.5和更早版本的OS,CUDA,CUDA驱动程序和NVIDIA硬件的支持版本的信息.
cuDNN Release Notes
NVIDIA CUDA深度神经网络(cuDNN)是GPU加速的用于深度神经网络的原语库. 它提供了在DNN应用程序中经常出现的例程的高度优化的实现. 这些发行说明描述了cuDNN 7.6.5和更早版本的关键功能,软件增强和改进以及已知问题.
cuDNN Installation Guide
本《 cuDNN 7.6.5安装指南》提供了有关如何在Linux,Mac OS X和Microsoft Windows系统上安装和检查cuDNN的正确操作的分步说明.
cuDNN Developer Guide
此cuDNN 7.6.5开发人员指南概述了cuDNN功能,例如可自定义的数据布局,支持灵活的维排序,跨度和用于4D张量的子区域,这些张量用作其所有例程的输入和输出. 这种灵活性允许轻松集成到任何神经网络实现中.
Best Practices For cuDNN
该最佳实践指南涵盖了各种3D卷积和解卷积指南. 该文档还提供了设置cuDNN库参数的指南,以增强cuDNN 7.6.5中3D卷积的性能. 具体来说,这些准则侧重于设置,例如过滤器尺寸,填充和膨胀设置.
cuDNN API
这是cuDNN库的API文档. 该API指南包括cuDNN数据类型参考章节和cuDNN API参考章节,这些章节描述枚举的类型,而cuDNN API参考章节描述cuDNN库API中的所有例程. cuDNN API是基于上下文的API,可轻松实现多线程和(可选)与CUDA流的互操作性.
cuDNN SLA
本文档是NVIDIA cuDNN的软件许可协议(SLA). 以下内容包含NVIDIA cuDNN的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.
NCCL Release Notes
本文档介绍了NCCL 2.5.6的关键功能,软件增强和改进以及已知问题. NVIDIA集体通信库(NCCL)(发音为" Nickel")是一个多GPU集体通信原语的库,这些原语具有拓扑意识,可以轻松集成到应用程序中. 集体通信算法采用许多协同工作的处理器来聚合数据. NCCL并不是成熟的并行编程框架;它是一个成熟的并行编程框架. 相反,它是一个致力于加速集体通信原语的图书馆.
NCCL Installation Guide
本《 NCCL安装指南》提供了有关下载和安装NCCL 2.5.6的分步说明.
NCCL Developer Guide
本《 NCCL 2.5.6开发人员指南》是要在其C / C ++应用程序或库中使用NCCL的开发人员的参考文档. 它说明了如何使用NCCL进行GPU之间的通信,详细介绍了通信语义以及API. 示例包括可能在不同机器上的不同上下文中使用NCCL,例如单个进程,多个线程和多个进程. 它还说明了如何将NCCL与MPI一起使用.
NCCL SLA
本文档是NVIDIA NCCL的软件许可协议(SLA). 以下内容包含NVIDIA NCCL的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.
NCCL BSD License
本文档是NVIDIA NCCL的伯克利软件发行(BSD)许可证. 以下内容包含开源NVIDIA NCCL的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.
Additional Resources
其他资源主题为您提供了此产品文档之外的重要相关链接.

Inference Library


TensorRT Support Matrix
These support matrices provide a look into the supported platforms, features, and hardware capabilities of the TensorRT 7.0.0 APIs, parsers, and layers.
TensorRT Release Notes
NVIDIA TensorRT是一个C ++库,可促进NVIDIA GPU上的高性能推断. 它旨在与通常用于培训的深度学习框架结合使用. TensorRT专注于在GPU上快速有效地运行已经训练有素的网络,以产生结果. 也称为推理. 这些发行说明描述了TensorRT 7.0.0产品软件包的关键功能,软件增强和改进以及已知问题.
TensorRT Installation Guide
《 TensorRT 7.0.0安装指南》提供了安装要求,TensorRT软件包中包含的内容列表以及安装TensorRT的分步说明.
TensorRT Developer Guide
本TensorRT 7.0.0开发人员指南演示了如何使用C ++和Python API来实现最常见的深度学习层. 它展示了如何采用深度学习框架构建的现有模型,并使用该模型通过提供的解析器构建TensorRT引擎. 开发人员指南还提供了针对常见用户任务的分步说明,例如创建TensorRT网络定义,调用TensorRT构建器,序列化和反序列化以及如何向引擎提供数据并执行推理; 同时使用C ++或Python API.
TensorRT Samples Support Guide
本TensorRT 7.0.0样本支持指南详细介绍了包装中包含的每个TensorRT样本.
Best Practices For TensorRT Performance
本最佳实践指南涵盖了与使用TensorRT 7.0.0部署网络有关的各种性能注意事项. 这些部分假设您拥有的模型可以在适当的准确性水平上运行,并且能够成功使用TensorRT对该模型进行推断.
TensorRT API
这是NVIDIA TensorRT库的API文档. 以下API集使开发人员可以导入经过预训练的模型,使用INT8校准其网络以及构建和部署优化的网络. 网络可以直接从NVCaffe导入,也可以通过UFF或ONNX格式从其他框架导入. 也可以通过实例化各个图层并直接设置参数和权重,使用C ++或Python API以编程方式创建它们.
TensorRT SLA
本文档是NVIDIA TensorRT的软件许可协议(SLA). 本文档包含NVIDIA TensorRT的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.
TensorRT Container Release Notes
The TensorRT container is an easy to use container for TensorRT development. The container allows for the TensorRT samples to be built, modified, and executed. These release notes provide a list of key features, packaged software included in the container, software enhancements and improvements, and any known issues for the 20.03 and earlier releases. The TensorRT container is released monthly to provide you with the latest NVIDIA deep learning software libraries and GitHub code contributions that have been sent upstream; which are all tested, tuned, and optimized.
Additional Resources
"其他资源"主题为您提供了这些推断产品文档之外的重要相关链接.

Inference Server


Triton Inference Server Container Release Notes
实际的推理服务器打包在Triton推理服务器容器中. 本文档将引导您完成Triton推理服务器容器的启动和运行过程. 从先决条件到运行容器. 此外,发行说明还提供了关键功能,容器中包含的打包软件,软件增强和改进,任何已知问题以及如何为20.03和更早版本运行Triton推理服务器1.10.0的列表. Triton推理服务器容器每月发布一次,以向您提供已发送到上游的最新NVIDIA深度学习软件库和GitHub代码. 所有这些都经过测试,调整和优化.
Triton Inference Server Guide
本指南涵盖了诸如入门,安装以及如何使用Triton推理服务器之类的主题. 此外,本指南还包括开发人员指南,配置和API参考.
Triton Inference Server SLA
本文档是NVIDIA Triton Inference Server的软件许可协议(SLA). 以下内容包含NVIDIA Triton Inference Server的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.
Triton Inference Server BSD License
本文档是NVIDIA Triton Inference Server的伯克利软件发行(BSD)许可证. 以下内容包含开源的NVIDIA Triton Inference Server的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.

Data Loading


DALI Release Notes
本文档介绍了DALI 0.20.0 beta和更早版本的关键功能,软件增强和改进以及已知问题.
DALI Installation Guide
此NVIDIA数据加载库(DALI)0.20.0安装指南提供了将DALI作为Beta版安装的安装要求和分步说明. 该指南演示了如何获取兼容的MXNet,TensorFlow和PyTorch框架,以及如何通过二进制或GitHub安装来安装DALI. 本指南还提供了用于在MXNet,TensorFlow或PyTorch上运行DALI加速的预配置ResNet-50模型以进行图像分类训练的示例.
DALI Developer Guide
这份NVIDIA数据加载库(DALI)0.20.0开发人员指南演示了如何定义,构建和运行DALI管道,作为一个单一的库,可以将其集成到不同的深度学习训练和推理应用程序中. 通过公开使用高效引擎执行的优化构件,并将操作转移到GPU上,DALI既提供了性能,又提供了加速不同数据管道的灵活性. DALI是beta版.
DALI SLA
本文档是NVIDIA数据加载库(DALI)的软件许可协议(SLA). 本文档包含NVIDIA DALI的特定许可条款和条件. 接受本协议,即表示您同意遵守适用于此处包含的特定产品的所有条款和条件.

Archives


cuDNN Archives
此存档文档提供对以前发布的cuDNN文档版本的访问.
NCCL Archives
此存档文档提供对以前发布的NCCL文档版本的访问.
TensorRT Archives
此存档文档提供对以前发布的TensorRT文档版本的访问.
Triton Inference Server Archives
该存档文档提供对先前发布的Triton推理服务器文档版本的访问.
DALI Archives
此存档文档提供对以前发布的DALI文档版本的访问.

by  ICOPY.SITE