From 94cecd39d80b376bdc707e7cac239b2d106cdd6e Mon Sep 17 00:00:00 2001 From: zwx <284784862@qq.com> Date: Fri, 30 Sep 2022 10:47:04 +0800 Subject: [PATCH 01/50] readme89 --- .../Pix2Pix_ID0359_for_TensorFlow/README.md | 6 +++--- .../EDVR_ID0056_for_TensorFlow/README.md | 12 ++++++------ .../cv/detection/CRNN_for_TensorFlow/README.md | 12 ++++++------ .../detection/EastV2_ID1404_for_TensorFlow/README.md | 12 ++++++------ .../README.md | 12 ++++++------ .../Hourglass_ID0155_for_TensorFlow/README.md | 12 ++++++------ .../MaskRcnn_ID0011_for_TensorFlow/README.md | 12 ++++++------ .../detection/NIMA_ID0158_for_TensorFlow/README.md | 10 +++++----- .../OpenPose_ID0117_for_TensorFlow/README.md | 12 ++++++------ .../README.md | 10 +++++----- .../SSD-VGG_ID1619_for_TensorFlow/README.md | 10 +++++----- .../3D_ResNet_ID0486_for_TensorFlow/README.md | 12 ++++++------ .../AM3_ID1260_for_TensorFlow/README.md | 12 ++++++------ .../AUTOAUGMENT_ID0708_for_TensorFlow/README.md | 12 ++++++------ .../DCGAN_ID0260_for_TensorFlow/README.md | 10 +++++----- .../DPN68_ID0142_for_TensorFlow/README.md | 12 ++++++------ .../DenseNet161_ID1579_for_TensorFlow/README.md | 10 +++++----- .../DenseNet169_ID1580_for_TensorFlow/README.md | 10 +++++----- .../Face-ResNet50_ID1372_for_TensorFlow/README.md | 12 ++++++------ .../InceptionV3_ID0504_for_TensorFlow/README.md | 12 ++++++------ .../MiniGo_ID0629_for_TensorFlow/README.md | 12 ++++++------ .../MobileNetV1_for_TensorFlow/README.md | 10 +++++----- .../MobileNetV3_ID0256_for_TensorFlow/README.md | 10 +++++----- .../README.md | 6 +++--- .../Oct-ResNet_ID0251_for_TensorFlow/README.md | 6 +++--- .../ResNet152_for_TensorFlow/README.md | 10 +++++----- .../ResNet18_for_TensorFlow/README.md | 10 +++++----- .../ResNet200_for_TensorFlow/README.md | 10 +++++----- .../ResNet34_for_TensorFlow/README.md | 10 +++++----- .../ResNext101_ID1577_for_TensorFlow/README.md | 10 +++++----- .../README.md | 10 +++++----- .../ShufflenetV2_ID0371_For_Tensorflow/README.md | 10 +++++----- .../VGG19_for_TensorFlow/README.md | 10 +++++----- .../KinD_ID1132_for_TensorFlow/README.md | 12 ++++++------ .../ModelsGenesis_ID0902_for_TensorFlow/README.md | 12 ++++++------ .../OSMN_ID1103_for_TensorFlow/README.md | 10 +++++----- .../ShapeNet_ID1138_for_TensorFlow/README.md | 12 ++++++------ .../UNet2D_ID0008_for_TensorFlow/README.md | 6 +++--- .../UNet3D_ID0057_for_TensorFlow/README.md | 6 +++--- .../RCAN_ID0268_for_TensorFlow/README.md | 12 ++++++------ .../DCGAN_ID2196_for_TensorFlow/README.md | 12 ++++++------ .../SRGAN_ID1881_for_TensorFlow/README.md | 10 +++++----- .../ALBERT-lcqmc-ZH_ID1461_for_TensorFlow/README.md | 10 +++++----- .../nlp/Albert_ID0632_for_TensorFlow/README.md | 12 ++++++------ .../built-in/nlp/Bert-CLUE_for_TensorFlow/README.md | 10 +++++----- .../nlp/Bert-NER_ID0797_for_TensorFlow/README.md | 10 +++++----- .../nlp/Bert-qa_ID0369_for_TensorFlow/README.md | 10 +++++----- .../Bert_Google_MRPC_ID1466_for_TensorFlow/README.md | 10 +++++----- .../README.md | 10 +++++----- .../nlp/Bertsquad_ID0495_for_TensorFlow/README.md | 10 +++++----- .../nlp/BiLSTM_CRF_ID0125_for_TensorFlow/README.md | 12 ++++++------ .../nlp/BioBERT_ID0280_for_TensorFlow/README.md | 12 ++++++------ .../nlp/CNN-CTC_ID0683_for_TensorFlow/README.md | 12 ++++++------ .../nlp/GRU4Rec_ID0128_for_TensorFlow/README.md | 12 ++++++------ .../nlp/LeNet_ID0127_for_TensorFlow/README.md | 12 ++++++------ .../built-in/nlp/NMT_ID0512_for_TensorFlow/README.md | 12 ++++++------ .../nlp/Roberta_ID2366_for_TensorFlow/README.md | 12 ++++++------ .../nlp/Textcnn_ID0123_For_Tensorflow/README.md | 8 ++++---- .../albert_xlarge_zh_ID2348_for_TensorFlow/README.md | 12 ++++++------ .../DIEN_ID3065_for_TensorFlow/README.md | 12 ++++++------ .../WideDeep_ID2712_for_TensorFlow/README.md | 10 +++++----- .../cv/psenet/PSENet_ID0239_for_TensorFlow/README.md | 6 +++--- .../MNIST_ID2481_for_TensorFlow2.X/README.md | 12 ++++++------ .../ResNet50_ID0360_for_TensorFlow2.X/README.md | 10 +++++----- .../ResNext50_ID0362_for_TensorFlow2.X/README.md | 10 +++++----- .../cutmix_ID2502_for_TensorFlow2.X/README.md | 12 ++++++------ .../pointnet_ID2531_for_TensorFlow2.X/README.md | 12 ++++++------ .../README.md | 12 ++++++------ .../nlp/BERT_ID2478_for_TensorFlow2.X/README.md | 10 +++++----- .../nlp/BertLarge_ID0634_for_TensorFlow2.X/ReadMe.md | 10 +++++----- .../nlp/Roberta_Series_for_TensorFlow2.X/README.md | 10 +++++----- .../nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md | 10 +++++----- .../README.md | 10 +++++----- .../bert-squad_ID1566_for_TensorFlow2.X/README.md | 10 +++++----- .../AttRec_ID2630_for_TensorFlow2.X/README.md | 10 +++++----- .../DIN_ID2641_for_TensorFlow2.X/README.md | 12 ++++++------ .../DeepCTR_Series_for_TensorFlow2.X/README.md | 10 +++++----- .../FFM_ID2632_for_TensorFlow2.X/README.md | 10 +++++----- .../FM_ID2631_for_TensorFlow2.X/README.md | 12 ++++++------ .../MF_ID2624_for_TensorFlow2.X/README.md | 12 ++++++------ .../STAMP_ID2628_for_TensorFlow2.X/README.md | 12 ++++++------ .../WDL_ID2633_for_TensorFlow2.X/README.md | 10 +++++----- 82 files changed, 434 insertions(+), 434 deletions(-) diff --git a/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md b/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md index b9d6eccb3..3ce4d0d6b 100644 --- a/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md @@ -96,7 +96,7 @@ Pix2Pix_ID0359_for_TensorFlow是一个图像处理网络，为了能更好得对 g_optimizer = NPULossScaleOptimizer(g_optimizer, loss_scale_manager, is_distributed=True) g_optim = npu_tf_optimizer(g_optimizer).minimize(self.g_loss, var_list=self.g_vars) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -124,7 +124,7 @@ Pix2Pix_ID0359_for_TensorFlow是一个图像处理网络，为了能更好得对 -

快速上手

+## 快速上手 - 数据集准备 @@ -163,7 +163,7 @@ Pix2Pix_ID0359_for_TensorFlow是一个图像处理网络，为了能更好得对 bash train_full_1p.sh --data_path=/datasets/facades ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/Video_enhancement/EDVR_ID0056_for_TensorFlow/README.md b/TensorFlow/built-in/cv/Video_enhancement/EDVR_ID0056_for_TensorFlow/README.md index 940a3db15..06efe97fc 100644 --- a/TensorFlow/built-in/cv/Video_enhancement/EDVR_ID0056_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/Video_enhancement/EDVR_ID0056_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的edva网络训练代码** -

概述

+## 概述 - EDVR：使用增强的可变形卷积网络进行视频恢复. @@ -106,7 +106,7 @@ if FLAGS.precision_mode == "allow_mix_precision": custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -135,7 +135,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -187,7 +187,7 @@ ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -237,7 +237,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/CRNN_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/CRNN_for_TensorFlow/README.md index 82a22872a..3e0540fa6 100644 --- a/TensorFlow/built-in/cv/detection/CRNN_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/CRNN_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的场景文本识别深度神经网络** -

概述

+## 概述 - 该网络模型通过一个CNN网络实现特征提取，然后输入给后端的RNN网络和CTC Loss计算。。 @@ -87,7 +87,7 @@ custom_op.parameter_map["enable_data_pre_proc"].b = True custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes('allow_mix_precision') -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -116,7 +116,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -148,7 +148,7 @@ bash train_full_8p.sh --data_path=xxx ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -163,7 +163,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 脚本和示例代码 ``` diff --git a/TensorFlow/built-in/cv/detection/EastV2_ID1404_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/EastV2_ID1404_for_TensorFlow/README.md index 94de91c29..6a2e342ac 100644 --- a/TensorFlow/built-in/cv/detection/EastV2_ID1404_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/EastV2_ID1404_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的EAST_v2检测网络训练代码** -

概述

+## 概述 EAST是一种高效而准确的场景文本检测网络，EAST_v2是从EAST修改而来，包括数据增强，包括水平翻转、随机旋转、静音刻度和换位等。 在后期处理中，实现了不同于 LANMS 的修改处理，效果更好，后期处理时间较短。 @@ -88,7 +88,7 @@ with tf.Session(config=npu_config_proto(config_proto=tf.ConfigProto(allow_soft_placement=True))) as sess: -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -117,7 +117,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -157,7 +157,7 @@ python3 predict.py ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -172,7 +172,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/FasterRcnn_resnet50_ID0010_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/FasterRcnn_resnet50_ID0010_for_TensorFlow/README.md index 2246a0ab5..077dffa38 100644 --- a/TensorFlow/built-in/cv/detection/FasterRcnn_resnet50_ID0010_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/FasterRcnn_resnet50_ID0010_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的Faster-RCNN图片检测网络训练代码** -

概述

+## 概述 - Faster R-CNN是截止目前，RCNN系列算法的最杰出产物，two-stage中最为经典的物体检测算法。推理第一阶段先找出图片中待检测物体的anchor矩形框（对背景、待检测物体进行二分类），第二阶段对anchor框内待检测物体进行分类。 R-CNN系列物体检测算法的思路都是，先产生一些待检测框，再对检测框进行分类。Faster R-CNN使用神经网络生成待检测框，替代了其他R-CNN算法中通过规则等产生候选框的方法，从而实现了端到端训练，并且大幅提速。 本文档描述的Faster R-CNN是基于TensorFlow实现的版本。 @@ -113,7 +113,7 @@ npu_config=NPURunConfig( precision_mode="allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -142,7 +142,7 @@ npu_config=NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -206,7 +206,7 @@ npu_config=NPURunConfig( ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -219,7 +219,7 @@ npu_config=NPURunConfig( 请参考“快速上手”章节。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/Hourglass_ID0155_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/Hourglass_ID0155_for_TensorFlow/README.md index 18ca0813d..359fb1d57 100644 --- a/TensorFlow/built-in/cv/detection/Hourglass_ID0155_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/Hourglass_ID0155_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的Hourglass网络训练代码** -

概述

+## 概述 - Stacked Hourglass是falnewell等人提出应用于人体姿态估计的算法，通过生成heatmaps方式预测人体的关键点。作者认为重复使用 bottom-up/top-down和intermediate supervision能够提升网络性能。2016年在FLIC和MPII数据集上，本文取得了超越当前所有方法的性能。 @@ -101,7 +101,7 @@ custom_op.name = "NpuOptimizer" custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -130,7 +130,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec -

快速上手

+## 快速上手 ## 数据集准备 @@ -196,7 +196,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -209,7 +209,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec 请参考“快速上手”章节。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/MaskRcnn_ID0011_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/MaskRcnn_ID0011_for_TensorFlow/README.md index cda0654c0..4e97edb50 100644 --- a/TensorFlow/built-in/cv/detection/MaskRcnn_ID0011_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/MaskRcnn_ID0011_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的Faster-RCNN图片检测网络训练代码** -

概述

+## 概述 - Mask R-CNN是在Faster R-CNN基础上，通过添加与现有分支并行的对象掩码（object mask）分支，以增强Faster RCNN在边框识别上的性能，同时集成了实例、语义分割等多种功能。本文档描述的Mask R-CNN是基于TensorFlow实现的版本。 @@ -105,7 +105,7 @@ npu_config=NPURunConfig( precision_mode="allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -134,7 +134,7 @@ npu_config=NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -166,7 +166,7 @@ npu_config=NPURunConfig( ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -179,7 +179,7 @@ npu_config=NPURunConfig( 请参考“快速上手”章节。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/NIMA_ID0158_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/NIMA_ID0158_for_TensorFlow/README.md index c55344ddd..fd2b16e96 100644 --- a/TensorFlow/built-in/cv/detection/NIMA_ID0158_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/NIMA_ID0158_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow+keras框架的NIMA图像质量评估训练代码** -

概述

+## 概述 NIMA由两个模型组成，是一个美学和技术图像质量评估的网络。该模型通过迁移学习进行训练，即在使用ImageNet数据集进行预训练的CNN网络模型（MobileNet）基础上，针对分类任务进行了finetune。 @@ -120,7 +120,7 @@ NIMA由两个模型组成，是一个美学和技术图像质量评估的网络 ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -149,7 +149,7 @@ NIMA由两个模型组成，是一个美学和技术图像质量评估的网络 -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用AVA数据集，数据集请用户自行获取。 @@ -190,7 +190,7 @@ NIMA由两个模型组成，是一个美学和技术图像质量评估的网络 1. 测试的时候，无需修改代码，默认一个epoch训练完成后eval一次。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/OpenPose_ID0117_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/OpenPose_ID0117_for_TensorFlow/README.md index 4caf21edd..94f6d6660 100644 --- a/TensorFlow/built-in/cv/detection/OpenPose_ID0117_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/OpenPose_ID0117_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** **应用领域（Application Domain）：Object Detection** @@ -27,7 +27,7 @@ **描述（Description）： 基于TensorFlow框架的OpenPose在线实时识别动作网络** -

概述

+## 概述 - OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景，人们更加熟悉的应用就是抖音尬舞机。 - 参考论文： @@ -79,7 +79,7 @@ ## 开启混合精度 NA -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -107,7 +107,7 @@ NA -

快速上手

+## 快速上手 ## 数据集准备 1. 通过执行main.py生成数据集,记得取消数据收集代码的注释，原始数据将保存为`.txt` @@ -141,7 +141,7 @@ NA -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -160,7 +160,7 @@ NA 参考“模型训练”中训练步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/SSD-Resnet50V1-FPN_ID1463_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/SSD-Resnet50V1-FPN_ID1463_for_TensorFlow/README.md index c19be0cbb..a8589469a 100644 --- a/TensorFlow/built-in/cv/detection/SSD-Resnet50V1-FPN_ID1463_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/SSD-Resnet50V1-FPN_ID1463_for_TensorFlow/README.md @@ -6,7 +6,7 @@ - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -30,7 +30,7 @@ **描述（Description）：基于tensorflow实现，以Resnet50为backbone的SSD目标检测网络。 -

概述

+## 概述 SSD-Resnet50V1-FPN将边界框的输出空间离散为一组默认框，每个特征地图位置的纵横比和比例不同。在预测时，网络为每个默认框中每个对象类别生成分数，并对该框进行调整，以更好地匹配对象形状。此外，该网络结合了来自不同分辨率的多个特征图的预测，从而自然地处理不同尺寸的物体 @@ -102,7 +102,7 @@ SSD-Resnet50V1-FPN将边界框的输出空间离散为一组默认框，每个 session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -120,7 +120,7 @@ pip3 install requirements.txt 3、mpl_toolkits -

快速上手

+## 快速上手 ### 数据集准备 @@ -169,7 +169,7 @@ download_all.sh nvidia_ssd bash examples/SSD320_evaluate.sh /checkpoints/ ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/detection/SSD-VGG_ID1619_for_TensorFlow/README.md b/TensorFlow/built-in/cv/detection/SSD-VGG_ID1619_for_TensorFlow/README.md index 1f00da48a..d970873f6 100644 --- a/TensorFlow/built-in/cv/detection/SSD-VGG_ID1619_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/detection/SSD-VGG_ID1619_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的SSD-VGG图像检测网络训练代码** -

概述

+## 概述 ## 简述 @@ -106,7 +106,7 @@ parser.add_argument('--precision_mode', type=str, default='allow_fp32_to_fp16', help='precision mode, default is allow_fp32_to_fp16') ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -115,7 +115,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 1、用户自行准备好数据集，模型训练使用Pascal VOC数据集，数据集请用户自行获取 @@ -160,7 +160,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/3D_ResNet_ID0486_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/3D_ResNet_ID0486_for_TensorFlow/README.md index b70060dec..6c99b8bb8 100644 --- a/TensorFlow/built-in/cv/image_classification/3D_ResNet_ID0486_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/3D_ResNet_ID0486_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的3D_ResNet网络训练代码** -

概述

+## 概述 - 3D_ResNet是resnet网络的一种3D拓展，对图像分类的效果有一定提升。 @@ -92,7 +92,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -102,7 +102,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -157,7 +157,7 @@ pip3 install requirements.txt ├─y_train.npy ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -168,7 +168,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/AM3_ID1260_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/AM3_ID1260_for_TensorFlow/README.md index 4ed997936..3b73aae40 100644 --- a/TensorFlow/built-in/cv/image_classification/AM3_ID1260_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/AM3_ID1260_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的自适应跨模态小样本学习网络 (AM3)** -

概述

+## 概述 自适应跨模态小样本学习网络 (AM3) @@ -95,7 +95,7 @@ run_config = NPURunConfig( ） ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南](https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -124,7 +124,7 @@ run_config = NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -151,7 +151,7 @@ run_config = NPURunConfig( bash train_full_1p.sh --data_path=/trainingdata/ ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -162,7 +162,7 @@ run_config = NPURunConfig( 请参考“模型训练”中训练步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/AUTOAUGMENT_ID0708_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/AUTOAUGMENT_ID0708_for_TensorFlow/README.md index 456733401..15feae731 100644 --- a/TensorFlow/built-in/cv/image_classification/AUTOAUGMENT_ID0708_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/AUTOAUGMENT_ID0708_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于Keras框架的AutoAugment自动数据增强网络训练代码** -

概述

+## 概述 近日，来自谷歌大脑的研究者在 arXiv 上发表论文，提出一种自动搜索合适数据增强策略的方法 AutoAugment， 该方法创建一个数据增强策略的搜索空间，利用搜索算法选取适合特定数据集的数据增强策略。 @@ -88,7 +88,7 @@ custom_op.name = "NpuOptimizer" custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -117,7 +117,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -155,7 +155,7 @@ callbacks=callbacks) ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -170,7 +170,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/DCGAN_ID0260_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DCGAN_ID0260_for_TensorFlow/README.md index d984593d6..81f0ce2d5 100644 --- a/TensorFlow/built-in/cv/image_classification/DCGAN_ID0260_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DCGAN_ID0260_for_TensorFlow/README.md @@ -1,4 +1,4 @@ -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -22,7 +22,7 @@ **描述（Description）：基于TensorFlow框架的DCGAN对抗网络训练代码** -

概述

+## 概述 DCGAN全称[Deep Convolutional Generative Adversarial Networks](https://arxiv.org/pdf/1511.06434.pdf)，中文名曰深度卷积对抗网络。 DCGAN网络是CNN和GAN网络的结合 @@ -74,7 +74,7 @@ DCGAN全称[Deep Convolutional Generative Adversarial Networks](https://arxiv.or | 并行数据 | 否 | -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -103,7 +103,7 @@ DCGAN全称[Deep Convolutional Generative Adversarial Networks](https://arxiv.or -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用MINIST数据集，数据集请用户自行获取,可以参考源链接里的MINIST_data文件夹下的数据集。 @@ -138,7 +138,7 @@ DCGAN全称[Deep Convolutional Generative Adversarial Networks](https://arxiv.or ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/DPN68_ID0142_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DPN68_ID0142_for_TensorFlow/README.md index 7b42a06a2..b8a6fa9b6 100644 --- a/TensorFlow/built-in/cv/image_classification/DPN68_ID0142_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DPN68_ID0142_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的DPN网络训练代码** -

概述

+## 概述 - DPN融合了ResNeXt和DenseNet的核心思想，对图像分类的效果有一定提升。 - 参考论文 @@ -101,7 +101,7 @@ custom_op.name = "NpuOptimizer" custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -130,7 +130,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec -

快速上手

+## 快速上手 ## 数据集准备 1. 模型训练使用cifar10数据集，数据集请用户自行获取。 @@ -165,7 +165,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec bash train_full_1p.sh ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -178,7 +178,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec 请参考“快速上手”章节。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index c4a39bd1f..a531d057c 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** -

概述

+## 概述 DenseNet-161是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。DenseNet能有效缓解梯度消失，促进特征传递和复用。 @@ -102,7 +102,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -131,7 +131,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +200,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet169_ID1580_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet169_ID1580_for_TensorFlow/README.md index 44f59643f..85309dc21 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet169_ID1580_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet169_ID1580_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的DenseNet-169图像分类网络训练代码** -

概述

+## 概述 DenseNet-169是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。为了提升模型的效率，减少参数，采用BN-ReLU-Conv（1*1）-BN-ReLU-Conv（3*3）的bottleneck layer，并用1*1的Conv将Dense Block内各层输入通道数限制为4k（k为各层的输出通道数）。DenseNet能有效缓解梯度消失，促进特征传递和复用。 @@ -116,7 +116,7 @@ DenseNet-169是一个经典的图像分类网络，主要特点是采用各层 ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -145,7 +145,7 @@ DenseNet-169是一个经典的图像分类网络，主要特点是采用各层 -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -217,7 +217,7 @@ DenseNet-169是一个经典的图像分类网络，主要特点是采用各层 bash test.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md index 805614949..cbe4a3d80 100644 --- a/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的Face-ResNet50网络训练代码** -

概述

+## 概述 - Face-ResNet50 是基于 ResNet50 为 backbone 实现的跨年龄人脸识别网络。 @@ -95,7 +95,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -105,7 +105,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -166,7 +166,7 @@ pip3 install requirements.txt │   ├── CACD2000_Crop // CACD文件夹 ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -177,7 +177,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/InceptionV3_ID0504_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/InceptionV3_ID0504_for_TensorFlow/README.md index 3201be19b..7c52ad260 100644 --- a/TensorFlow/built-in/cv/image_classification/InceptionV3_ID0504_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/InceptionV3_ID0504_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的InceptionV3网络图像分类网络训练代码** -

概述

+## 概述 InceptionV4是2016年提出的Inception系列网络的第四个版本，随着ResNet网络的出现以及在主流数据集上的良好表现，谷歌希望将残差结构引入到Inception网络中得到更好的表现，同时注意到InceptionV3的部分结构有不必要的复杂性，于是尝试在不引入残差结构的情况下改进原来的的Inception结构，最终达到和与ResNet结合方式相同的精度。 - 参考论文： @@ -100,7 +100,7 @@ InceptionV4是2016年提出的Inception系列网络的第四个版本，随着Re precision_mode='allow_mix_precision' ） -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -129,7 +129,7 @@ InceptionV4是2016年提出的Inception系列网络的第四个版本，随着Re -

快速上手

+## 快速上手 ## 数据集准备 @@ -183,7 +183,7 @@ InceptionV4是2016年提出的Inception系列网络的第四个版本，随着Re -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -253,7 +253,7 @@ InceptionV4是2016年提出的Inception系列网络的第四个版本，随着Re 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/MiniGo_ID0629_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/MiniGo_ID0629_for_TensorFlow/README.md index f9d4a538c..de73f6365 100644 --- a/TensorFlow/built-in/cv/image_classification/MiniGo_ID0629_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/MiniGo_ID0629_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架，以Mupha为基础，以AlphaGo Zero为模型的极简Go引擎** -

概述

+## 概述 - Minigo 基于 Brian Lee 的 “ [MuGo](https://github.com/brilee/MuGo) ”（纯[自然的](https://github.com/brilee/MuGo) Python实现），这是 AlphaGo 发表于《 *自然*[》](https://www.nature.com/articles/nature16961)的第一篇论文[“用深度神经网络和树搜索掌握围棋游戏](https://www.nature.com/articles/nature16961)”的纯Python实现 。此实现增加了最新的 AlphaGo Zero 论文[“精通无人类知识的游戏”中](https://www.nature.com/articles/nature24270) 存在的功能和体系结构更改。最近，在[“使用通用强化学习算法通过自学掌握象棋和将棋”中，](https://arxiv.org/abs/1712.01815) 为 Chess 和 Shogi 扩展了此体系结构。这些论文通常会在 Minigo 文档中被删节为*AG*（对于AlphaGo），*AGZ*（对于AlphaGo Zero）和*AZ* （对于AlphaZero）。 @@ -93,7 +93,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -103,7 +103,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -248,7 +248,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -278,7 +278,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/MobileNetV1_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/MobileNetV1_for_TensorFlow/README.md index 2cea861f6..2bfe46df4 100644 --- a/TensorFlow/built-in/cv/image_classification/MobileNetV1_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/MobileNetV1_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -30,7 +30,7 @@ -

概述

+## 概述 MobileNetv1专注于移动端或者嵌入式设备中的轻量级CNN网络。是将传统的卷积操作改为两层的卷积操作。它基于流线型架构，该架构使用深度可分离卷积来构建轻量级深度神经网络。MobileNets 在广泛的应用程序和用例中的有效性，包括对象检测、细粒度分类、人脸属性和大规模地理定位。 @@ -112,7 +112,7 @@ run_config = NPURunConfig( ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -141,7 +141,7 @@ run_config = NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -209,7 +209,7 @@ run_config = NPURunConfig( bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/MobileNetV3_ID0256_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/MobileNetV3_ID0256_for_TensorFlow/README.md index 65dfeaace..4dba78a48 100644 --- a/TensorFlow/built-in/cv/image_classification/MobileNetV3_ID0256_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/MobileNetV3_ID0256_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的MobileNetV3 网络训练代码** -

概述

+## 概述 ## 简述 @@ -98,7 +98,7 @@ echo "parameter explain: -h/--help show help message ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -128,7 +128,7 @@ echo "parameter explain: -

快速上手

+## 快速上手 ## 数据集准备 @@ -177,7 +177,7 @@ echo "parameter explain: bash test/train_full_1p.sh -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/Multi-Layer_Perceptron_ID0628_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/Multi-Layer_Perceptron_ID0628_for_TensorFlow/README.md index 6a2b7ec0d..31299d6e0 100644 --- a/TensorFlow/built-in/cv/image_classification/Multi-Layer_Perceptron_ID0628_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/Multi-Layer_Perceptron_ID0628_for_TensorFlow/README.md @@ -91,7 +91,7 @@ custom_op.name = "NpuOptimizer" custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes(FLAGS.precision_mode) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -120,7 +120,7 @@ -

快速上手

+## 快速上手 - 数据集准备 @@ -159,7 +159,7 @@ bash train_full_1p.sh --data_path="./datasets" ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md index 5b9713fd8..f2bc606e5 100644 --- a/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md @@ -94,7 +94,7 @@ Octave 一词表示 “八音阶” 或 “八度”，音乐里降 8 个音阶 sess = tf.Session(config=sess_config) K.set_session(sess) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -123,7 +123,7 @@ Octave 一词表示 “八音阶” 或 “八度”，音乐里降 8 个音阶 -

快速上手

+## 快速上手 - 数据集准备 @@ -162,7 +162,7 @@ Octave 一词表示 “八音阶” 或 “八度”，音乐里降 8 个音阶 bash train_full_1p.sh --dataset_dir=/datasets ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md index ad9030c36..4b25d0d46 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的ResNet152图像分类网络训练代码** -

概述

+## 概述 1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。介绍了剩余学习的概念。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 @@ -105,7 +105,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -134,7 +134,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -201,7 +201,7 @@ bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md index d0a44f4e2..97d0acedc 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的ResNet18图像分类网络训练代码** -

概述

+## 概述 1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。介绍了剩余学习的概念。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 @@ -104,7 +104,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -133,7 +133,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +200,7 @@ bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md index 34d05d856..83d408e5f 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的ResNet200图像分类网络训练代码** -

概述

+## 概述 1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 @@ -104,7 +104,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -133,7 +133,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +200,7 @@ bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md index 375fa97e1..065169de9 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的DenseNet-34图像分类网络训练代码** -

概述

+## 概述 1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。介绍了剩余学习的概念。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 @@ -104,7 +104,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -133,7 +133,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +200,7 @@ bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md index 12c74e629..9e3b22bfc 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的ResNext101图像分类网络训练代码** -

概述

+## 概述 ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的思想和Inception的split-transform-merge思想，把单路卷积转变成了多个支路的多个卷积。ResNeXt结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。ResNeXt有不同的网络层数，常用的有18-layer、34-layer、50-layer、101-layer、152-layer。Ascend本次提供的是101-layer的ResNeXt-101网络。 @@ -122,7 +122,7 @@ ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的 run_config = NPURunConfig(hcom_parallel=True, precision_mode='allow_mix_precision', save_summary_steps=0, log_step_count_steps=None, enable_data_pre_proc=True,save_checkpoints_secs=1e9, session_config=session_config, model_dir = self.config['model_dir'], iterations_per_loop=self.config['iterations_per_loop']) ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -151,7 +151,7 @@ ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的 -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -220,7 +220,7 @@ ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ShuffleNetV1-1.0x-group3_ID2129_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ShuffleNetV1-1.0x-group3_ID2129_for_TensorFlow/README.md index 1756fef1c..8b63299b6 100644 --- a/TensorFlow/built-in/cv/image_classification/ShuffleNetV1-1.0x-group3_ID2129_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ShuffleNetV1-1.0x-group3_ID2129_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的高效CNN架构设计网络shufflenetv1** -

概述

+## 概述 ​ 目前，神经网络架构设计主要以计算复杂度的\emph{indirect} 度量，即FLOPs 为指导。然而，\emph{direct} 指标（例如速度）还取决于其他因素，例如内存访问成本和平台特性。因此，这项工作建议评估目标平台上的直接指标，而不仅仅是考虑 FLOP。基于一系列受控实验，这项工作推导出了几个实用的\ emph {指南}，用于有效的网络设计。ShuffleNetV1提出了channel shuffle操作，使得网络可以尽情地使用分组卷积来加速。 @@ -105,7 +105,7 @@ run_config = NPURunConfig( model_dir=flags_obj.model_dir, ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -141,7 +141,7 @@ pip3 install requirements.txt -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -171,7 +171,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/ShufflenetV2_ID0371_For_Tensorflow/README.md b/TensorFlow/built-in/cv/image_classification/ShufflenetV2_ID0371_For_Tensorflow/README.md index 6b55ca20d..db30e1001 100644 --- a/TensorFlow/built-in/cv/image_classification/ShufflenetV2_ID0371_For_Tensorflow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ShufflenetV2_ID0371_For_Tensorflow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架ShuffleNet升级版本学习算法训练代码** -

概述

+## 概述 - 目前，神经网络体系结构设计大多以计算复杂度的间接度量为指导，即FLOPs。然而，直接度量（如速度）也取决于其他因素，如内存访问成本和平台特性。因此，这项工作建议评估目标平台上的直接指标，而不仅仅是考虑故障。在一系列受控实验的基础上，得出了有效网络设计的几种实用指导原则。因此，提出了一种新的体系结构，称为ShuffleNet V2。 @@ -104,7 +104,7 @@ run_config = NPURunConfig( ） ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -133,7 +133,7 @@ run_config = NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -209,7 +209,7 @@ run_config = NPURunConfig( -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_classification/VGG19_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/VGG19_for_TensorFlow/README.md index fad9bbf11..60c715115 100644 --- a/TensorFlow/built-in/cv/image_classification/VGG19_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/VGG19_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -30,7 +30,7 @@ -

概述

+## 概述 VGG19是一个经典的目标分类网络。整个网络都使用（3x3）的卷积核和（2x2）最大池化层，既可以保证感受视野，又能够减少卷积层的参数。Ascend提供的VGG19是基于TensorFlow实现的版本。 @@ -112,7 +112,7 @@ run_config = NPURunConfig( ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -141,7 +141,7 @@ run_config = NPURunConfig( -

快速上手

+## 快速上手 ## 数据集准备 @@ -209,7 +209,7 @@ run_config = NPURunConfig( bash train_full_8p.sh ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/KinD_ID1132_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/KinD_ID1132_for_TensorFlow/README.md index 8b909388a..01c8493a9 100644 --- a/TensorFlow/built-in/cv/image_segmentation/KinD_ID1132_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/KinD_ID1132_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的KinD训练代码** -

概述

+## 概述 - 深层视网分解，用于低光照增强 @@ -89,7 +89,7 @@ if FLAGS.precision_mode == "allow_mix_precision": custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -118,7 +118,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -162,7 +162,7 @@ -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -185,7 +185,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/ModelsGenesis_ID0902_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/ModelsGenesis_ID0902_for_TensorFlow/README.md index ab9d26332..455783a3c 100644 --- a/TensorFlow/built-in/cv/image_segmentation/ModelsGenesis_ID0902_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/ModelsGenesis_ID0902_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的ModelsGenesis网络训练代码** -

概述

+## 概述 - “Generic Autodidactic Models” 是一组预先训练好的模型，简称 “Models Genesis”。它们是在 nihilo（无需手动标记）、self-taught（自我监督学习）和 generic（用于生成特定于应用程序的目标模型的源模型）之前创建的。在注释数据有限的情况下，“Models Genesis”可以作为3D医学成像应用的转移学习的主要来源。 - 参考论文： @@ -99,7 +99,7 @@ custom_op.name = "NpuOptimizer" custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -128,7 +128,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec -

快速上手

+## 快速上手 ## 数据集准备 1. 模型训练使用Self_Learning_Cubes_1.0数据集，数据集请用户自行获取。 @@ -164,7 +164,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec bash train_full_1p.sh ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -177,7 +177,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_prec 请参考“快速上手”章节。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md index 5baae12e2..5328f54a1 100644 --- a/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的OSMN网络训练代码** -

概述

+## 概述 OSMN是利用modulators模块快速地调整分割网络使其可以适应特定的物体，而不需要执行数百次的梯度下降；同时不需要调整所有的参数。在视频目标分割上有两个关键的点：视觉外观和空间中持续的移动。为了同时使用视觉和空间信息，将视觉modulator和空间modulator进行合并，在第一帧的标注信息和目标空间位置的基础上分别学习如何调整主体分割网络。 @@ -75,7 +75,7 @@ if FLAGS.precision_mode == "allow_mix_precision": custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 ``` @@ -112,7 +112,7 @@ pip3 install requirements.txt ## 安装依赖 pip3 install requirements.txt -

快速上手

+## 快速上手 ### 数据集准备 1. 下载MS-COCO 2017数据集 @@ -132,7 +132,7 @@ pip3 install requirements.txt ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md index 9c736c330..9642b49f2 100644 --- a/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的ShapeNet网络训练代码** -

概述

+## 概述 - 与通过定制的卷积算子捕获3D点云中的局部模式的文献相反，本文研究了如何有效地将此类点云投影到2D图像空间中的问题，从而使传统2D卷积神经网络（CNN） ）（例如U-Net）可用于细分。为此，我们受到图绘制的激励，并将其重新构造为整数编程问题，以了解每个单个点云的拓扑保留图到网格映射。为了在实践中加快计算速度，我们进一步提出了一种新颖的分层近似算法。 @@ -96,7 +96,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -106,7 +106,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -164,7 +164,7 @@ pip3 install requirements.txt │   ├── ShapeNet_training.hdf5 ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -175,7 +175,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/UNet2D_ID0008_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/UNet2D_ID0008_for_TensorFlow/README.md index f87d9f640..fc46e9dc5 100644 --- a/TensorFlow/built-in/cv/image_segmentation/UNet2D_ID0008_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/UNet2D_ID0008_for_TensorFlow/README.md @@ -100,7 +100,7 @@ UNet是医学图像处理方面著名的图像分割网络，过程是这样的 keep_checkpoint_max=1) # for npu -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -129,7 +129,7 @@ UNet是医学图像处理方面著名的图像分割网络，过程是这样的 -

快速上手

+## 快速上手 - 数据集准备 @@ -168,7 +168,7 @@ UNet是医学图像处理方面著名的图像分割网络，过程是这样的 bash run_1p_accuracy.sh --data_dir=/data ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md index c005f2389..8819309df 100644 --- a/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md @@ -88,7 +88,7 @@ -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -117,7 +117,7 @@ -

快速上手

+## 快速上手 - 数据集准备 @@ -166,7 +166,7 @@ bash run_accuracy_8p.sh --data_dir=/data/BraTS2019Train ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_super_resolution/RCAN_ID0268_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_super_resolution/RCAN_ID0268_for_TensorFlow/README.md index 5025924b9..51bbe7fbb 100644 --- a/TensorFlow/built-in/cv/image_super_resolution/RCAN_ID0268_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_super_resolution/RCAN_ID0268_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的RCAN超分网络训练代码** -

概述

+## 概述 卷积神经网络 (CNN) 深度对于图像超分辨率 (SR) 至关重要。然而，图像 SR 的更深网络更难训练。 低分辨率的输入和特征包含丰富的低频信息，这些信息在通道间被平等对待，因此阻碍了 CNN 的表示能力。 @@ -91,7 +91,7 @@ config.graph_options.rewrite_options.remapping = RewriterConfig.OFF # 必须显示关闭remap sess = tf.Session(config = config) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -120,7 +120,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -155,7 +155,7 @@ python3 main.py --mode test --pre_trained_model ./model/RCAN_X2 --test_LR_path ./benchmark_LR_path --test_GT_path ./benchmark_GT_path --scale 2 --self_ensemble False ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -170,7 +170,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_synthesis/DCGAN_ID2196_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_synthesis/DCGAN_ID2196_for_TensorFlow/README.md index 09f055679..b16c987c5 100644 --- a/TensorFlow/built-in/cv/image_synthesis/DCGAN_ID2196_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_synthesis/DCGAN_ID2196_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的DCGAN训练代码** -

概述

+## 概述 GAN生成对抗网络，该框架可以教会一个深度学习模型来捕捉训练数据分布，并生成具有同分布的相同数据。GAN最早由lan Goodfellow在2014年首次提出。 GAN由两个不同的模型组成，一个是生成模型generator，一个是鉴别模型discriminator。其中，generator的作用是产生fake image使其封隔与训练图像相似; discriminator @@ -90,7 +90,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -100,7 +100,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -143,7 +143,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -158,7 +158,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/cv/image_synthesis/SRGAN_ID1881_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_synthesis/SRGAN_ID1881_for_TensorFlow/README.md index f576a191b..10a321c8e 100644 --- a/TensorFlow/built-in/cv/image_synthesis/SRGAN_ID1881_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_synthesis/SRGAN_ID1881_for_TensorFlow/README.md @@ -1,4 +1,4 @@ -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -22,7 +22,7 @@ **描述（Description）：基于TensorFlow框架的SRGAN对抗网络训练代码** -

概述

+## 概述 SR:从低分辨率(LR)图像中提取高分辨率(HR)图像这一极具挑战性的任务称为超分辨率(SR) @@ -75,7 +75,7 @@ SRGAN的作用简单点说,就是给你一张模糊的图片,让你复原一张 | 并行数据 | 否 | -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 @@ -106,7 +106,7 @@ SRGAN的作用简单点说,就是给你一张模糊的图片,让你复原一张 -

快速上手

+## 快速上手 - 数据集准备 @@ -148,7 +148,7 @@ SRGAN的作用简单点说,就是给你一张模糊的图片,让你复原一张 ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/ALBERT-lcqmc-ZH_ID1461_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/ALBERT-lcqmc-ZH_ID1461_for_TensorFlow/README.md index fa6fdf8a1..1c71dd7ce 100644 --- a/TensorFlow/built-in/nlp/ALBERT-lcqmc-ZH_ID1461_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/ALBERT-lcqmc-ZH_ID1461_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** **应用领域（Application Domain）：Natural Language Processing** @@ -27,7 +27,7 @@ **描述（Description）：基于TensorFlow框架的Albert_ZH代码** -

概述

+## 概述 在预训练自然语言表示时增加模型大小通常会提高下游任务的性能。 但是，由于GPU / TPU内存的限制和更长的训练时间，在某些时候，进一步的模型增加变得更加困难。 为了解决这些问题，我们提出了两种参数减少技术，以降低内存消耗并提高BERT的训练速度。 全面的经验证据表明，与原始BERT相比，我们提出的方法所导致的模型可扩展性更好。 我们还使用了一个自我监督的损失，该损失集中于对句子之间的连贯性进行建模，并表明它始终可以通过多句子输入来帮助下游任务。 因此，我们的最佳模型在GLUE，RACE和\ squad基准上建立了最新的技术成果，而与BERT-large相比，参数更少。 - 参考论文： @@ -102,7 +102,7 @@ run_config = NPURunConfig( ） ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -139,7 +139,7 @@ pip3 install requirements.txt -

快速上手

+## 快速上手 ## 数据集准备 1. 模型使用数据集 LCQMC，参考源代码提供路径下载。 @@ -231,7 +231,7 @@ pip3 install requirements.txt perl multi-bleu.perl /data/wmt-ende/newstest2014.tok.de.forbleu < output-0603.forbleu -

高级参考

+## 高级参考 ## 脚本和示例代码 ``` diff --git a/TensorFlow/built-in/nlp/Albert_ID0632_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Albert_ID0632_for_TensorFlow/README.md index 82e787eee..66b7448ab 100644 --- a/TensorFlow/built-in/nlp/Albert_ID0632_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Albert_ID0632_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的Albert无监督语言表示学习算法训练代码** -

概述

+## 概述 - ALBERT是BERT的“精简版”版本，它是一种流行的无监督语言表示学习算法。ALBERT使用参数缩减技术，该技术可进行大规模配置，克服先前的内存限制并在模型降级方面实现更好的性能。 @@ -104,7 +104,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -133,7 +133,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) -

快速上手

+## 快速上手 ## 数据集准备 @@ -182,7 +182,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) bash train_full_1p.sh ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -193,7 +193,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bert-CLUE_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bert-CLUE_for_TensorFlow/README.md index 67e5200e9..78e6dd393 100644 --- a/TensorFlow/built-in/nlp/Bert-CLUE_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bert-CLUE_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BERT网络在CLUE数据集上的finetune代码** -

概述

+## 概述 BERT是一种与训练语言表示的方法，这意味着我们在大型文本语料库（如维基百科）上训练一个通用的”语言理解“模型，然后将该模型用于我们关心的下游NLP任务（如问答）。该工程提供了在CLUE数据集上finetune的方法。 @@ -95,7 +95,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -125,7 +125,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用TNEWS和MSRANER数据集，参考源代码提供路径下载。 @@ -168,7 +168,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bert-NER_ID0797_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bert-NER_ID0797_for_TensorFlow/README.md index 9bfa70968..a87005d8f 100644 --- a/TensorFlow/built-in/nlp/Bert-NER_ID0797_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bert-NER_ID0797_for_TensorFlow/README.md @@ -1,4 +1,4 @@ -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -22,7 +22,7 @@ **描述（Description）：基于TensorFlow框架的Bert-NER下游任务学习算法训练代码** -

概述

+## 概述 ​ 命名实体识别（Named Entity Recognition，NER）是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。当前这个下游任务是基于训练好的BERT模型，进行fine tune，做NER任务 @@ -90,7 +90,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -119,7 +119,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 数据集采用CoNLL-2003，用户自行下载并处理，也可以参考源 https://github.com/kyzhouhzau/BERT-NER里的data目录下的数据集 @@ -158,7 +158,7 @@ ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bert-qa_ID0369_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bert-qa_ID0369_for_TensorFlow/README.md index 81e9fd947..18a2c991c 100644 --- a/TensorFlow/built-in/nlp/Bert-qa_ID0369_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bert-qa_ID0369_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的bert-qa无监督语言表示学习算法训练代码** -

概述

+## 概述 - BERT是一种预训练语言表示的方法，这意味着我们在大型文本语料库（例如Wikipedia）上训练通用的“语言理解”模型，然后将该模型用于我们关心的下游NLP任务（例如问题回答）。BERT优于以前的方法，因为它是第一个用于预训练NLP的*无监督*，*深度双向*系统。 @@ -111,7 +111,7 @@ per_host_input_for_training=is_per_host)) ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -140,7 +140,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -199,7 +199,7 @@ -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bert_Google_MRPC_ID1466_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bert_Google_MRPC_ID1466_for_TensorFlow/README.md index fde0cdda3..3e72e8c38 100644 --- a/TensorFlow/built-in/nlp/Bert_Google_MRPC_ID1466_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bert_Google_MRPC_ID1466_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BERT网络在MRPC数据集上的finetune代码** -

概述

+## 概述 BERT模型的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder，其中“双向”表示模型在处理某一个词时，它能同时利用前面的词和后面的词两部分信息。该工程提供了在MRPC数据集上finetune的方法。 @@ -91,7 +91,7 @@ run_config = NPURunConfig( keep_checkpoint_max=5) ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -120,7 +120,7 @@ run_config = NPURunConfig( -

快速上手

+## 快速上手 ### 数据集准备 @@ -149,7 +149,7 @@ run_config = NPURunConfig( -

高级参考

+## 高级参考 ### 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bert_Nv_Finetune_MPRC_ID1641_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bert_Nv_Finetune_MPRC_ID1641_for_TensorFlow/README.md index 1199bd55d..b779db9c0 100644 --- a/TensorFlow/built-in/nlp/Bert_Nv_Finetune_MPRC_ID1641_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bert_Nv_Finetune_MPRC_ID1641_for_TensorFlow/README.md @@ -1,4 +1,4 @@ -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -22,7 +22,7 @@ **描述（Description）：基于TensorFlow框架的Bert下游任务学习算法训练代码** -

概述

+## 概述 使用BERT进行命名实体识别。 @@ -90,7 +90,7 @@ ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -119,7 +119,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 该下游任务，支持两种数据集（MRPC和MNLI），用户自行下载并处理，也可以参考源 https://github.com/NVIDIA/DeepLearningExamples/tree/master/TensorFlow/LanguageModeling/BERT 中的数据集说明下载 @@ -168,7 +168,7 @@ ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Bertsquad_ID0495_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Bertsquad_ID0495_for_TensorFlow/README.md index b92b66c6a..ee7cca6de 100644 --- a/TensorFlow/built-in/nlp/Bertsquad_ID0495_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Bertsquad_ID0495_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BERT网络在Squad v1.1数据集上的finetune代码** -

概述

+## 概述 BERT是一种与训练语言表示的方法，这意味着我们在大型文本语料库（如维基百科）上训练一个通用的”语言理解“模型，然后将该模型用于我们关心的下游NLP任务（如问答）。该工程提供了在Squad v1.1数据集上finetune的方法。 @@ -93,7 +93,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -123,7 +123,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 -

快速上手

+## 快速上手 - 数据集准备及预训练模型准备 1. 模型训练使用Squad v1.1数据集，参考源代码提供路径下载。 @@ -166,7 +166,7 @@ BERT是一种与训练语言表示的方法，这意味着我们在大型文本 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/BiLSTM_CRF_ID0125_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BiLSTM_CRF_ID0125_for_TensorFlow/README.md index 1e04251c1..a88f02d50 100644 --- a/TensorFlow/built-in/nlp/BiLSTM_CRF_ID0125_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BiLSTM_CRF_ID0125_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BLSTM-CRF中文命名实体识别网络训练代码** -

概述

+## 概述 CRF是一种常用的序列标注算法，可用于词性标注，分词，命名实体识别等任务。BiLSTM+CRF是目前比较流行的序列标注算法，其将BiLSTM和CRF结合在一起，使模型即可以像CRF一样考虑序列前后之间的关联性，又可以拥有LSTM的特征抽取及拟合能力 @@ -90,7 +90,7 @@ CRF是一种常用的序列标注算法，可用于词性标注，分词，命 custom_op.parameter_map["use_off_line"].b = True custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -119,7 +119,7 @@ CRF是一种常用的序列标注算法，可用于词性标注，分词，命 -

快速上手

+## 快速上手 ## 数据集准备 @@ -158,7 +158,7 @@ CRF是一种常用的序列标注算法，可用于词性标注，分词，命 python3 terminal_predict.py ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -173,7 +173,7 @@ CRF是一种常用的序列标注算法，可用于词性标注，分词，命 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md index 4dd80cf90..52e0b9d81 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BioBERT生物医学语言网络训练代码** -

概述

+## 概述 BioBERT（用于生物医学文本挖掘的双向编码器表示Transformers），这是一种在大型生物医学语料库上预先训练的领域特定语言表示模型。 通过在任务上几乎相同的体系结构，在经过生物医学语料库的预训练之后，BioBERT在许多生物医学文本挖掘任务中都大大优于BERT和以前的最新模型。 @@ -93,7 +93,7 @@ run_config = tf.contrib.tpu.RunConfig( session_config=session_config, -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -122,7 +122,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -162,7 +162,7 @@ ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -177,7 +177,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/CNN-CTC_ID0683_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/CNN-CTC_ID0683_for_TensorFlow/README.md index d063fa6bf..4041f2ca5 100644 --- a/TensorFlow/built-in/nlp/CNN-CTC_ID0683_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/CNN-CTC_ID0683_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的cnn-ctc光学字符识别网络训练代码** -

概述

+## 概述 - CNN-CTC与传统OCR网络相比，具有以下优势：可端到端学习，支持识别任意长字符串，在有无词汇表时都有较好表现，模型参数量较小。 @@ -97,7 +97,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -107,7 +107,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -155,7 +155,7 @@ pip3 install requirements.txt ├─... ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -166,7 +166,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/GRU4Rec_ID0128_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/GRU4Rec_ID0128_for_TensorFlow/README.md index bb3df4449..9251e494a 100644 --- a/TensorFlow/built-in/nlp/GRU4Rec_ID0128_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/GRU4Rec_ID0128_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的GRU网络训练代码** -

概述

+## 概述 这是GRu4Rec的 TensorFlow 实现.gru4rec_BPTT 下的代码使用 BPTT 来训练 RNN。这通常比原来的 gru4rec 性能更好。 gru4rec_BP 下的代码仅使用反向传播来训练 RNN，这是我们所采用的优化方法。 @@ -94,7 +94,7 @@ gru4rec_BP 下的代码仅使用反向传播来训练 RNN，这是我们所采 混合精度训练昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -123,7 +123,7 @@ gru4rec_BP 下的代码仅使用反向传播来训练 RNN，这是我们所采 -

快速上手

+## 快速上手 ## 数据集准备 @@ -165,7 +165,7 @@ gru4rec_BP 下的代码仅使用反向传播来训练 RNN，这是我们所采 -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -189,7 +189,7 @@ gru4rec_BP 下的代码仅使用反向传播来训练 RNN，这是我们所采 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md index 3169d3efe..46ee74644 100644 --- a/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架对图片中手写0~9数字进行识别、分类的训练代码** -

概述

+## 概述 LeNet是由2019年图灵奖获得者Yann LeCun、Yoshua Bengio于1998年提出(Gradient-based learning applied to document recognition)，它也被认为被认为是最早的卷积神经网络模型。 原始的LeNet是一个5层的卷积神经网络，它主要包括两部分：卷积层，全连接层。本网络的LeNet用于对图片中手写数字进行识别分类。 @@ -99,7 +99,7 @@ custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes(str(args.precision_mode)) ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -128,7 +128,7 @@ -

快速上手

+## 快速上手 - 数据集准备 1. 模型训练使用MNIST数据集，数据集请用户自行获取。 @@ -163,7 +163,7 @@ 此时，xxx=/home/data/MNIST -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -213,7 +213,7 @@ 参考“模型训练”中训练步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/NMT_ID0512_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/NMT_ID0512_for_TensorFlow/README.md index 820e223ad..8aa0fa44c 100644 --- a/TensorFlow/built-in/nlp/NMT_ID0512_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/NMT_ID0512_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的nmt网络训练代码** -

概述

+## 概述 - 在训练中使用TED演讲的小规模平行语料库（133K 训练示例），使用 st2012作为训练数据集，使用tst2013作为测试数据集。 @@ -91,7 +91,7 @@ if FLAGS.precision_mode == "allow_mix_precision": custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -120,7 +120,7 @@ -

快速上手

+## 快速上手 ## 数据集准备 @@ -150,7 +150,7 @@ ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -179,7 +179,7 @@ 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md index 5c9ad5766..eda4fdf77 100644 --- a/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的Roberta_ZH下游任务finetune代码** -

概述

+## 概述 在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。 为了进一步促进中文信息处理的研究发展，基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm应运而生， @@ -90,7 +90,7 @@ session_config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -100,7 +100,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -146,7 +146,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -161,7 +161,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md b/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md index bb7cf5cac..8c05fb764 100644 --- a/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md +++ b/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md @@ -20,7 +20,7 @@ - 应用级别（Categories）：Official - 描述（Description）：使用卷积神经网络进行中文文本分类训练代码 -

概述

+## 概述 使用卷积神经网络以及循环神经网络进行中文文本分类。 本文是基于TensorFlow在中文数据集上的简化实现，使用了字符级CNN对中文文本进行分类，达到了较好的效果。 @@ -121,7 +121,7 @@ else: opt = NPULossScaleOptimizer(opt, loss_scale_manager, is_distributed=True) self.optim = opt.minimize(self.loss) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -150,7 +150,7 @@ else: -

快速上手

+## 快速上手 - 数据集准备 @@ -189,7 +189,7 @@ else: bash train_full_1p.sh --data_path=/npu/traindata/cnews ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md index 1a0bbe3f5..d53f8b3e9 100644 --- a/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的albert_xlarge_zh代码** -

概述

+## 概述 ALBert基于Bert，但有一些改进。它在主要基准测试中实现了最先进的性能，参数减少了30%。 对于albert_base_zh，它只与原始bert模型相比只有10个百分比的参数，并且保留了主要精度。 @@ -99,7 +99,7 @@ ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -109,7 +109,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -155,7 +155,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -170,7 +170,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/recommendation/DIEN_ID3065_for_TensorFlow/README.md b/TensorFlow/built-in/recommendation/DIEN_ID3065_for_TensorFlow/README.md index 3b9a10da0..eae9c0dba 100644 --- a/TensorFlow/built-in/recommendation/DIEN_ID3065_for_TensorFlow/README.md +++ b/TensorFlow/built-in/recommendation/DIEN_ID3065_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的DIEN网络训练代码** -

概述

+## 概述 DIEN是用于点击率预测的深度兴趣进化网络。这个模型能够更精确的表达用户兴趣，同时带来更高的CTR预估准确率。 @@ -94,7 +94,7 @@ DIEN是用于点击率预测的深度兴趣进化网络。这个模型能够更 config_proto.graph_options.rewrite_options.remapping = RewriterConfig.OFF session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -104,7 +104,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -136,7 +136,7 @@ mv data2/* . bash train_full_1p.sh --data_path=/data （全量） ## 当前full脚本尚未调通 ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -147,7 +147,7 @@ mv data2/* . 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/built-in/recommendation/WideDeep_ID2712_for_TensorFlow/README.md b/TensorFlow/built-in/recommendation/WideDeep_ID2712_for_TensorFlow/README.md index 7290c36d6..324661047 100644 --- a/TensorFlow/built-in/recommendation/WideDeep_ID2712_for_TensorFlow/README.md +++ b/TensorFlow/built-in/recommendation/WideDeep_ID2712_for_TensorFlow/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：Wide&Deep是一个同时具有Memorization和Generalization功能的CTR预估模型，该模型主要由广义线性模型（Wide网络）和深度神经网络（Deep网络）组成，对于推荐系统来说，Wide线性模型可以通过交叉特征转换来记忆稀疏特征之间的交互，Deep神经网络可以通过低维嵌入来泛化未出现的特征交互。与单一的线性模型（Wide-only）和深度模型（Deep-only）相比，Wide&Deep可以显著提高CTR预估的效果，从而提高APP的下载量。 -

概述

+## 概述 - 参考论文： https://arxiv.org/abs/1606.07792 @@ -83,7 +83,7 @@ session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -92,7 +92,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ### 数据集准备 @@ -117,7 +117,7 @@ pip3 install requirements.txt bash train_performance_1p.sh --data_path=/data (功能和性能) bash train_full_1p.sh --data_path=/data （全量） ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow/contrib/cv/psenet/PSENet_ID0239_for_TensorFlow/README.md b/TensorFlow/contrib/cv/psenet/PSENet_ID0239_for_TensorFlow/README.md index 2353f5428..115efebb2 100644 --- a/TensorFlow/contrib/cv/psenet/PSENet_ID0239_for_TensorFlow/README.md +++ b/TensorFlow/contrib/cv/psenet/PSENet_ID0239_for_TensorFlow/README.md @@ -113,7 +113,7 @@ PSENet_ID0359_for_Tensorflow是一种基于语义分割的文字框检测模型 opt = NPULossScaleOptimizer(opt, loss_scale_manager, is_distributed=False) -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -142,7 +142,7 @@ PSENet_ID0359_for_Tensorflow是一种基于语义分割的文字框检测模型 -

快速上手

+## 快速上手 - 数据集准备 @@ -181,7 +181,7 @@ PSENet_ID0359_for_Tensorflow是一种基于语义分割的文字框检测模型 bash train_full_1p.sh --data_path=/npu/traindata/icdar2013_2015 ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/cv/image_classification/MNIST_ID2481_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_classification/MNIST_ID2481_for_TensorFlow2.X/README.md index 356632812..f0d010dc0 100644 --- a/TensorFlow2/built-in/cv/image_classification/MNIST_ID2481_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_classification/MNIST_ID2481_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：使用CNN实现的手写数字识别网络** -

概述

+## 概述 使用传统的CNN结构实现的手写数字识别网络。 @@ -80,7 +80,7 @@ ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -90,7 +90,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -127,7 +127,7 @@ pip3 install requirements.txt bash train_full_1p.sh --data_path=/dataset/ -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -142,7 +142,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/cv/image_classification/ResNet50_ID0360_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_classification/ResNet50_ID0360_for_TensorFlow2.X/README.md index b7bd84e3c..6c4b32183 100644 --- a/TensorFlow2/built-in/cv/image_classification/ResNet50_ID0360_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_classification/ResNet50_ID0360_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的ResNet50分类检测网络训练代码** -

概述

+## 概述 ## 简述 @@ -122,7 +122,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -151,7 +151,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode -

快速上手

+## 快速上手 ## 数据集准备 @@ -244,7 +244,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode -

高级参考

+## 高级参考 - 脚本和示例代码 ``` diff --git a/TensorFlow2/built-in/cv/image_classification/ResNext50_ID0362_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_classification/ResNext50_ID0362_for_TensorFlow2.X/README.md index c8e8c0fb1..336a20a68 100644 --- a/TensorFlow2/built-in/cv/image_classification/ResNext50_ID0362_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_classification/ResNext50_ID0362_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** **应用领域（Application Domain）：Image Classification ** @@ -27,7 +27,7 @@ **描述（Description）：基于TensorFlow2框架的MobileNetV3和ResNext50网络训练代码** -

概述

+## 概述 - mobilenet-v3是Google继mobilenet-v2之后的又一力作，作为mobilenet系列的新成员，自然效果会提升，mobilenet-v3提供了两个版本，分别为mobilenet-v3 large 以及mobilenet-v3 small，分别适用于对资源不同要求的情况。MobileNetV3和ResNext50共用的一个框架。 - 参考论文： @@ -95,7 +95,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -123,7 +123,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode -

快速上手

+## 快速上手 ## 数据集准备 1. 模型使用VOC2007数据集； @@ -160,7 +160,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

高级参考

+## 高级参考 ## 脚本和示例代码 ├── README.md //说明文档 diff --git a/TensorFlow2/built-in/cv/image_classification/cutmix_ID2502_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_classification/cutmix_ID2502_for_TensorFlow2.X/README.md index 31ee85b72..e71c8240d 100644 --- a/TensorFlow2/built-in/cv/image_classification/cutmix_ID2502_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_classification/cutmix_ID2502_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：使用CutMix进行数据增强，用于CIFAR-10上的图像分类** -

概述

+## 概述 CutMix是一种数据增强技术，可解决区域辍学策略中存在的信息丢失和效率低下的问题。您无需移除像素并用黑色或灰色像素或高斯噪声填充它们， 而是将移除的区域替换为来自另一个图像的补丁，而地面实况标签与组合图像的像素数成比例混合。 @@ -81,7 +81,7 @@ npu_device.open().as_default()) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -91,7 +91,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -140,7 +140,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -155,7 +155,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/cv/image_classification/pointnet_ID2531_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_classification/pointnet_ID2531_for_TensorFlow2.X/README.md index b7f0a6b63..01e17c7d0 100644 --- a/TensorFlow2/built-in/cv/image_classification/pointnet_ID2531_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_classification/pointnet_ID2531_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：用于分类的点云系列的深度学习网络** -

概述

+## 概述 点云是一种很重要的几何数据结构，因为它不规则的形式，很多研究都是将它转换成规则的3D体素或者collections,这样的话就会造成大量不必要的数据也会产生一些相应的问题。 点云最接近原始传感数据，它是坐标的，所以它可以轻易地转换成其他三种数据格式(mesh,体素，深度图)，也可以由其他格式轻易地转成点云 @@ -92,7 +92,7 @@ ############维测参数############## ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -102,7 +102,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -149,7 +149,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -164,7 +164,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/cv/image_segmentation/pointnet_segmentation_ID2532_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/cv/image_segmentation/pointnet_segmentation_ID2532_for_TensorFlow2.X/README.md index b16a8b6dd..678bd4615 100644 --- a/TensorFlow2/built-in/cv/image_segmentation/pointnet_segmentation_ID2532_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/cv/image_segmentation/pointnet_segmentation_ID2532_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：用于分割的点云系列的深度学习网络** -

概述

+## 概述 点云是一种很重要的几何数据结构，因为它不规则的形式，很多研究都是将它转换成规则的3D体素或者collections,这样的话就会造成大量不必要的数据也会产生一些相应的问题。 点云最接近原始传感数据，它是坐标的，所以它可以轻易地转换成其他三种数据格式(mesh,体素，深度图)，也可以由其他格式轻易地转成点云 @@ -96,7 +96,7 @@ ############维测参数############## ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -106,7 +106,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -150,7 +150,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -165,7 +165,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/nlp/BERT_ID2478_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/BERT_ID2478_for_TensorFlow2.X/README.md index f2f7ea6e4..0a236d755 100644 --- a/TensorFlow2/built-in/nlp/BERT_ID2478_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/BERT_ID2478_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BertLarge自然语言处理网络训练代码** -

概述

+## 概述 ## 简述 @@ -110,7 +110,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -119,7 +119,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -209,7 +209,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/nlp/BertLarge_ID0634_for_TensorFlow2.X/ReadMe.md b/TensorFlow2/built-in/nlp/BertLarge_ID0634_for_TensorFlow2.X/ReadMe.md index b9000ac78..12559b015 100644 --- a/TensorFlow2/built-in/nlp/BertLarge_ID0634_for_TensorFlow2.X/ReadMe.md +++ b/TensorFlow2/built-in/nlp/BertLarge_ID0634_for_TensorFlow2.X/ReadMe.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BertLarge自然语言处理网络训练代码** -

概述

+## 概述 ## 简述 @@ -109,7 +109,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -139,7 +139,7 @@ npu_device.global_options().precision_mode=FLAGS.precision_mode -

快速上手

+## 快速上手 ## 数据集准备 @@ -261,7 +261,7 @@ python3 pack_pretraining_data.py --input-glob="path/to/store/binery/files" --out 4.1 含pack策略的训练脚本（./test/目录下名字带有"_packed"的脚本即为相应包含pack策略的训练脚本） 使用pack策略进行训练时，需使用pack过后的数据集（train、eval）及对应的预训练模型。若无对应tensorflow-v2版本packed预训练模型，可由tensorflow-v1版本进行转换得来。模型转换相关脚本为bert/tf2_encoder_checkpoint_converter.py，详见：脚本和事例代码 - 模型转换脚本 -

高级参考

+## 高级参考 ## 脚本和事例代码 diff --git a/TensorFlow2/built-in/nlp/Roberta_Series_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/Roberta_Series_for_TensorFlow2.X/README.md index f22e4101f..7211ea454 100644 --- a/TensorFlow2/built-in/nlp/Roberta_Series_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/Roberta_Series_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的Roberta_ZH预训练及微调代码** -

概述

+## 概述 ## 简述 @@ -113,7 +113,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -122,7 +122,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -219,7 +219,7 @@ chinese_roberta_wwm_large_ext_L-24_H-1024_A-16 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md index 3b55ef340..96133ae71 100644 --- a/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的Word2vec模型训练代码** -

概述

+## 概述 ## 简述 @@ -118,7 +118,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -127,7 +127,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -172,7 +172,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/nlp/albert-FineTune_Series_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/albert-FineTune_Series_for_TensorFlow2.X/README.md index 02ba21e41..c6c895dc1 100644 --- a/TensorFlow2/built-in/nlp/albert-FineTune_Series_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/albert-FineTune_Series_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的AlBert微调代码** -

概述

+## 概述 ## 简述 @@ -148,7 +148,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -159,7 +159,7 @@ pip3 install requirements.txt -

快速上手

+## 快速上手 ## 数据集准备 @@ -260,7 +260,7 @@ albert_data -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/nlp/bert-squad_ID1566_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/bert-squad_ID1566_for_TensorFlow2.X/README.md index 90819ebc4..0995d195b 100644 --- a/TensorFlow2/built-in/nlp/bert-squad_ID1566_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/bert-squad_ID1566_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的BertLarge自然语言处理网络训练代码** -

概述

+## 概述 ## 简述 @@ -107,7 +107,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -116,7 +116,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -168,7 +168,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/AttRec_ID2630_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/AttRec_ID2630_for_TensorFlow2.X/README.md index 57f0a6a61..e2954e6aa 100644 --- a/TensorFlow2/built-in/recommendation/AttRec_ID2630_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/AttRec_ID2630_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的长短期用户兴趣表示训练代码** -

概述

+## 概述 ## 简述 @@ -115,7 +115,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -124,7 +124,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -162,7 +162,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/DIN_ID2641_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/DIN_ID2641_for_TensorFlow2.X/README.md index 7c5c3c657..87d791876 100644 --- a/TensorFlow2/built-in/recommendation/DIN_ID2641_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/DIN_ID2641_for_TensorFlow2.X/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：基于TensorFlow框架的推荐网络训练代码** -

概述

+## 概述 - 开源项目Recommender System with TF2.0主要是对经典的推荐算法论文进行复现，包括Matching（召回）（MF、BPR、SASRec等）、Ranking（排序）（DeepFM、DCN等）。 @@ -89,7 +89,7 @@ config_proto = tf.ConfigProto(allow_soft_placement=True) session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -99,7 +99,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -140,7 +140,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -151,7 +151,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md index 6635e5ed1..33f2e2d40 100644 --- a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的推荐网络训练代码** -

概述

+## 概述 ## 简述 @@ -108,7 +108,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -117,7 +117,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -165,7 +165,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/FFM_ID2632_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/FFM_ID2632_for_TensorFlow2.X/README.md index bf512c684..c5310a516 100644 --- a/TensorFlow2/built-in/recommendation/FFM_ID2632_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/FFM_ID2632_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的用于 CTR 预测的场感知分解机（FFMs）训练代码** -

概述

+## 概述 ## 简述 @@ -113,7 +113,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -122,7 +122,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -159,7 +159,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/FM_ID2631_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/FM_ID2631_for_TensorFlow2.X/README.md index 49db8079f..7bbb36176 100644 --- a/TensorFlow2/built-in/recommendation/FM_ID2631_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/FM_ID2631_for_TensorFlow2.X/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -30,7 +30,7 @@ **描述（Description）：基于TensorFlow2.X框架的推荐算法CTR预估模型的训练代码** -

概述

+## 概述 ## 简述 @@ -106,7 +106,7 @@ session_config = npu_config_proto(config_proto=config_proto) ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -116,7 +116,7 @@ pip3 install requirements.txt 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -165,7 +165,7 @@ pip3 install requirements.txt ``` -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -176,7 +176,7 @@ pip3 install requirements.txt 请参考“快速上手”章节 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/MF_ID2624_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/MF_ID2624_for_TensorFlow2.X/README.md index c48829147..1bed8e97a 100644 --- a/TensorFlow2/built-in/recommendation/MF_ID2624_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/MF_ID2624_for_TensorFlow2.X/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -29,7 +29,7 @@ **描述（Description）：使用矩阵分解模型（matrix factorization）的推荐系统** -

概述

+## 概述 矩阵分解用于实现隐含语义模型，它一方面既能减少运算量，另一方面也可以很好的解决由于用户数目或者物品数目过多引起的矩阵稀疏化问题。 @@ -82,7 +82,7 @@ ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -91,7 +91,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -126,7 +126,7 @@ pip3 install requirements.txt bash train_full_1p.sh --data_path=/ml-1m/ -

迁移学习指导

+## 迁移学习指导 - 数据集准备。 @@ -141,7 +141,7 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/STAMP_ID2628_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/STAMP_ID2628_for_TensorFlow2.X/README.md index 21d35f67a..67004ec59 100644 --- a/TensorFlow2/built-in/recommendation/STAMP_ID2628_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/STAMP_ID2628_for_TensorFlow2.X/README.md @@ -5,7 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -30,7 +30,7 @@ **描述（Description）：基于TensorFlow2.X框架的推荐网络训练代码** -

概述

+## 概述 ## 简述 @@ -113,7 +113,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -124,7 +124,7 @@ pip3 install requirements.txt -

快速上手

+## 快速上手 ## 数据集准备 @@ -179,7 +179,7 @@ pip3 install requirements.txt -

迁移学习指导

+## 迁移学习指导 1. 数据集准备。 @@ -199,7 +199,7 @@ pip3 install requirements.txt 4. 模型评估。（根据实际情况）_可以参考“模型训练”中训练步骤。_ -

高级参考

+## 高级参考 ## 脚本和示例代码 diff --git a/TensorFlow2/built-in/recommendation/WDL_ID2633_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/WDL_ID2633_for_TensorFlow2.X/README.md index da31f4ae5..079fd43d6 100644 --- a/TensorFlow2/built-in/recommendation/WDL_ID2633_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/WDL_ID2633_for_TensorFlow2.X/README.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -

基本信息

+## 基本信息 **发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的Wide&Deep模型训练代码** -

概述

+## 概述 ## 简述 @@ -113,7 +113,7 @@ flags.DEFINE_string(name='precision_mode', default= 'allow_fp32_to_fp16', npu_device.global_options().precision_mode=FLAGS.precision_mode ``` -

训练环境准备

+## 训练环境准备 - 硬件环境和运行环境准备请参见《[CANN软件安装指南](https://support.huawei.com/enterprise/zh/ascend-computing/cann-pid-251168373?category=installation-update)》 - 运行以下命令安装依赖。 @@ -122,7 +122,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -

快速上手

+## 快速上手 ## 数据集准备 @@ -159,7 +159,7 @@ pip3 install requirements.txt -

高级参考

+## 高级参考 ## 脚本和示例代码 -- Gitee From 0dd2546b5f3a762f119a5cddc2a0d12c15e6e72a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:31:27 +0000 Subject: [PATCH 02/50] add TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README1.md | 273 ++++++++++++++++++ 1 file changed, 273 insertions(+) create mode 100644 TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md new file mode 100644 index 000000000..7dfcdd1c8 --- /dev/null +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -0,0 +1,273 @@ +- [基本信息](#基本信息.md) +- [概述](#概述.md) +- [训练环境准备](#训练环境准备.md) +- [快速上手](#快速上手.md) +- [迁移学习指导](#迁移学习指导.md) +- [高级参考](#高级参考.md) +## 基本信息 + +**发布者（Publisher）：Huawei** + +**应用领域（Application Domain）：** Image Classification + +**版本（Version）：1.1** + +**修改时间（Modified） ：2021.7.20** + +**大小（Size）：275M** + +**框架（Framework）：TensorFlow 1.15.0** + +**模型格式（Model Format）：ckpt** + +**精度（Precision）：Mixed** + +**处理器（Processor）：昇腾910** + +**应用级别（Categories）：Official** + +**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** + +## 概述 + +DenseNet-161是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。DenseNet能有效缓解梯度消失，促进特征传递和复用。 + +- 参考论文： + + [Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger. “Densely Connected Convolutional Networks.” arXiv:1608.06993](https://arxiv.org/pdf/1608.06993.pdf) + +- 参考实现： + + https://github.com/pudae/Tensorflow-densenet + +- 适配昇腾 AI 处理器的实现： + + https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow + +- 通过Git获取对应commit\_id的代码方法如下： + + ``` + git clone {repository_url} # 克隆仓库的代码 + cd {repository_name} # 切换到模型的代码仓目录 + git checkout {branch} # 切换到对应分支 + git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id + cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 + ``` + +## 默认配置 + +- 训练数据集预处理 + 请参考"概述"->"参考实现"。 + +- 训练超参 + + - Batch size: 32 + - Momentum: 0.9 + - LR scheduler: cosine + - Learning rate(LR): 0.05 + - Optimizer: MomentumOptimizer + - Weight decay: 0.0001 + - Label smoothing: 0.1 + - Train epoch: 150 + + +## 支持特性 + +| 特性列表 | 是否支持 | +|-------|------| +| 分布式训练 | 是 | +| 混合精度 | 是 | +| 并行数据 | 是 | + +## 混合精度训练 + +昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 + +## 开启混合精度 + +脚本已默认开启混合精度，设置precision_mode参数的脚本参考如下。 + + ``` + run_config = NPURunConfig( + model_dir=flags_obj.model_dir, + session_config=session_config, + keep_checkpoint_max=5, + save_checkpoints_steps=5000, + enable_data_pre_proc=True, + iterations_per_loop=iterations_per_loop, + log_step_count_steps=iterations_per_loop, + precision_mode='allow_mix_precision', + hcom_parallel=True + ) + ``` + + +## 训练环境准备 + +1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 +2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 + + 当前模型支持的镜像列表如[表1](#zh-cn_topic_0000001074498056_table1519011227314)所示。 + + **表 1** 镜像列表 + + + + + + + + + + + + +

镜像名称

+

镜像版本

+

配套CANN版本

+
+

21.0.1

+

20.2

+
+ + +## 快速上手 + +- 数据集准备 +1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 + +2. 数据集训练前需要做预处理操作，请用户参考[Tensorflow-Slim](https://github.com/tensorflow/models/tree/master/research/slim),将数据集封装为tfrecord格式。 + +3. 数据集处理后，放入模型目录下，在训练脚本中指定数据集路径，可正常使用。 + + +## 模型训练 + +- 单击“立即下载”，并选择合适的下载方式下载源码包。 + +- 启动训练之前，首先要配置程序运行相关环境变量。 + + 环境变量配置信息参见： + + [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) + +- 单卡训练 + + 1. 配置训练参数。 + + 首先在脚本test/train_performance_1p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： + + ``` + --data_dir=/npu/traindata/imagemat_TF + ``` + + 2. 启动训练。 + + 启动单卡性能训练 （脚本为DenseNet121_for_TensorFlow/test/train_performance_1p.sh） + + ``` + bash train_performance_1p.sh + ``` + + 启动单卡精度训练 （脚本为DenseNet121_for_TensorFlow/test/train_full_1p.sh） + + ``` + bash train_full_1p.sh + ``` +- 8卡训练 + + 1. 配置训练参数。 + + 首先在脚本test/train_full_8p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： + + ``` + --data_dir=/npu/traindata/imagemat_TF + ``` + + 2. 启动训练。 + + 启动8卡性能训练 （脚本为DenseNet121_for_TensorFlow/test/train_performance_8p.sh） + + ``` + bash train_performance_8p.sh + ``` + + 启动8卡精度训练 （脚本为DenseNet121_for_TensorFlow/test/train_full_8p.sh） + + ``` + bash train_full_8p.sh + ``` + + + +## 高级参考 + +## 脚本和示例代码 + +``` +├── train.py //网络训练与测试代码 +├── README.md //代码说明文档 +├── densenet +│ ├──densenet.py //网络构建 +│ ├──create_session.py //sess参数配置 +│ ├──data_loader.py //数据加载 +│ ├──layers.py //计算accuracy +│ ├──logger.py //打印logging信息 +│ ├──model.py //model estimator +│ ├──train_helper.py //ckpt排序 +│ ├──hyper_param.py //配置学习率策略 +│ ├──trainer.py //训练器配置 +│ ├──preprocessing.py //数据预处理 +├── test +│ ├──train_performance_1p.sh //单卡性能脚本 +│ ├──train_performance_8p.sh //8卡性能脚本 +│ ├──train_full_1p.sh //单卡精度脚本 +│ ├──train_full_8p.sh //8卡精度脚本 +│ ├──env.sh //环境配置 +``` + +## 脚本参数 + +``` +--rank_size 使用NPU卡数量，默认：1 +--mode 运行模式，默认train_and_evaluate；可选：train，evaluate，参见本小结说明 +--max_train_steps 训练迭代次数，默认：100 +--iterations_per_loop NPU运行时，device端下沉次数，默认：10 +--max_epochs 训练epoch次数，推荐配合train_and_evaluate模式使用，默认：None +--epochs_between_evals train_and_evaluate模式时训练和推理的间隔，默认：5 +--data_dir 数据集路径，默认：path/data +--eval_dir 推理时checkpoint文件所在路径，默认：path/eval +--dtype 网络输入数据类型，默认：tf.float32 +--use_nesterov 是否使用Nesterov，默认：True +--label_smoothing label smooth系数，默认：0.1 +--weight_decay 权重衰减，默认：0.0001 +--batch_size 每个NPU的batch size，默认：32 +--lr 初始学习率，默认：0.01 +--T_max cosine_annealing学习率策略中的T_max值，默认：150 +--momentum 动量，默认：0.9 +--display_every 打屏间隔，默认：1 +--log_name log文件名，默认：densenet161.log +--log_dir ckpt文件存放路径，默认：./model_1p +--restore_path 预训练模型的路径 +--restore_exclude 不加载预训练网络中FC层权重 +--num_classes 数据集中的类别数量 +``` + +说明：当前8卡默认模式为train_and_evaluate，每训练epochs_between_evals（5）个epoch测试1次，共训练max_epochs（150）个epoch；可选模式：train，训练max_train_steps次；evaluate模式，对eval_dir目录下的ckpt进行测试。 + +## 训练过程 + +1. 通过“模型训练”中的训练指令启动性能或者精度训练。单卡和多卡通过运行不同脚本，支持单卡、8卡网络训练。 + +2. 参考脚本的模型存储路径为model_1p或者model_8p_*/. + +## 推理/验证过程 + +1. 通过“模型训练”中的测试指令启动测试。 + +2. 当前只能针对该工程训练出的checkpoint进行推理测试。 + +3. 推理脚本的参数eval_dir可以配置为checkpoint所在的文件夹路径，则该路径下所有.ckpt文件都会根据进行推理。 + +4. 测试结束后会打印验证集的top1 accuracy和top5 accuracy，打印在train_*.log中 + -- Gitee From 97d3024a32330239e370991ca2aab241d49fd9aa Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:33:51 +0000 Subject: [PATCH 03/50] update TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md index 33f2e2d40..a15075a7a 100644 --- a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md @@ -30,7 +30,6 @@ ## 概述 -## 简述 DeepCTR 是一个**易于使用**、**模块化**和**可扩展**的基于深度学习的 CTR 模型包以及许多可用于轻松构建自定义模型的核心组件层，在该网络中我们定义了FwFM,MMoE,DeepFM,FLEN四个模型。 @@ -117,7 +116,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -## 快速上手 +## 快速 ## 数据集准备 -- Gitee From 897eed163cf719b7848b00ddd087f45f420f70f0 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:34:30 +0000 Subject: [PATCH 04/50] update TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md index a15075a7a..63e9582c9 100644 --- a/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/recommendation/DeepCTR_Series_for_TensorFlow2.X/README.md @@ -116,7 +116,7 @@ pip3 install requirements.txt ``` 说明：依赖配置文件requirements.txt文件位于模型的根目录 -## 快速 +## 快速上手 ## 数据集准备 -- Gitee From 6a2880f926773a7e6f001c690914fcfedd6e0ca3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:35:09 +0000 Subject: [PATCH 05/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README1.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index 7dfcdd1c8..1661d0fe5 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -131,7 +131,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -## 快速上手 +## 快速 - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 -- Gitee From 400cac31bb6e21863301ba2d8f9c1fe0ad816550 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:35:49 +0000 Subject: [PATCH 06/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README1.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index 1661d0fe5..e4c8232a2 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -4,7 +4,7 @@ - [快速上手](#快速上手.md) - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md) -## 基本信息 +

基本信息

**发布者（Publisher）：Huawei** @@ -28,7 +28,7 @@ **描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** -## 概述 +

概述

DenseNet-161是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。DenseNet能有效缓解梯度消失，促进特征传递和复用。 @@ -102,7 +102,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 ``` -## 训练环境准备 +

训练环境准备

1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -131,7 +131,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -## 快速 +

快速上手

- 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +200,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -## 高级参考 +

高级参考

## 脚本和示例代码 -- Gitee From 3e52a39ef7cd16b862788652815b5bda13f57fa3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:39:15 +0000 Subject: [PATCH 07/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README1.md | 20 ++----------------- 1 file changed, 2 insertions(+), 18 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index e4c8232a2..d64d68e55 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -111,24 +111,8 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 **表 1** 镜像列表 - - - - - - - - - - - -

镜像名称

-

镜像版本

-

配套CANN版本

-
-

21.0.1

-

20.2

-
+ +

快速上手

-- Gitee From 7d35a4702beaa5f4d86f12d5adfe077b11d472cc Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:41:52 +0000 Subject: [PATCH 08/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README1.md | 20 +++++++++++++++++-- 1 file changed, 18 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index d64d68e55..e4c8232a2 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -111,8 +111,24 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 **表 1** 镜像列表 - - + + + + + + + + + + + +

镜像名称

+

镜像版本

+

配套CANN版本

+
+

21.0.1

+

20.2

+

快速上手

-- Gitee From a3c88919d8fc6d6697dec55632f180c56e92106c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:43:01 +0000 Subject: [PATCH 09/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README1.md | 20 ++++--------------- 1 file changed, 4 insertions(+), 16 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index e4c8232a2..5e6dcacc9 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -1,10 +1,3 @@ -- [基本信息](#基本信息.md) -- [概述](#概述.md) -- [训练环境准备](#训练环境准备.md) -- [快速上手](#快速上手.md) -- [迁移学习指导](#迁移学习指导.md) -- [高级参考](#高级参考.md) -

基本信息

**发布者（Publisher）：Huawei** @@ -28,7 +21,7 @@ **描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** -

概述

+ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。DenseNet能有效缓解梯度消失，促进特征传递和复用。 @@ -54,7 +47,6 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 ``` -## 默认配置 - 训练数据集预处理 请参考"概述"->"参考实现"。 @@ -71,19 +63,16 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 - Train epoch: 150 -## 支持特性 - | 特性列表 | 是否支持 | |-------|------| | 分布式训练 | 是 | | 混合精度 | 是 | | 并行数据 | 是 | -## 混合精度训练 昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 -## 开启混合精度 + 脚本已默认开启混合精度，设置precision_mode参数的脚本参考如下。 @@ -102,7 +91,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 ``` -

训练环境准备

+ 1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 @@ -131,7 +120,7 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -

快速上手

+ - 数据集准备 1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 @@ -200,7 +189,6 @@ DenseNet-161是一个经典的图像分类网络，主要特点是采用各层 -

高级参考

## 脚本和示例代码 -- Gitee From 6d98cf9a7f9b13fc649fbdaa50d8611cc1cb3855 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:43:32 +0000 Subject: [PATCH 10/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README1.md | 24 ------------------- 1 file changed, 24 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md index 5e6dcacc9..86a2354de 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README1.md @@ -1,28 +1,4 @@ -**发布者（Publisher）：Huawei** - -**应用领域（Application Domain）：** Image Classification - -**版本（Version）：1.1** - -**修改时间（Modified） ：2021.7.20** - -**大小（Size）：275M** - -**框架（Framework）：TensorFlow 1.15.0** - -**模型格式（Model Format）：ckpt** - -**精度（Precision）：Mixed** - -**处理器（Processor）：昇腾910** - -**应用级别（Categories）：Official** - -**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** - - - DenseNet-161是一个经典的图像分类网络，主要特点是采用各层两两相互连接的Dense Block结构。DenseNet能有效缓解梯度消失，促进特征传递和复用。 - 参考论文： -- Gitee From ade6ea3e2c07c25b4dedae4576e66b527ea672ef Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:45:58 +0000 Subject: [PATCH 11/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index a531d057c..8e9d6901d 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -8,7 +8,7 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** Image Classification +**应用领域（Application Domain）：Image Classification** **版本（Version）：1.1** -- Gitee From 2f9ff9b4962a5bf53a3fb3f0afc70cbbbcd9e10e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:46:24 +0000 Subject: [PATCH 12/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 8e9d6901d..1970fef21 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -8,7 +8,7 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：Image Classification** +**应用领域（Application Domain）：** **版本（Version）：1.1** -- Gitee From d5f68ca26fae1bde5e4e653175eb5d6c26008e1c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:51:02 +0000 Subject: [PATCH 13/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 1970fef21..8e9d6901d 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -8,7 +8,7 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** +**应用领域（Application Domain）：Image Classification** **版本（Version）：1.1** -- Gitee From 5a3b3a11ad5b613c67a519905d797635ef034245 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:51:34 +0000 Subject: [PATCH 14/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 8e9d6901d..eef1b95d2 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** +**描述（Description）：** ## 概述 -- Gitee From bcffd88dc25dca016675e38b94046ff3a2de0064 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:52:25 +0000 Subject: [PATCH 15/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index eef1b95d2..8e9d6901d 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：** +**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** ## 概述 -- Gitee From 5e6f31cc701de607a4690b9851b1a8204e211ba3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:53:03 +0000 Subject: [PATCH 16/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 8e9d6901d..cf3476c55 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** +**描述（Description）：基于TensorFlow框架的图像分类网络训练代码** ## 概述 -- Gitee From e4643df81408ac73808ac8d277cd5bb775611290 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:53:43 +0000 Subject: [PATCH 17/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index cf3476c55..263dcc8c4 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的图像分类网络训练代码** +**描述（Description）：基于TensorFlow框架的DenseNet161图像分类网络训练代码** ## 概述 -- Gitee From 37a2edc68e3e8b69d8ac9657f4a7684c0330a2cc Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:54:10 +0000 Subject: [PATCH 18/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 263dcc8c4..c9dd9a6ad 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的DenseNet161图像分类网络训练代码** +**描述（Description）：基于TensorFlow框架的DenseNet图像分类网络训练代码** ## 概述 -- Gitee From a1654aebdf4ee4da9d651902d2594f06d6cec88d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:55:00 +0000 Subject: [PATCH 19/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index c9dd9a6ad..e8bf2a36d 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的DenseNet图像分类网络训练代码** +**描述（Description）：DenseNet-161图像分类网络训练代码** ## 概述 -- Gitee From 57cebc3d36ddb15d54677ae7ec5b5193db873d42 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:55:41 +0000 Subject: [PATCH 20/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index e8bf2a36d..beb4b4de4 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：DenseNet-161图像分类网络训练代码** +**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络** ## 概述 -- Gitee From f4712a74aa2fbbf5fb4b06f30b4e265403239a83 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:56:05 +0000 Subject: [PATCH 21/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index beb4b4de4..eef1b95d2 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -26,7 +26,7 @@ **应用级别（Categories）：Official** -**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络** +**描述（Description）：** ## 概述 -- Gitee From 51d6e3a8305b8f465a349b504f86a74ef7a7bfcf Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 06:58:18 +0000 Subject: [PATCH 22/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../README.md | 20 ------------------- 1 file changed, 20 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index eef1b95d2..7b348f3ec 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -6,27 +6,7 @@ - [高级参考](#高级参考.md) ## 基本信息 -**发布者（Publisher）：Huawei** -**应用领域（Application Domain）：Image Classification** - -**版本（Version）：1.1** - -**修改时间（Modified） ：2021.7.20** - -**大小（Size）：275M** - -**框架（Framework）：TensorFlow 1.15.0** - -**模型格式（Model Format）：ckpt** - -**精度（Precision）：Mixed** - -**处理器（Processor）：昇腾910** - -**应用级别（Categories）：Official** - -**描述（Description）：** ## 概述 -- Gitee From 92962edb0b3bb3249ce13ef706eaf8e9e8290e8b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:00:14 +0000 Subject: [PATCH 23/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 7b348f3ec..0f89d43b5 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -6,6 +6,18 @@ - [高级参考](#高级参考.md) ## 基本信息 +**发布者（Publisher）：Huawei** + +**应用领域（Application Domain）：Image Classification** + +**版本（Version）：1.1** + +**修改时间（Modified） ：2021.7.20** + +**大小（Size）：275M** + +**框架（Framework）：TensorFlow 1.15.0** + ## 概述 -- Gitee From 4b9bcdc3176d8c8a2c791517cf9b3ea0a0c561e5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:01:46 +0000 Subject: [PATCH 24/50] update TensorFlow/built-in/cv/image_classification/AlexNet_ID0259_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../image_classification/AlexNet_ID0259_for_TensorFlow/README.md | 1 + 1 file changed, 1 insertion(+) diff --git a/TensorFlow/built-in/cv/image_classification/AlexNet_ID0259_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/AlexNet_ID0259_for_TensorFlow/README.md index 65cbc890d..083fbad5e 100644 --- a/TensorFlow/built-in/cv/image_classification/AlexNet_ID0259_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/AlexNet_ID0259_for_TensorFlow/README.md @@ -5,6 +5,7 @@ - [迁移学习指导](#迁移学习指导.md) - [高级参考](#高级参考.md)

基本信息

+ **发布者（Publisher）：Huawei** **应用领域（Application Domain）：Image Classification** -- Gitee From 8a420416a79a5f77a4e7692cfd3d0f6579fa2bc8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:02:42 +0000 Subject: [PATCH 25/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 10 +++++++--- 1 file changed, 7 insertions(+), 3 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 0f89d43b5..d9b1c9457 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -12,13 +12,17 @@ **版本（Version）：1.1** -**修改时间（Modified） ：2021.7.20** -**大小（Size）：275M** -**框架（Framework）：TensorFlow 1.15.0** +**模型格式（Model Format）：ckpt** +**精度（Precision）：Mixed** +**处理器（Processor）：昇腾910** + +**应用级别（Categories）：Official** + +**描述（Description）：基于TensorFlow框架的DenseNet-161图像分类网络训练代码** ## 概述 -- Gitee From f21418affc6b306a634e3ca1dcba30b90434c5df Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:03:30 +0000 Subject: [PATCH 26/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index d9b1c9457..ec4cd9174 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -12,7 +12,11 @@ **版本（Version）：1.1** +**修改时间（Modified） ：2021.7.20** +**大小（Size）：275MB** + +**框架（Framework）：TensorFlow 1.15.0** **模型格式（Model Format）：ckpt** -- Gitee From 9a0a6a7a9677b378aa11e951d898eca1739e8109 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:03:52 +0000 Subject: [PATCH 27/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index ec4cd9174..1e5e5dab7 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -**大小（Size）：275MB** + **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 56bd4ba60f8c066f6278bf17f8eb4e4fd83c35e5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:04:48 +0000 Subject: [PATCH 28/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 1e5e5dab7..f21dfc1c7 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** - +** 大小（Size）：275MB** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 522024328b6eb0aa7fc47d6cbad00a3e501da33e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:06:09 +0000 Subject: [PATCH 29/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index f21dfc1c7..996a7adbe 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -** 大小（Size）：275MB** +** 大小（Size）：275000KB** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 7f0149664a977fe4ff61ecd611c0d3284c1faaa3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:06:44 +0000 Subject: [PATCH 30/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 996a7adbe..070eaaaee 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -** 大小（Size）：275000KB** +**大小（Size）：275MB ** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 0ff3fae95f2202e5f6c885a25e8762c9c537f16a Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:07:00 +0000 Subject: [PATCH 31/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 070eaaaee..1e5e5dab7 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -**大小（Size）：275MB ** + **框架（Framework）：TensorFlow 1.15.0** -- Gitee From c47f687f9f993228833e1d6bfe70e57c9962c466 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:11:41 +0000 Subject: [PATCH 32/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 1e5e5dab7..8e9d6901d 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** - +**大小（Size）：275M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 79e2cfa4ce8c622e0f28d9295dd0ecdf7ddba206 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:13:32 +0000 Subject: [PATCH 33/50] update TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../DenseNet161_ID1579_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md index 8e9d6901d..af26e09ce 100644 --- a/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/DenseNet161_ID1579_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -**大小（Size）：275M** +**模型大小（Size）：275M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From ac461cc9a7277d6e2717de99c1d4791260805c73 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:18:21 +0000 Subject: [PATCH 34/50] update TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md index 52e0b9d81..14d30d080 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.11.10** -**大小（Size）：1.3G** +**大小（Size）：1.3GB** **框架（Framework）：TensorFlow_1.15.0** -- Gitee From 6c4bced032aeece64d976d2d652cb941aad1a87e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:18:48 +0000 Subject: [PATCH 35/50] update TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md index 14d30d080..2b1677958 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.11.10** -**大小（Size）：1.3GB** +**模型大小（Size）：1.3GB** **框架（Framework）：TensorFlow_1.15.0** -- Gitee From 5105e3cc607c0f177efd1aa3d30f4e1d00b5ad0b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:19:23 +0000 Subject: [PATCH 36/50] update TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md index 2b1677958..b6622095e 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.11.10** -**模型大小（Size）：1.3GB** + **框架（Framework）：TensorFlow_1.15.0** -- Gitee From bee0e2508251e4f2e9429aa1b453703f0df9d9ed Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:20:34 +0000 Subject: [PATCH 37/50] add TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../BioBERT_ID0280_for_TensorFlow/README1.md | 219 ++++++++++++++++++ 1 file changed, 219 insertions(+) create mode 100644 TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md new file mode 100644 index 000000000..3d14f5759 --- /dev/null +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md @@ -0,0 +1,219 @@ +- [基本信息](#基本信息.md) +- [概述](#概述.md) +- [训练环境准备](#训练环境准备.md) +- [快速上手](#快速上手.md) +- [迁移学习指导](#迁移学习指导.md) +- [高级参考](#高级参考.md) +## 基本信息 + + +## 概述 + + BioBERT（用于生物医学文本挖掘的双向编码器表示Transformers），这是一种在大型生物医学语料库上预先训练的领域特定语言表示模型。 + 通过在任务上几乎相同的体系结构，在经过生物医学语料库的预训练之后，BioBERT在许多生物医学文本挖掘任务中都大大优于BERT和以前的最新模型。 + 尽管BERT的性能可与以前的最新模型相媲美，但在以下三个代表性的生物医学文本挖掘任务上，BioBERT的性能明显优于它们：生物医学命名实体识别（F1分数提高0.62％）， + 生物医学关系提取（2.80％） F1分数提高）和生物医学问答（MRR提高12.24％）。 分析结果表明，对生物医学语料库进行BERT的预培训有助于其理解复杂的生物医学文献。 + +- 参考论文： + + https://arxiv.org/abs/1901.08746 + +- 参考实现： + + https://github.com/dmis-lab/biobert + +- 适配昇腾 AI 处理器的实现： + + https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow + +- 通过Git获取对应commit_id的代码方法如下: + + git clone {repository_url} # 克隆仓库的代码 + cd {repository_name} # 切换到模型的代码仓目录 + git checkout {branch} # 切换到对应分支 + git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id + cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 + +## 默认配置 + +- 网络结构 + + - BioBERT-Base v1.0 (+ PubMed 200K + PMC 270K) + +- 训练超参(单卡)： + + - train_batch_size: 32 + - max_seq_length: 128 + - learning_rate: 5e-5 + - train_epochs:10 + +## 支持特性 + +| 特性列表 | 是否支持 | +| ---------- | -------- | +| 分布式训练 | 否 | +| 混合精度 | 是 | +| 数据并行 | 否 | + + +## 混合精度训练 + + 混合精度训练昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 + +## 开启混合精度 + + session_config = tf.ConfigProto() + custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add() + custom_op.name = "NpuOptimizer" + custom_op.parameter_map["use_off_line"].b = True + custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") + session_config.graph_options.rewrite_options.remapping = RewriterConfig.OFF + session_config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF + run_config = tf.contrib.tpu.RunConfig( + session_config=session_config, + +## 训练环境准备 + +1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 +2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 + + 当前模型支持的镜像列表如[表1](#zh-cn_topic_0000001074498056_table1519011227314)所示。 + + **表 1** 镜像列表 + + + + + + + + + + + + +

镜像名称

+

镜像版本

+

配套CANN版本

+
+

21.0.2

+

5.0.2

+
+ + +## 快速上手 + +## 数据集准备 + +1. 用户需自行准备训练数据集，例如NCBI疾病语料,包含train_dev.tsv，train.tsv，devel.tsv和test.tsv。 +2. 用户需提前下载预训练模型，参考github源里提供的BioBERT-Basev1.0等模型下载方式 + +## 模型训练 + +- 单击“立即下载”，并选择合适的下载方式下载源码包。 +- 开始训练 + + 1. 启动训练之前，首先要配置程序运行相关环境变量。 + + 环境变量配置信息参见： + + [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) + + 2. 单卡训练 + + 2.1 配置train_full_1p.sh脚本中`data_path`（脚本路径BioBERT_ID0280_for_TensorFlow/test/train_full_1p.sh）,请用户根据实际路径配置，数据集和预训练模型参数如下所示： + + --vocab_file=$data_path/biobert_v1.1_pubmed/vocab.txt \ + --bert_config_file=$data_path/biobert_v1.1_pubmed/bert_config.json \ + --init_checkpoint=$data_path/biobert_v1.1_pubmed/model.ckpt-1000000 \ + --data_dir=$data_path/NER/NCBI-diseas + + 2.2 单p指令如下: + + bash train_full_1p.sh --data_path=./data + +- 验证。 + + 1. 执行训练时设置以下参数： + + ``` + --do_eval=true + + ``` + +## 迁移学习指导 + +- 数据集准备。 + + 1. 获取数据。 + 请参见“快速上手”中的数据集准备。 + +- 模型训练。 + + 参考“模型训练”中训练步骤。 + +- 模型评估。 + + 参考“模型训练”中验证步骤。 + +## 高级参考 + +## 脚本和示例代码 + +``` +. +BioBERT_ID0280_for_TensorFlow/ +├── biocodes +│   ├── conlleval.pl +│   ├── ner_detokenize.py +│   ├── re_eval.py +│   └── transform_nbset2bioasqform.py +├── test +│   ├── env.sh +│   ├── train_full_1p.sh // 训练脚本 +│   └── train_performance_1p.sh // 训练脚本 +├── create_pretraining_data.py +├── download.sh +├── extract_features.py +├── __init__.py +├── LICENSE +├── modeling.py +├── modeling_test.py +├── modelzoo_level.txt +├── optimization.py +├── optimization_test.py +├── README.md +├── requirements.txt +├── run_classifier.py +├── run_ner.py +├── run_pretraining.py +├── run_qa.py +├── run_re.py +├── sample_text.txt +├── tf_metrics.py +├── tokenization.py +└── tokenization_test.py + +``` + +## 脚本参数 + +``` +--data_path 训练数据集和预训练模型路径 +``` + +## 训练过程 + +1. 通过“模型训练”中的训练指令启动单卡训练。 +2. 将训练脚本（train_full_1p.sh）中的data_path设置为训练数据集和预训练模的路径。具体的流程参见“模型训练”的示例。 +3. 模型存储路径为“curpath/output/ASCEND_DEVICE_ID”，包括训练的log文件。 +4. 以单卡训练为例，loss信息在文件curpath/output/{ASCEND_DEVICE_ID}/train_${ASCEND_DEVICE_ID}.log中。 + +## 推理/验证过程 + +1. 执行训练时，设置以下参数为true： + +``` + NA + +``` -- Gitee From 7fa1cb7741495f84e52dfe3f7030a63b75132232 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:21:02 +0000 Subject: [PATCH 38/50] update TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../BioBERT_ID0280_for_TensorFlow/README1.md | 25 ++++++++++++++++--- 1 file changed, 21 insertions(+), 4 deletions(-) diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md index 3d14f5759..285ec51b8 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md @@ -6,13 +6,30 @@ - [高级参考](#高级参考.md) ## 基本信息 +**发布者（Publisher）：Huawei** + +**应用领域（Application Domain）：Natural Language Processing** + +**版本（Version）：1.1** + +**修改时间（Modified） ：2021.11.10** + +**大小（Size）：1.3GB** + +**框架（Framework）：TensorFlow_1.15.0** + +**模型格式（Model Format）：ckpt** + +**精度（Precision）：Mixed** + +**处理器（Processor）：昇腾910** + +**应用级别（Categories）：Benchmark** + +**描述（Description）：基于TensorFlow框架的BioBERT生物医学语言网络训练代码** ## 概述 - BioBERT（用于生物医学文本挖掘的双向编码器表示Transformers），这是一种在大型生物医学语料库上预先训练的领域特定语言表示模型。 - 通过在任务上几乎相同的体系结构，在经过生物医学语料库的预训练之后，BioBERT在许多生物医学文本挖掘任务中都大大优于BERT和以前的最新模型。 - 尽管BERT的性能可与以前的最新模型相媲美，但在以下三个代表性的生物医学文本挖掘任务上，BioBERT的性能明显优于它们：生物医学命名实体识别（F1分数提高0.62％）， - 生物医学关系提取（2.80％） F1分数提高）和生物医学问答（MRR提高12.24％）。 分析结果表明，对生物医学语料库进行BERT的预培训有助于其理解复杂的生物医学文献。 - 参考论文： -- Gitee From 8469eb8cf506ccd03bd4bbc21bdd303800d5d641 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:41:43 +0000 Subject: [PATCH 39/50] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20Te?= =?UTF-8?q?nsorFlow/built-in/nlp/BioBERT=5FID0280=5Ffor=5FTensorFlow/READM?= =?UTF-8?q?E1.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../BioBERT_ID0280_for_TensorFlow/README1.md | 236 ------------------ 1 file changed, 236 deletions(-) delete mode 100644 TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md deleted file mode 100644 index 285ec51b8..000000000 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README1.md +++ /dev/null @@ -1,236 +0,0 @@ -- [基本信息](#基本信息.md) -- [概述](#概述.md) -- [训练环境准备](#训练环境准备.md) -- [快速上手](#快速上手.md) -- [迁移学习指导](#迁移学习指导.md) -- [高级参考](#高级参考.md) -## 基本信息 - -**发布者（Publisher）：Huawei** - -**应用领域（Application Domain）：Natural Language Processing** - -**版本（Version）：1.1** - -**修改时间（Modified） ：2021.11.10** - -**大小（Size）：1.3GB** - -**框架（Framework）：TensorFlow_1.15.0** - -**模型格式（Model Format）：ckpt** - -**精度（Precision）：Mixed** - -**处理器（Processor）：昇腾910** - -**应用级别（Categories）：Benchmark** - -**描述（Description）：基于TensorFlow框架的BioBERT生物医学语言网络训练代码** - -## 概述 - - -- 参考论文： - - https://arxiv.org/abs/1901.08746 - -- 参考实现： - - https://github.com/dmis-lab/biobert - -- 适配昇腾 AI 处理器的实现： - - https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow - -- 通过Git获取对应commit_id的代码方法如下: - - git clone {repository_url} # 克隆仓库的代码 - cd {repository_name} # 切换到模型的代码仓目录 - git checkout {branch} # 切换到对应分支 - git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id - cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 - -## 默认配置 - -- 网络结构 - - - BioBERT-Base v1.0 (+ PubMed 200K + PMC 270K) - -- 训练超参(单卡)： - - - train_batch_size: 32 - - max_seq_length: 128 - - learning_rate: 5e-5 - - train_epochs:10 - -## 支持特性 - -| 特性列表 | 是否支持 | -| ---------- | -------- | -| 分布式训练 | 否 | -| 混合精度 | 是 | -| 数据并行 | 否 | - - -## 混合精度训练 - - 混合精度训练昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 - -## 开启混合精度 - - session_config = tf.ConfigProto() - custom_op = session_config.graph_options.rewrite_options.custom_optimizers.add() - custom_op.name = "NpuOptimizer" - custom_op.parameter_map["use_off_line"].b = True - custom_op.parameter_map["precision_mode"].s = tf.compat.as_bytes("allow_mix_precision") - session_config.graph_options.rewrite_options.remapping = RewriterConfig.OFF - session_config.graph_options.rewrite_options.memory_optimization = RewriterConfig.OFF - run_config = tf.contrib.tpu.RunConfig( - session_config=session_config, - -## 训练环境准备 - -1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 -2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 - - 当前模型支持的镜像列表如[表1](#zh-cn_topic_0000001074498056_table1519011227314)所示。 - - **表 1** 镜像列表 - - - - - - - - - - - - -

镜像名称

-

镜像版本

-

配套CANN版本

-
-

21.0.2

-

5.0.2

-
- - -## 快速上手 - -## 数据集准备 - -1. 用户需自行准备训练数据集，例如NCBI疾病语料,包含train_dev.tsv，train.tsv，devel.tsv和test.tsv。 -2. 用户需提前下载预训练模型，参考github源里提供的BioBERT-Basev1.0等模型下载方式 - -## 模型训练 - -- 单击“立即下载”，并选择合适的下载方式下载源码包。 -- 开始训练 - - 1. 启动训练之前，首先要配置程序运行相关环境变量。 - - 环境变量配置信息参见： - - [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) - - 2. 单卡训练 - - 2.1 配置train_full_1p.sh脚本中`data_path`（脚本路径BioBERT_ID0280_for_TensorFlow/test/train_full_1p.sh）,请用户根据实际路径配置，数据集和预训练模型参数如下所示： - - --vocab_file=$data_path/biobert_v1.1_pubmed/vocab.txt \ - --bert_config_file=$data_path/biobert_v1.1_pubmed/bert_config.json \ - --init_checkpoint=$data_path/biobert_v1.1_pubmed/model.ckpt-1000000 \ - --data_dir=$data_path/NER/NCBI-diseas - - 2.2 单p指令如下: - - bash train_full_1p.sh --data_path=./data - -- 验证。 - - 1. 执行训练时设置以下参数： - - ``` - --do_eval=true - - ``` - -## 迁移学习指导 - -- 数据集准备。 - - 1. 获取数据。 - 请参见“快速上手”中的数据集准备。 - -- 模型训练。 - - 参考“模型训练”中训练步骤。 - -- 模型评估。 - - 参考“模型训练”中验证步骤。 - -## 高级参考 - -## 脚本和示例代码 - -``` -. -BioBERT_ID0280_for_TensorFlow/ -├── biocodes -│   ├── conlleval.pl -│   ├── ner_detokenize.py -│   ├── re_eval.py -│   └── transform_nbset2bioasqform.py -├── test -│   ├── env.sh -│   ├── train_full_1p.sh // 训练脚本 -│   └── train_performance_1p.sh // 训练脚本 -├── create_pretraining_data.py -├── download.sh -├── extract_features.py -├── __init__.py -├── LICENSE -├── modeling.py -├── modeling_test.py -├── modelzoo_level.txt -├── optimization.py -├── optimization_test.py -├── README.md -├── requirements.txt -├── run_classifier.py -├── run_ner.py -├── run_pretraining.py -├── run_qa.py -├── run_re.py -├── sample_text.txt -├── tf_metrics.py -├── tokenization.py -└── tokenization_test.py - -``` - -## 脚本参数 - -``` ---data_path 训练数据集和预训练模型路径 -``` - -## 训练过程 - -1. 通过“模型训练”中的训练指令启动单卡训练。 -2. 将训练脚本（train_full_1p.sh）中的data_path设置为训练数据集和预训练模的路径。具体的流程参见“模型训练”的示例。 -3. 模型存储路径为“curpath/output/ASCEND_DEVICE_ID”，包括训练的log文件。 -4. 以单卡训练为例，loss信息在文件curpath/output/{ASCEND_DEVICE_ID}/train_${ASCEND_DEVICE_ID}.log中。 - -## 推理/验证过程 - -1. 执行训练时，设置以下参数为true： - -``` - NA - -``` -- Gitee From 9459662532982a1a1a4c7d1937dc8a6ab0b11c7c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:42:53 +0000 Subject: [PATCH 40/50] update TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md | 7 ++----- 1 file changed, 2 insertions(+), 5 deletions(-) diff --git a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md index b6622095e..ff2abee0e 100644 --- a/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/BioBERT_ID0280_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.11.10** - +**大小（Size）：1.3G** **框架（Framework）：TensorFlow_1.15.0** @@ -30,10 +30,7 @@ ## 概述 - BioBERT（用于生物医学文本挖掘的双向编码器表示Transformers），这是一种在大型生物医学语料库上预先训练的领域特定语言表示模型。 - 通过在任务上几乎相同的体系结构，在经过生物医学语料库的预训练之后，BioBERT在许多生物医学文本挖掘任务中都大大优于BERT和以前的最新模型。 - 尽管BERT的性能可与以前的最新模型相媲美，但在以下三个代表性的生物医学文本挖掘任务上，BioBERT的性能明显优于它们：生物医学命名实体识别（F1分数提高0.62％）， - 生物医学关系提取（2.80％） F1分数提高）和生物医学问答（MRR提高12.24％）。 分析结果表明，对生物医学语料库进行BERT的预培训有助于其理解复杂的生物医学文献。 + (由于信息违规，删除规避) - 参考论文： -- Gitee From 2fed688537d13fbf373e4f6ec0a0546a8808ba82 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:44:50 +0000 Subject: [PATCH 41/50] update TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md | 1 - 1 file changed, 1 deletion(-) diff --git a/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md b/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md index 96133ae71..47edb69b2 100644 --- a/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md +++ b/TensorFlow2/built-in/nlp/Word2vec_ID2350_for_TensorFlow2.X/README.md @@ -30,7 +30,6 @@ ## 概述 -## 简述 本项目是基于TensorFlow2.X的文本分类任务，使用Word2vec词向量训练模型进行文本分类。Word2vec是一种将词转化成向量的方法，其中包含两种算法，分别是skip-gram和CBOW，它们最大的区别是skip-gram是通过中心词去预测中心词周围的词，而CBOW是通过周围的词去预测中心词。 -- Gitee From 076a0b25e11ee3ad0137424e4d7a5e8befc9ee54 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:45:43 +0000 Subject: [PATCH 42/50] update TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../ResNext101_ID1577_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md index 9e3b22bfc..896c1ef88 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md @@ -30,7 +30,7 @@ ## 概述 -ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的思想和Inception的split-transform-merge思想，把单路卷积转变成了多个支路的多个卷积。ResNeXt结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。ResNeXt有不同的网络层数，常用的有18-layer、34-layer、50-layer、101-layer、152-layer。Ascend本次提供的是101-layer的ResNeXt-101网络。 + - 参考论文： -- Gitee From 2c673a59ab3f8df5404db97555fd9bf2f7e6efd2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:46:17 +0000 Subject: [PATCH 43/50] update TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../ResNext101_ID1577_for_TensorFlow/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md index 896c1ef88..3b07be518 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNext101_ID1577_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -**大小（Size）：412M** +**模型大小（Size）：412M** **框架（Framework）：TensorFlow 1.15.0** @@ -30,7 +30,7 @@ ## 概述 - +ResNeXt网络在ResNet基础上进行了优化，同时采用Vgg/ResNet堆叠的思想和Inception的split-transform-merge思想，把单路卷积转变成了多个支路的多个卷积。ResNeXt结构可以在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。ResNeXt有不同的网络层数，常用的有18-layer、34-layer、50-layer、101-layer、152-layer。Ascend本次提供的是101-layer的ResNeXt-101网络。 - 参考论文： -- Gitee From 049c712a2c7fa74bb0108cb5f61280ec44cf717c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:47:57 +0000 Subject: [PATCH 44/50] update TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../cv/image_classification/ResNet34_for_TensorFlow/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md index 065169de9..25f3ac199 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet34_for_TensorFlow/README.md @@ -8,13 +8,13 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** Image Classification +**应用领域（Application Domain）：Image Classification**  **版本（Version）：1.1** **修改时间（Modified） ：2021.7.20** -**大小（Size）：167M** +**模型大小（Size）：167M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 59b7177335fc15380fec297e7c5359bbaaf2a340 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:49:08 +0000 Subject: [PATCH 45/50] update TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../cv/image_classification/ResNet200_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md index 83d408e5f..b67fa6626 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md @@ -14,7 +14,7 @@ **修改时间（Modified） ：2021.7.20** -**大小（Size）：90.1M** +**模型大小（Size）：90.1M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From b9235d8f29cf6e4f2d8ea39cfb0a030ea979cc71 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:49:52 +0000 Subject: [PATCH 46/50] update TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../cv/image_classification/ResNet200_for_TensorFlow/README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md index b67fa6626..fb3951193 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet200_for_TensorFlow/README.md @@ -8,7 +8,7 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** Image Classification +**应用领域（Application Domain）：Image Classification**  **版本（Version）：1.1** -- Gitee From 9f1a93d98d24a4fe1274071bbaa3f7ff9958bee4 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:51:42 +0000 Subject: [PATCH 47/50] update TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../cv/image_classification/ResNet18_for_TensorFlow/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md index 97d0acedc..fad6715fb 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet18_for_TensorFlow/README.md @@ -8,13 +8,13 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** Image Classification +**应用领域（Application Domain）：Image Classification**  **版本（Version）：1.1** **修改时间（Modified） ：2021.7.20** -**大小（Size）：90.1M** +**模型大小（Size）：90.1M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 208ab543afa3dc51ec98a1037673082da54d7231 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:52:44 +0000 Subject: [PATCH 48/50] update TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../image_classification/ResNet152_for_TensorFlow/README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md index 4b25d0d46..78cee3cb6 100644 --- a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README.md @@ -8,13 +8,13 @@ **发布者（Publisher）：Huawei** -**应用领域（Application Domain）：** Image Classification +**应用领域（Application Domain）：Image Classification** **版本（Version）：1.1** **修改时间（Modified） ：2021.7.20** -**大小（Size）：465M** +**模型大小（Size）：465M** **框架（Framework）：TensorFlow 1.15.0** -- Gitee From 6494a44c35f1e04912876a00afbefe5f99693b67 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:54:31 +0000 Subject: [PATCH 49/50] add TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md. MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Signed-off-by: 张文轩 <10359565+zhang-wenxuan09@user.noreply.gitee.com> --- .../ResNet152_for_TensorFlow/README1.md | 266 ++++++++++++++++++ 1 file changed, 266 insertions(+) create mode 100644 TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md diff --git a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md new file mode 100644 index 000000000..b8daef3d3 --- /dev/null +++ b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md @@ -0,0 +1,266 @@ +- [基本信息](#基本信息.md) +- [概述](#概述.md) +- [训练环境准备](#训练环境准备.md) +- [快速上手](#快速上手.md) +- [迁移学习指导](#迁移学习指导.md) +- [高级参考](#高级参考.md) +## 基本信息 + +**发布者（Publisher）：Huawei** + +**应用领域（Application Domain）：Image Classification** + +**版本（Version）：1.1** + +**修改时间（Modified） ：2021.7.20** + +**大小（Size）：465M** + +**框架（Framework）：TensorFlow 1.15.0** + +**模型格式（Model Format）：ckpt** + +**精度（Precision）：Mixed** + +**处理器（Processor）：昇腾910** + +**应用级别（Categories）：Official** + +**描述（Description）：基于TensorFlow框架的ResNet152图像分类网络训练代码** + +## 概述 + +1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。介绍了剩余学习的概念。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 + +2.基于Bottleneck，深层网络ResNet152网络，是由Bottleneck搭成 + +- 参考论文： + + [Deep Residual Learning for Image Recognition](https://arxiv.org/pdf/1512.03385.pdf) + +- 参考实现： + + https://github.com/tensorflow/models/tree/r2.1.0/official/r1/resnet + +- 适配昇腾 AI 处理器的实现： + + https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow + +- 通过Git获取对应commit\_id的代码方法如下： + ``` + git clone {repository_url} # 克隆仓库的代码 + cd {repository_name} # 切换到模型的代码仓目录 + git checkout {branch} # 切换到对应分支 + git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id + cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 + ``` +## 默认配置 +- 训练数据集预处理 + + 请参考"概述"->"参考实现"。 + +- 训练超参 + + - resnet_size: 152 + - batch_size: 64 + - num_gpus: 1 + - cosine_lr: True + - dtype: fp16 + - label_smoothing: 0.1 + - loss_scale: 512 + - max_train_steps: 2000 + - train_epochs: 1 + - eval_only: False + - hooks: ExamplesPerSecondHook,loggingtensorhook,loggingmetrichook + - data_format: "channels_last" + +## 支持特性 + +| 特性列表 | 是否支持 | +|-------|------| +| 分布式训练 | 是 | +| 混合精度 | 是 | +| 并行数据 | 是 | + +## 混合精度训练 + +昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 + +## 开启混合精度 + +脚本已默认开启混合精度，设置precision_mode参数的脚本参考如下。 + + ``` + run_config = NPURunConfig( + model_dir=flags_obj.model_dir, + session_config=session_config, + keep_checkpoint_max=5, + save_checkpoints_steps=5000, + enable_data_pre_proc=True, + iterations_per_loop=iterations_per_loop, + log_step_count_steps=iterations_per_loop, + precision_mode='allow_mix_precision', + hcom_parallel=True + ) + ``` + + +## 训练环境准备 + +1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 +2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 + + 当前模型支持的镜像列表如[表1](#zh-cn_topic_0000001074498056_table1519011227314)所示。 + + **表 1** 镜像列表 + + + + + + + + + + + + +

镜像名称

+

镜像版本

+

配套CANN版本

+
+

21.0.1

+

20.2

+
+ + +## 快速上手 + +- 数据集准备 +1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 + +2. 数据集训练前需要做预处理操作，请用户参考[Tensorflow-Slim](https://github.com/tensorflow/models/tree/master/research/slim),将数据集封装为tfrecord格式。 + +3. 数据集处理后，放入模型目录下，在训练脚本中指定数据集路径，可正常使用。 + + +## 模型训练 + +- 单击“立即下载”，并选择合适的下载方式下载源码包。 + +- 启动训练之前，首先要配置程序运行相关环境变量。 + + 环境变量配置信息参见： + + [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) + +- 单卡训练 + + 1. 配置训练参数。 + + 首先在脚本test/train_performance_1p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： + + ``` + --data_dir=/npu/traindata/imagemat_TF + ``` + + 2. 启动训练。 + + 启动单卡性能训练 （脚本为ResNet152_for_TensorFlow/test/train_performance_1p.sh） + + ``` + bash train_performance_1p.sh + ``` + + 启动单卡精度训练 （脚本为ResNet152_for_TensorFlow/test/train_full_1p.sh） + + ``` + bash train_full_1p.sh + ``` +- 8卡训练 + + 1. 配置训练参数。 + + 首先在脚本test/train_full_8p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： + + ``` + --data_dir=/npu/traindata/imagemat_TF + ``` + + 2. 启动训练。 + + 启动8卡性能训练 （脚本为ResNet152_for_TensorFlow/test/train_performance_8p.sh） + + ``` + bash train_performance_8p.sh + ``` + + 启动8卡精度训练 （脚本为ResNet152_for_TensorFlow/test/train_full_8p.sh） + + ``` + bash train_full_8p.sh + ``` + +## 高级参考 + +## 脚本和示例代码 + +``` +├── README.md +├── r1 +│ ├── resnet +│ ├──cifar10_download_and_extract.py +│ ├──cifar10_main.py +│ ├──cifar10_test.py +│ ├──estimator_benchmark.py +│ ├──frozen_graph.py +│ ├──imagenet_main.py +│ ├──imagenet_preprocessing.py +│ ├──imagenet_test.py +│ ├──infer_from_pb.py +│ ├──resnet_model.py +│ ├──resnet_run_loop.py +│ ├──run_imagenet.sh +├── test +│ ├──train_performance_1p.sh +│ ├──train_performance_8p.sh +│ ├──train_full_1p.sh +│ ├──train_full_8p.sh +│ ├──env.sh +``` + +## 脚本参数 + +``` +--resnet_size # resnet的系列的模型类别 +--batch_size # batchsize +--num_gpus # NPU设备数量 +--cosine_lr # 是否使用余弦的学习率策略 +--dtype= # 设置为半精度训练 +--label_smoothing # label smooth的参数 +--loss_scale # 用于混合精度训练的loss scale +--max_train_steps # 最大训练步数 +--train_epochs # 总训练epoch数 +--eval_only # 是否只做评估，训练时需要设置为False +--hooks # hook对象 +--data_dir # 数据集路径 +--data_format # channel表示在前 +--model_dir # 模型、log等保存路径 +``` + +## 训练过程 + +1. 通过“模型训练”中的训练指令启动性能或者精度训练。单卡和多卡通过运行不同脚本，支持单卡、8卡网络训练。 + +2. 参考脚本的模型存储路径为test/output/*。 + +## 推理/验证过程 + +1. 通过“模型训练”中的测试指令启动测试。 + +2. 当前只能针对该工程训练出的checkpoint进行推理测试。 + +3. 推理脚本的参数eval_dir可以配置为checkpoint所在的文件夹路径，则该路径下所有.ckpt文件都会根据进行推理。 + +4. 测试结束后会打印验证集的top1 accuracy和top5 accuracy，打印在train_*.log中 + -- Gitee From 0f27bb4e453802626eb4d2aef9d18874437f525c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=BC=A0=E6=96=87=E8=BD=A9?= <10359565+zhang-wenxuan09@user.noreply.gitee.com> Date: Fri, 30 Sep 2022 07:54:45 +0000 Subject: [PATCH 50/50] =?UTF-8?q?=E5=88=A0=E9=99=A4=E6=96=87=E4=BB=B6=20Te?= =?UTF-8?q?nsorFlow/built-in/cv/image=5Fclassification/ResNet152=5Ffor=5FT?= =?UTF-8?q?ensorFlow/README1.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../ResNet152_for_TensorFlow/README1.md | 266 ------------------ 1 file changed, 266 deletions(-) delete mode 100644 TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md diff --git a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md b/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md deleted file mode 100644 index b8daef3d3..000000000 --- a/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow/README1.md +++ /dev/null @@ -1,266 +0,0 @@ -- [基本信息](#基本信息.md) -- [概述](#概述.md) -- [训练环境准备](#训练环境准备.md) -- [快速上手](#快速上手.md) -- [迁移学习指导](#迁移学习指导.md) -- [高级参考](#高级参考.md) -## 基本信息 - -**发布者（Publisher）：Huawei** - -**应用领域（Application Domain）：Image Classification** - -**版本（Version）：1.1** - -**修改时间（Modified） ：2021.7.20** - -**大小（Size）：465M** - -**框架（Framework）：TensorFlow 1.15.0** - -**模型格式（Model Format）：ckpt** - -**精度（Precision）：Mixed** - -**处理器（Processor）：昇腾910** - -**应用级别（Categories）：Official** - -**描述（Description）：基于TensorFlow框架的ResNet152图像分类网络训练代码** - -## 概述 - -1. ResNet在ImageNet竞赛中是一个比较好的分类问题网络。介绍了剩余学习的概念。通过增加直接连接通道来保护信息的完整性，解决了信息丢失、梯度消失、梯度爆炸等问题。这个网络也可以训练。ResNet有不同的网络层，常用的有18层、34层、50层、101层、152层。 - -2.基于Bottleneck，深层网络ResNet152网络，是由Bottleneck搭成 - -- 参考论文： - - [Deep Residual Learning for Image Recognition](https://arxiv.org/pdf/1512.03385.pdf) - -- 参考实现： - - https://github.com/tensorflow/models/tree/r2.1.0/official/r1/resnet - -- 适配昇腾 AI 处理器的实现： - - https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/cv/image_classification/ResNet152_for_TensorFlow - -- 通过Git获取对应commit\_id的代码方法如下： - ``` - git clone {repository_url} # 克隆仓库的代码 - cd {repository_name} # 切换到模型的代码仓目录 - git checkout {branch} # 切换到对应分支 - git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id - cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 - ``` -## 默认配置 -- 训练数据集预处理 - - 请参考"概述"->"参考实现"。 - -- 训练超参 - - - resnet_size: 152 - - batch_size: 64 - - num_gpus: 1 - - cosine_lr: True - - dtype: fp16 - - label_smoothing: 0.1 - - loss_scale: 512 - - max_train_steps: 2000 - - train_epochs: 1 - - eval_only: False - - hooks: ExamplesPerSecondHook,loggingtensorhook,loggingmetrichook - - data_format: "channels_last" - -## 支持特性 - -| 特性列表 | 是否支持 | -|-------|------| -| 分布式训练 | 是 | -| 混合精度 | 是 | -| 并行数据 | 是 | - -## 混合精度训练 - -昇腾910 AI处理器提供自动混合精度功能，可以针对全网中float32数据类型的算子，按照内置的优化策略，自动将部分float32的算子降低精度到float16，从而在精度损失很小的情况下提升系统性能并减少内存使用。 - -## 开启混合精度 - -脚本已默认开启混合精度，设置precision_mode参数的脚本参考如下。 - - ``` - run_config = NPURunConfig( - model_dir=flags_obj.model_dir, - session_config=session_config, - keep_checkpoint_max=5, - save_checkpoints_steps=5000, - enable_data_pre_proc=True, - iterations_per_loop=iterations_per_loop, - log_step_count_steps=iterations_per_loop, - precision_mode='allow_mix_precision', - hcom_parallel=True - ) - ``` - - -## 训练环境准备 - -1. 硬件环境准备请参见各硬件产品文档"[驱动和固件安装升级指南]( https://support.huawei.com/enterprise/zh/category/ai-computing-platform-pid-1557196528909)"。需要在硬件设备上安装与CANN版本配套的固件与驱动。 -2. 宿主机上需要安装Docker并登录[Ascend Hub中心](https://ascendhub.huawei.com/#/detail?name=ascend-tensorflow-arm)获取镜像。 - - 当前模型支持的镜像列表如[表1](#zh-cn_topic_0000001074498056_table1519011227314)所示。 - - **表 1** 镜像列表 - - - - - - - - - - - - -

镜像名称

-

镜像版本

-

配套CANN版本

-
-

21.0.1

-

20.2

-
- - -## 快速上手 - -- 数据集准备 -1. 模型训练使用ImageNet2012数据集，数据集请用户自行获取。 - -2. 数据集训练前需要做预处理操作，请用户参考[Tensorflow-Slim](https://github.com/tensorflow/models/tree/master/research/slim),将数据集封装为tfrecord格式。 - -3. 数据集处理后，放入模型目录下，在训练脚本中指定数据集路径，可正常使用。 - - -## 模型训练 - -- 单击“立即下载”，并选择合适的下载方式下载源码包。 - -- 启动训练之前，首先要配置程序运行相关环境变量。 - - 环境变量配置信息参见： - - [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) - -- 单卡训练 - - 1. 配置训练参数。 - - 首先在脚本test/train_performance_1p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： - - ``` - --data_dir=/npu/traindata/imagemat_TF - ``` - - 2. 启动训练。 - - 启动单卡性能训练 （脚本为ResNet152_for_TensorFlow/test/train_performance_1p.sh） - - ``` - bash train_performance_1p.sh - ``` - - 启动单卡精度训练 （脚本为ResNet152_for_TensorFlow/test/train_full_1p.sh） - - ``` - bash train_full_1p.sh - ``` -- 8卡训练 - - 1. 配置训练参数。 - - 首先在脚本test/train_full_8p.sh中，配置训练数据集路径，请用户根据实际路径配置，数据集参数如下所示： - - ``` - --data_dir=/npu/traindata/imagemat_TF - ``` - - 2. 启动训练。 - - 启动8卡性能训练 （脚本为ResNet152_for_TensorFlow/test/train_performance_8p.sh） - - ``` - bash train_performance_8p.sh - ``` - - 启动8卡精度训练 （脚本为ResNet152_for_TensorFlow/test/train_full_8p.sh） - - ``` - bash train_full_8p.sh - ``` - -## 高级参考 - -## 脚本和示例代码 - -``` -├── README.md -├── r1 -│ ├── resnet -│ ├──cifar10_download_and_extract.py -│ ├──cifar10_main.py -│ ├──cifar10_test.py -│ ├──estimator_benchmark.py -│ ├──frozen_graph.py -│ ├──imagenet_main.py -│ ├──imagenet_preprocessing.py -│ ├──imagenet_test.py -│ ├──infer_from_pb.py -│ ├──resnet_model.py -│ ├──resnet_run_loop.py -│ ├──run_imagenet.sh -├── test -│ ├──train_performance_1p.sh -│ ├──train_performance_8p.sh -│ ├──train_full_1p.sh -│ ├──train_full_8p.sh -│ ├──env.sh -``` - -## 脚本参数 - -``` ---resnet_size # resnet的系列的模型类别 ---batch_size # batchsize ---num_gpus # NPU设备数量 ---cosine_lr # 是否使用余弦的学习率策略 ---dtype= # 设置为半精度训练 ---label_smoothing # label smooth的参数 ---loss_scale # 用于混合精度训练的loss scale ---max_train_steps # 最大训练步数 ---train_epochs # 总训练epoch数 ---eval_only # 是否只做评估，训练时需要设置为False ---hooks # hook对象 ---data_dir # 数据集路径 ---data_format # channel表示在前 ---model_dir # 模型、log等保存路径 -``` - -## 训练过程 - -1. 通过“模型训练”中的训练指令启动性能或者精度训练。单卡和多卡通过运行不同脚本，支持单卡、8卡网络训练。 - -2. 参考脚本的模型存储路径为test/output/*。 - -## 推理/验证过程 - -1. 通过“模型训练”中的测试指令启动测试。 - -2. 当前只能针对该工程训练出的checkpoint进行推理测试。 - -3. 推理脚本的参数eval_dir可以配置为checkpoint所在的文件夹路径，则该路径下所有.ckpt文件都会根据进行推理。 - -4. 测试结束后会打印验证集的top1 accuracy和top5 accuracy，打印在train_*.log中 - -- Gitee