From a07f40a7186e47aa34c5f1e3566a8351f45cc887 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Fri, 2 Dec 2022 18:42:06 +0800 Subject: [PATCH 01/10] add readme --- .../UNet3D_ID0057_for_TensorFlow/README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md index 14ca65481..1209d2ef9 100644 --- a/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/UNet3D_ID0057_for_TensorFlow/README.md @@ -10,18 +10,30 @@ ## 基本信息 **发布者（Publisher）：Huawei** + **应用领域（Application Domain）： Instance Segmentation** + **版本（Version）：1.1** + **修改时间（Modified）：2021.7.19** + **大小（Size）：664K** + **框架（Framework）：TensorFlow 1.15.0** + **模型格式（Model Format）：ckpt** + **精度（Precision）：Mixed** + **处理器（Processor）：昇腾910** + **应用级别（Categories）：Research** + **描述（Description）：利用unet网络进行医学图像分割训练代码** + + ## 概述 该网络基于之前的 u-net 架构，它使用一个收缩编码器分析整个图像，使用一个连续扩展解码器产生全分辨率分割。虽然 u-net 是一个完全 2D 架构，本文提出的网络采用 3D 数据作为输入并使用相应的 3D 操作处理它们，特别是3D 卷积、3D 最大池化和 3D 上卷积层。此外，我们避免网络架构中的瓶颈并使用批量归一化从而达到更快的收敛。 -- Gitee From 36cc6790cdce4bc83c617f958b23700e2fc235c6 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 09:56:44 +0800 Subject: [PATCH 02/10] add readme --- .../built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md b/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md index 952728c18..8fa9b596d 100644 --- a/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md +++ b/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow/README.md @@ -36,9 +36,8 @@ - 适配昇腾 AI 处理器的实现： + https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/nlp/Textcnn_ID0123_For_Tensorflow - https://gitee.com/ji-hongmei/modelzoo/tree/master/built-in/TensorFlow/Official/nlp/Textcnn_ID0123_For_Tensorflow - - 通过Git获取对应commit\_id的代码方法如下： ``` -- Gitee From 70172a561af71a5bc58f2eccf54bec9ae5e55bab Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:05:10 +0800 Subject: [PATCH 03/10] add readme --- .../Pix2Pix_ID0359_for_TensorFlow/README.md | 12 ++++++++++++ 1 file changed, 12 insertions(+) diff --git a/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md b/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md index 6e82b4c52..4aac45e43 100644 --- a/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/Image_translation/Pix2Pix_ID0359_for_TensorFlow/README.md @@ -10,17 +10,29 @@ ## 基本信息 **发布者（Publisher）：Huawei** + **应用领域（Application Domain）： Machine Translation** + **版本（Version）：1.1** + **修改时间（Modified） ：2021.7.19** + **大小（Size）：736K** + **框架（Framework）：TensorFlow 1.15.0** + **模型格式（Model Format）：ckpt** + **精度（Precision）：Mixed** + **处理器（Processor）：昇腾910** + **应用级别（Categories）：Official** + **描述（Description）：利用pix2pix2进行图像翻译训练代码** + + ## 概述 pix2pix是将GAN应用于有监督的图像到图像翻译的经典论文，有监督表示训练数据是成对的。图像到图像翻译（image-to-image translation）是GAN很重要的一个应用方向，什么叫图像到图像翻译呢？其实就是基于一张输入图像得到想要的输出图像的过程，可以看做是图像和图像之间的一种映射（mapping），我们常见的图像修复、超分辨率其实都是图像到图像翻译的例子。 -- Gitee From 9177d7a52c53ce460bf9968caecb5d5c42edc824 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:12:43 +0800 Subject: [PATCH 04/10] add readme --- .../README.md | 32 ++++++++++++------- 1 file changed, 21 insertions(+), 11 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md index 070c64a41..d943ddc60 100644 --- a/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/Oct-ResNet_ID0251_for_TensorFlow/README.md @@ -9,17 +9,27 @@ ## 基本信息 -**发布者（Publisher）：Huawei -**应用领域（Application Domain）： Image Classification -**版本（Version）：1.1 -**修改时间（Modified） ：2021.7.21 -**大小（Size）：112K -**框架（Framework）：TensorFlow 1.15.0 -**模型格式（Model Format）：ckpt -**精度（Precision）：Mixed -**处理器（Processor）：昇腾910 -**应用级别（Categories）：Research -**描述（Description）：使用八倍卷积降低卷积神经网络的空间冗余 +**发布者（Publisher）：Huawei** + +**应用领域（Application Domain）： Image Classification** + +**版本（Version）：1.1** + +**修改时间（Modified） ：2021.7.21** + +**大小（Size）：112K** + +**框架（Framework）：TensorFlow 1.15.0** + +**模型格式（Model Format）：ckpt** + +**精度（Precision）：Mixed** + +**处理器（Processor）：昇腾910** + +**应用级别（Categories）：Research** + +**描述（Description）：使用八倍卷积降低卷积神经网络的空间冗余** ## 概述 -- Gitee From 6775961dd85882ca46b2db91e5101d8144648c37 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:20:06 +0800 Subject: [PATCH 05/10] add readme --- .../OSMN_ID1103_for_TensorFlow/README.md | 21 +++++++++++-------- 1 file changed, 12 insertions(+), 9 deletions(-) diff --git a/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md index 82281578a..ec8045522 100644 --- a/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow/README.md @@ -43,11 +43,16 @@ https://gitee.com/ascend/ModelZoo-TensorFlow/tree/master/TensorFlow/built-in/cv/image_segmentation/OSMN_ID1103_for_TensorFlow - 通过Git获取对应commit\_id的代码方法如下： - git clone {repository_url} # 克隆仓库的代码 - cd {repository_name} # 切换到模型的代码仓目录 - git checkout {branch} # 切换到对应分支 - git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id - cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 + + ``` + git clone {repository_url} # 克隆仓库的代码 + cd {repository_name} # 切换到模型的代码仓目录 + git checkout {branch} # 切换到对应分支 + git reset --hard ｛commit_id｝ # 代码设置到对应的commit_id + cd ｛code_path｝ # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换 + ``` + + #### 默认配置 @@ -94,13 +99,13 @@ pip3 install requirements.txt - 单击“立即下载”，并选择合适的下载方式下载源码包。 - 开始训练 + + 以数据目录为./data、预训练模型目录为 ./models为例: ``` - 以数据目录为./data、预训练模型目录为 ./models为例: cd test source ./env.sh bash train_full_1p.sh --data_path=../data（全量） bash train_performance_1p.sh --data_path=../data（功能、性能测试） - ``` ## 高级参考 @@ -108,7 +113,6 @@ pip3 install requirements.txt #### 脚本和示例代码 ``` -. ├── models ├── preprocessing │   ├── preprocess_davis.py @@ -140,7 +144,6 @@ pip3 install requirements.txt ├── util.py ├── youtube_eval.py └── ytvos_merge_result.py - ``` #### 脚本参数 -- Gitee From 21c6e1fb3194a8f0817ac92344e98e3525eb40b6 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:23:50 +0800 Subject: [PATCH 06/10] add readme --- .../ShapeNet_ID1138_for_TensorFlow/README.md | 38 ++++++++++++------- 1 file changed, 24 insertions(+), 14 deletions(-) diff --git a/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md index fa313e50c..4b39b6d39 100644 --- a/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_segmentation/ShapeNet_ID1138_for_TensorFlow/README.md @@ -110,21 +110,31 @@ pip3 install requirements.txt #### 数据集准备 -- 模型使用 shapenet_part_seg_hdf5_data 数据集，请用户自行下载，具体获取方法参见 ./ShapeNet_ID1138_for_TensorFlow/S0_download_data.sh。 +- 模型使用 shapenet_part_seg_hdf5_data 数据集，请用户自行下载，具体获取方法参见 + + ``` + ./ShapeNet_ID1138_for_TensorFlow/S0_download_data.sh + ``` + + + - 获取数据集后，进行数据预处理，并将预处理后的数据放入模型目录下，在训练脚本中指定数据集路径，可正常使用。数据预处理和最终数据集文件结构示例如下： ``` - # 数据预处理，详见： - ./ShapeNet_ID1138_for_TensorFlow/S1_network_dataset_combination.py - ./ShapeNet_ID1138_for_TensorFlow/S1_network_dataset_preparation.py - - # 最终数据集文件结构示例： - ├── ShapeNet_dataset - │   ├── ShapeNet_prepro.hdf5 - │   ├── ShapeNet_training.hdf5 - 则 data_path=./ShapeNet_dataset 即可 +数据预处理，详见： +./ShapeNet_ID1138_for_TensorFlow/S1_network_dataset_combination.py +./ShapeNet_ID1138_for_TensorFlow/S1_network_dataset_preparation.py + +最终数据集文件结构示例： +├── ShapeNet_dataset +│   ├── ShapeNet_prepro.hdf5 +│   ├── ShapeNet_training.hdf5 +则 data_path=./ShapeNet_dataset 即可 ``` -#### 模型训练 + + +#### 模型训练 + - 单击“立即下载”，并选择合适的下载方式下载源码包。 - 开始训练。 @@ -175,7 +185,7 @@ pip3 install requirements.txt ## 高级参考 -#### 脚本和示例代码 +#### 脚本和示例代码 ├── README.md //说明文档 ├── requirements.txt //依赖 @@ -185,7 +195,7 @@ pip3 install requirements.txt ├── S2_network_training.py // 训练入口脚本 -#### 脚本参数 +#### 脚本参数 ``` batch_size 训练batch_size @@ -194,7 +204,7 @@ train_epochs 总训练epoch数 train_steps 总训练steps数 ``` -#### 训练过程 +#### 训练过程 通过“模型训练”中的训练指令启动单卡训练。 将训练脚本（train_full_1p.sh）中的data_path设置为训练数据集的路径。具体的流程参见“模型训练”的示例。 \ No newline at end of file -- Gitee From b65f92f2c62c82a14a0a0ce69d23a770b3133466 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:35:02 +0800 Subject: [PATCH 07/10] add readme --- .../Roberta_ID2366_for_TensorFlow/README.md | 18 ++++++++++++------ 1 file changed, 12 insertions(+), 6 deletions(-) diff --git a/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md index 3b3e5b9a1..b62c06887 100644 --- a/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/Roberta_ID2366_for_TensorFlow/README.md @@ -143,7 +143,7 @@ pip3 install requirements.txt ``` --do_eval=true -``` + ``` ## 迁移学习指导 @@ -160,12 +160,13 @@ pip3 install requirements.txt 参考“模型训练”中验证步骤。 + + ## 高级参考 #### 脚本和示例代码 ``` -. Roberta_ID2366_for_TensorFlow/ ├── CONTRIBUTING.md ├── create_pretraining_data.py @@ -191,19 +192,24 @@ Roberta_ID2366_for_TensorFlow/ │   └── train_performance_1p.sh ├── tokenization.py └── tokenization_test.py - ``` -#### 脚本参数 + + + +#### 脚本参数 ``` --data_path 训练数据集路径 ---ckpt_path 预训练模型路径 +--ckpt_path 预训练模型路径 ``` -#### 训练过程 +​ + +#### 训练过程 1. 通过“模型训练”中的训练指令启动单卡训练。 2. 将训练脚本（train_full_1p.sh）中的data_path、ckpt_path设置为训练数据集和预训练模的路径。具体的流程参见“模型训练”的示例。 3. 模型存储路径为“curpath/output/ASCEND_DEVICE_ID”，包括训练的log文件。 4. 以单卡训练为例，loss信息在文件curpath/output/{ASCEND_DEVICE_ID}/train_${ASCEND_DEVICE_ID}.log中。 + -- Gitee From 32f0e6bd1f602bb0c3084ea50fb15118f20e1219 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:38:34 +0800 Subject: [PATCH 08/10] add readme --- .../nlp/LeNet_ID0127_for_TensorFlow/README.md | 41 ++++++++----------- 1 file changed, 17 insertions(+), 24 deletions(-) diff --git a/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md index 73f4f2de2..dc3d752a1 100644 --- a/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/LeNet_ID0127_for_TensorFlow/README.md @@ -140,38 +140,31 @@ LeNet是由2019年图灵奖获得者Yann LeCun、Yoshua Bengio于1998年提出(G - 单击“立即下载”，并选择合适的下载方式下载源码包。 - 开始训练。 - 1. 启动训练之前，首先要配置程序运行相关环境变量。 - - 环境变量配置信息参见： + 1. 启动训练之前，首先要配置程序运行相关环境变量；环境变量配置信息参见： [Ascend 910训练平台环境变量设置](https://gitee.com/ascend/ModelZoo-TensorFlow/wikis/01.%E8%AE%AD%E7%BB%83%E8%84%9A%E6%9C%AC%E8%BF%81%E7%A7%BB%E6%A1%88%E4%BE%8B/Ascend%20910%E8%AE%AD%E7%BB%83%E5%B9%B3%E5%8F%B0%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%AE%BE%E7%BD%AE) 单卡训练需要配置指定运行的卡的环境变量： - + ``` - export ASCEND_DEVICE_ID=X - 其中：X=0~7 + export ASCEND_DEVICE_ID=X + 其中：X=0~7 ``` - + 2. 单卡训练 - - ``` - bash train_full_1p.sh --data_path=../MNIST - ``` - ``` - 其中：xxx是数据集的路径，例如, 数据集下载、解压后的路径为"/home/data"，目录结构如下： - |--data - | |--MINIST - | |--t10k-images-idx3-ubyte - | |--t10k-labels-idx1-ubyte - | |--train-images-idx3-ubyte - | |--train-labels-idx1-ubyte - - 此时，xxx=/home/data/MNIST - ``` - - + ``` + bash train_full_1p.sh --data_path=../MNIST + 其中：xxx是数据集的路径，例如, 数据集下载、解压后的路径为"/home/data"，目录结构如下： + |--data + | |--MINIST + | |--t10k-images-idx3-ubyte + | |--t10k-labels-idx1-ubyte + | |--train-images-idx3-ubyte + | |--train-labels-idx1-ubyte + + 此时，xxx=/home/data/MNIST + ``` ## 迁移学习指导 -- Gitee From fbf9ab9e92d9134ae3e31d6b0479658ff9b21a27 Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:44:29 +0800 Subject: [PATCH 09/10] add readme --- .../Face-ResNet50_ID1372_for_TensorFlow/README.md | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md b/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md index 643b1c113..7b4abbe07 100644 --- a/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md +++ b/TensorFlow/built-in/cv/image_classification/Face-ResNet50_ID1372_for_TensorFlow/README.md @@ -150,9 +150,10 @@ pip3 install requirements.txt 2.2 单卡训练指令（脚本位于./Face-ResNet50_ID1372_for_TensorFlow/test/train_full_1p.sh） - ``` 于终端中运行export ASCEND_DEVICE_ID=0 (0~7)以指定单卡训练时使用的卡 -bash train_full_1p.sh --data_path=xx + +``` + bash train_full_1p.sh --data_path=xx 数据集应有如下结构（数据切分可能不同），配置data_path时需指定为data这一层，例：--data_path=/home/ResNet50_dataset ├── ResNet50_dataset │   ├── label // label文件夹 -- Gitee From 161b534b24fefb9c0fe6746d75fcdee7ebb575dc Mon Sep 17 00:00:00 2001 From: jelly_111 <244800829@qq.com> Date: Mon, 5 Dec 2022 10:46:27 +0800 Subject: [PATCH 10/10] add readme --- .../albert_xlarge_zh_ID2348_for_TensorFlow/README.md | 10 +++++++--- 1 file changed, 7 insertions(+), 3 deletions(-) diff --git a/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md b/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md index 74c334646..5814e900d 100644 --- a/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md +++ b/TensorFlow/built-in/nlp/albert_xlarge_zh_ID2348_for_TensorFlow/README.md @@ -151,7 +151,7 @@ pip3 install requirements.txt ``` --do_eval=true -``` + ``` ## 迁移学习指导 @@ -226,16 +226,20 @@ albert_xlarge_zh_ID2348_for_TensorFlow/ ├── test_changes.py ├── tokenization_google.py └── tokenization.py - ``` + + + #### 脚本参数 ``` --data_path 训练数据集路径 ---ckpt_path 预训练模型路径 +--ckpt_path 预训练模型路径 ``` +​ + #### 训练过程 1. 通过“模型训练”中的训练指令启动单卡训练。 -- Gitee