diff --git a/README.md b/README.md index b3c3111560eb5f00310463d6cc9f62c8cd1b6233..c806e01d031ca2bba75639483c8d0128e1f7adf0 100644 --- a/README.md +++ b/README.md @@ -1,21 +1,21 @@ EN|[CN](README.zh.md) -# MindX SDK Reference Apps +# MindSDK Reference Apps -[MindX SDK](https://www.hiascend.com/software/mindx-sdk) is a software development kit (SDK) launched by Huawei, offering simple and easy-to-use, high-performance APIs and tools. It includes multiple SDKs such as mxVision (visual analysis), mxRAG (knowledge enhancement), mxIndex (feature retrieval), and mxRec (search recommendation), aiding the Ascend AI processor in empowering various application scenarios. +[MindSDK](https://www.hiascend.com/software/mindx-sdk) is a software development kit (SDK) launched by Huawei, offering simple and easy-to-use, high-performance APIs and tools. It includes multiple SDKs such as Vision SDK (visual analysis), Index SDK (feature retrieval), and Rec SDK (search recommendation), aiding the Ascend AI processor in empowering various application scenarios. -To help developers quickly master the use of mxVision and mxIndex interfaces and rapidly implement business functions, this code repository (mxSdkReferenceApps) provides various reference samples developed based on mxVision and mxIndex. Users can select the appropriate sample code according to their needs. +To help developers quickly master the use of Vision SDK and Index SDK interfaces and rapidly implement business functions, this code repository provides various reference samples developed based on Vision SDK and Index SDK. Users can select the appropriate sample code according to their needs. ## Main Directory Structure and Description | 目录 | 说明 | |---|-----------------------------------------------| -| [contrib](./contrib) | mxVision user-contributed sample directory | -| [docs](./docs) | mxVision documentation directory | -| [mxVision](./mxVision) | mxVision official sample directory | -| [tutorials](./tutorials) | mxVision official tutorials directory | +| [contrib](./contrib) | Vision SDK user-contributed sample directory | +| [docs](./docs) | Vision SDK documentation directory | +| [VisionSDK](./VisionSDK) | Vision SDK official sample directory | +| [tutorials](./tutorials) | Vision SDK official tutorials directory | | [mxIndex](./mxIndex) | mxIndex offical sample directory | ## Related Websites -The Ascend Community encourages developers to communicate and learn together. Developers can obtain the latest MindX SDK software, documentation, and other resources through the Ascend Community website; they can also exchange development experiences with other developers through the Ascend Forum. +The Ascend Community encourages developers to communicate and learn together. Developers can obtain the latest Mind SDK software, documentation, and other resources through the Ascend Community website; they can also exchange development experiences with other developers through the Ascend Forum. Ascend Community Website: https://www.hiascend.com/ diff --git a/README.zh.md b/README.zh.md index 92df505e76da9c7bac8b5a138632469e890398e8..3cf6d17ab9abc42c54bd9ffd7a738d1dd165c865 100644 --- a/README.zh.md +++ b/README.zh.md @@ -1,32 +1,29 @@ 中文|[英文](README.md) -# MindX SDK Reference Apps - -[MindX SDK](https://www.hiascend.com/software/mindx-sdk) 是华为推出的软件开发套件(SDK)，提供极简易用、高性能的API和工具，包含mxVision（视觉分析）、mxRAG（知识增强）、mxIndex（特征检索）、mxRec（搜索推荐）等多个SDK，助力昇腾AI处理器赋能各应用场景。 - -为助力开发者快速掌握mxVision和mxIndex接口的使用、快速实现业务功能，本代码仓（mxSdkReferenceApps）提供了基于mxVision和mxIndex开发的各类参考样例。用户可根据自身需求选择相应案例代码。 +# MindSDK Reference Apps +[MindSDK](https://www.hiascend.com/software/mindx-sdk) 是华为推出的软件开发套件(SDK)，提供极简易用、高性能的API和工具，包含Vision SDK（视觉分析）、Index SDK（特征检索）、Rec SDK（搜索推荐）等多个SDK，助力昇腾AI处理器赋能各应用场景。 +为助力开发者快速掌握Vision SDK和Index SDK接口的使用、快速实现业务功能，本代码仓提供了基于Vision SDK和Index SDK开发的各类参考样例。用户可根据自身需求选择相应案例代码。 ## 主要目录结构与说明 | 目录 | 说明 | |---|-------------------------| -| [contrib](./contrib) | mxVision用户贡献样例目录 | -| [docs](./docs) | mxVision文档目录 | -| [mxVision](./mxVision) | mxVision官方应用样例目录 | -| [tutorials](./tutorials) | mxVision官方开发样例和文档参考工程目录 | +| [contrib](./contrib) | Vision SDK用户贡献样例目录 | +| [docs](./docs) | Vision SDK文档目录 | +| [VisionSDK](./VisionSDK) | Vision SDK官方应用样例目录 | +| [tutorials](./tutorials) | Vision SDK官方开发样例和文档参考工程目录 | | [mxIndex](./mxIndex) | mxIndex参考样例目录 | ## 相关网站 -昇腾社区鼓励开发者多交流，共学习。开发者可以通过昇腾社区网站获取最新的MindX SDK的软件、文档等资源；可以通过昇腾论坛与其他开发者交流开发经验。 +昇腾社区鼓励开发者多交流，共学习。开发者可以通过昇腾社区网站获取最新的MindSDK的软件、文档等资源；可以通过昇腾论坛与其他开发者交流开发经验。 昇腾社区网站：https://www.hiascend.com/ 昇腾论坛网站：https://www.hiascend.com/forum/ - ## 免责声明 参考设计不属于商用发布产品，仅供用户参考。如需使用，需要用户自行完成产品化，并进行安全防护，华为不承担安全责任。 diff --git a/contrib/ADNet/README.md b/contrib/ADNet/README.md index 3e4b650accc9e44df57bf4c71f54b633102943e5..e5d4da3ea5eb9ea0eed8f901d9ce31f3b1fabdd0 100644 --- a/contrib/ADNet/README.md +++ b/contrib/ADNet/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -使用 ADNet 模型，在 MindX SDK 环境下实现灰度图像去噪功能。 +使用 ADNet 模型，在 MindSDK 环境下实现灰度图像去噪功能。 由用户设置测试图片，传入到 pipeline 中先后实现前处理，模型推理，后处理等功能，最终输出结果图片实现可视化。 本模型在以下几种情况去噪效果良好：含有目标数量多、含有目标数量少、前景目标面积占比图像较大、前景目标面积占比图像较小、各目标边界清晰。 @@ -38,7 +38,7 @@ pipeline流程如下图所示： ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -58,7 +58,7 @@ pipeline流程如下图所示： ``` ### 1.5 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和mxVision及其要求的配套软件外，还需额外依赖以下python软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下python软件： | 软件名称 | 版本 | | -------- |-----------| diff --git a/contrib/ActionRecognition/README.md b/contrib/ActionRecognition/README.md index a3eb616799b5843626e64f2f7b9fa87c2684a3c5..6e6212bad17b392c8ca668ba5a71471d9886a652 100644 --- a/contrib/ActionRecognition/README.md +++ b/contrib/ActionRecognition/README.md @@ -3,7 +3,7 @@ ## 1 介绍 本开发样例演示动作识别系统 ActionRecgnition，供用户参考。 -本系统基于mxVision SDK进行开发，以昇腾Atlas300卡为主要的硬件平台，主要应用于单人独处、逗留超时、快速移动、剧烈运动、离床检测、攀高检测六种应用场景。 +本系统基于Vision SDK进行开发，以昇腾Atlas300卡为主要的硬件平台，主要应用于单人独处、逗留超时、快速移动、剧烈运动、离床检测、攀高检测六种应用场景。 1. 单人独处：识别出单个人独处场景后报警。 2. 逗留超时：识别出单人或多人在区域内长时间逗留的情况并发出警报。 @@ -28,7 +28,7 @@ | 软件名称 | 版本 | | -------- | ----- | | cmake | 3.5.+ | - | mxVision | 2.0.4 | + | Vision SDK | 2.0.4 | | Python | 3.9.2 | | OpenCV | 3.4.0 | | gcc | 7.5.0 | @@ -133,13 +133,13 @@ ## 5 准备 -**步骤1：** 参考安装教程《mxVision 用户指南》安装 mxVision SDK。 +**步骤1：** 参考安装教程《Vision SDK 用户指南》安装 Vision SDK。 -**步骤2：** 配置 mxVision SDK 环境变量。 +**步骤2：** 配置 Vision SDK 环境变量。 `export MX_SDK_HOME=${安装路径}/mxVision ` -注：本例中mxVision SDK安装路径为 /root/work/MindX_SDK/mxVision。 +注：本例中Vision SDK安装路径为 /root/work/MindX_SDK/mxVision。 **步骤3：** 推荐在${MX_SDK_HOME}/samples下创建ActionRecognition根目录，在项目根目录下创建目录models `mkdir models`，分别为yolov3和ECONet创建一个文件夹，将两个离线模型及各自的配置文件放入文件夹下。[下载地址](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/contrib/ActionRecognition/models.zip)。创建完成后models文件夹下的目录结构如下： @@ -462,7 +462,7 @@ sed -i 's/\r//g' xxx.sh 本项目中用到的模型有：ECONet，yolov3 [备份链接](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/contrib/ActionRecognition/models.zip) yolov3模型下载参考华为昇腾社区[ModelZoo](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/contrib/ActionRecognition/ATC%20YOLOv3%28FP16%29%20from%20TensorFlow%20-%20Ascend310.zip) -使用以下命令进行转换，请注意aipp配置文件名，此处使用的为自带sample中的相关文件（{Mind_SDK安装路径}/mxVision/samples/mxVision/models/yolov3/） +使用以下命令进行转换，请注意aipp配置文件名，此处使用的为自带sample中的相关文件（{Vision SDK安装路径}/mxVision/samples/mxVision/models/yolov3/） ```bash atc --model=./yolov3_tf.pb --framework=3 --output=./yolov3_tf_bs1_fp16 --soc_version=Ascend310 --insert_op_conf=./aipp_yolov3_416_416.aippconfig --input_shape="input:1,416,416,3" --out_nodes="yolov3/yolov3_head/Conv_6/BiasAdd:0;yolov3/yolov3_head/Conv_14/BiasAdd:0;yolov3/yolov3_head/Conv_22/BiasAdd:0" ``` diff --git a/contrib/AutoSpeechRecognition/README.md b/contrib/AutoSpeechRecognition/README.md index 57cf074599f18254ddb33126c7679080b2a98b63..79440dc70a838b581484d41518a4c9fa73ced98d 100644 --- a/contrib/AutoSpeechRecognition/README.md +++ b/contrib/AutoSpeechRecognition/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 - 本开发样例基于MindX SDK实现了端到端的自动语音识别（Automatic speech recognition, ASR）。
+ 本开发样例基于Vision SDK实现了端到端的自动语音识别（Automatic speech recognition, ASR）。
ASR主要分为两个步骤：
**步骤1** 将语音转换成对应的拼音
@@ -17,9 +17,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/contrib/BertTextClassification/README.md b/contrib/BertTextClassification/README.md index 68e1b72f8db43798d03480f4c17eb6ff20779ae5..653fbcabea7efeb1a7b8d80962a9db374ab754a2 100644 --- a/contrib/BertTextClassification/README.md +++ b/contrib/BertTextClassification/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -文本分类插件基于 MindXSDK 开发，在昇腾芯片上进行文本分类，将分类结果保存。输入一段新闻，可以判断该新闻属于哪个类别。 +文本分类插件基于 Vision SDK 开发，在昇腾芯片上进行文本分类，将分类结果保存。输入一段新闻，可以判断该新闻属于哪个类别。 该模型支持5个新闻类别：体育、健康、军事、教育、汽车。 ### 1.2 支持的产品 @@ -13,8 +13,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -113,7 +113,7 @@ cp ./bert_text_classification.om ./mxBase/model/ **步骤2** -将本项目代码/BertTextClassification/sdk/pipeline目录下BertTextClassification.pipeline文件中的第26行的文件路径中出现的 ${SDK目录} 替换成mxVision SDK的安装目录，下面是需要替换的代码片段。 +将本项目代码/BertTextClassification/sdk/pipeline目录下BertTextClassification.pipeline文件中的第26行的文件路径中出现的 ${SDK目录} 替换成Vision SDK的安装目录，下面是需要替换的代码片段。 ``` "postProcessLibPath": "${SDK目录}/lib/modelpostprocessors/libresnet50postprocess.so" ``` diff --git a/contrib/Burpee_Detection/README.md b/contrib/Burpee_Detection/README.md index f99bb2063441c9f886cdc6226eebab072eb2b57c..41ddf07c63ae39ec62294455454ffa98e497ba04 100644 --- a/contrib/Burpee_Detection/README.md +++ b/contrib/Burpee_Detection/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -基于昇腾硬件和MindX SDK 实现波比跳运动检测，并将检测结果保存成视频。 +基于昇腾硬件和Vision SDK 实现波比跳运动检测，并将检测结果保存成视频。 主要流程：通过 live555 服务器进行拉流输入视频，然后进行视频解码，将H.264格式的视频解码为图片，图片缩放后经过模型推理进行波比跳检测，识别结果经过后处理后利用 cv 可视化识别框，以视频的形式输出，同时生成文本文件记录视频中完成的波比跳个数。 注意：本样例主要针对侧面拍摄的波比跳视频进行识别。 @@ -15,8 +15,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/CONTRIBUTING.md b/contrib/CONTRIBUTING.md index 82ce68f2cc4232019329bad849fbf3e19f664f70..3e0623beee433124dd135437093d0d3ca165bbdb 100644 --- a/contrib/CONTRIBUTING.md +++ b/contrib/CONTRIBUTING.md @@ -1,6 +1,6 @@ ### 介绍 -mindxsdk-referenceapps欢迎各位开发者的加入，希望各位开发者遵循社区的行为准则，共同建立一个开放和受欢迎的社区 [ Ascend社区行为准则 1.0 版本]([code-of-conduct_zh_cn.md · Ascend/community - 码云 - 开源中国 (gitee.com)](https://gitee.com/ascend/community/blob/master/code-of-conduct_zh_cn.md)) +mindsdk-referenceapps欢迎各位开发者的加入，希望各位开发者遵循社区的行为准则，共同建立一个开放和受欢迎的社区 [ Ascend社区行为准则 1.0 版本]([code-of-conduct_zh_cn.md · Ascend/community - 码云 - 开源中国 (gitee.com)](https://gitee.com/ascend/community/blob/master/code-of-conduct_zh_cn.md)) ### 贡献要求 @@ -19,7 +19,7 @@ mindxsdk-referenceapps欢迎各位开发者的加入，希望各位开发者遵 | **README** | 包含第三方依赖安装、模型转换、编译、运行指导等内容，能指导端到端使用 | | 代码 | 包含插件开发的C++代码、CMakeLists.txt、python/C++推理运行代码、精度与性能测试代码 | | 配置文件 | 运行时相关配置文件，用于加载相关运行参数的文件 | -| pipeline文件 | MindX SDK的编排文件 | +| pipeline文件 | Mind SDK的编排文件 | | 启动脚本 | 包括编译、运行、测试、模型转换等脚本 | - **典型的目录结构** @@ -49,7 +49,7 @@ mindxsdk-referenceapps欢迎各位开发者的加入，希望各位开发者遵 ### 二、源码 -1、MindX SDK离线推理请使用`C++`或`python`代码，符合第四部分编码规范 +1、Mind SDK离线推理请使用`C++`或`python`代码，符合第四部分编码规范 2、贡献者参考设计代码目录命名规则 @@ -135,7 +135,7 @@ mindxsdk-referenceapps/contrib/参考设计名称(英文) - 关键要求： -1、请将**`mindxsdk-referenceapps`**仓**fork**到个人分支，基于个人分支提交代码到个人**fork仓**，并创建**`Pull Requests`**，提交合并请求到主仓上 +1、请将**`mindsdk-referenceapps`**仓**fork**到个人分支，基于个人分支提交代码到个人**fork仓**，并创建**`Pull Requests`**，提交合并请求到主仓上 **参考Fork+Pull Requests 模式**：https://gitee.com/help/articles/4128#article-header0 diff --git a/contrib/CamouflagedObjectDetection/README.md b/contrib/CamouflagedObjectDetection/README.md index 69fc5a1392333554ba278ef916277939479cf61d..d54e256c94c3429f408e2e202ce2a07eca7cb812 100644 --- a/contrib/CamouflagedObjectDetection/README.md +++ b/contrib/CamouflagedObjectDetection/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -在本系统中，目的是基于MindX SDK，在华为云昇腾平台上，开发端到端**伪装目标检测**的参考设计，实现**对图像中的伪装目标进行识别检测**的功能，达到功能要求 +在本系统中，目的是基于Vision SDK，在华为云昇腾平台上，开发端到端**伪装目标检测**的参考设计，实现**对图像中的伪装目标进行识别检测**的功能，达到功能要求 本项目主要基于用于通用伪装目标检测任务的DGNet模型 @@ -24,8 +24,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/CarPlateRecognition/CMakeLists.txt b/contrib/CarPlateRecognition/CMakeLists.txt index 616390f86cc894b8d3e553b641b30edf1e23ffe0..1cde9afca95435f291d3d31d9c30ded3f89aac38 100644 --- a/contrib/CarPlateRecognition/CMakeLists.txt +++ b/contrib/CarPlateRecognition/CMakeLists.txt @@ -6,7 +6,7 @@ set(TARGET car_plate_recognition) add_compile_options(-std=c++11 -fPIE -fstack-protector-all -fPIC -Wl,-z,relro,-z,now,-z,noexecstack -s -pie -Wall) #添加编译选项 add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0 -Dgoogle=mindxsdk_private) -#设置MindX_SDK的安装路径 +#设置Vision SDK的安装路径 set(MX_SDK_HOME "$ENV{MX_SDK_HOME}") #设置FreeType的安装路径 set(FREETYPE_HOME "$ENV{FREETYPE_HOME}") diff --git a/contrib/CarPlateRecognition/README.md b/contrib/CarPlateRecognition/README.md index f60178bdf887718e3ec46017baf2aee9d4bd4c7e..c96be090b3acbbdc5e8a6f47d0ae261055495585 100644 --- a/contrib/CarPlateRecognition/README.md +++ b/contrib/CarPlateRecognition/README.md @@ -16,9 +16,9 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | ### 1.4 三方依赖 @@ -29,7 +29,7 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 | OpenCV | 4.7.0 | 用于结果可视化 | | FreeType | [2.10.0](https://download.savannah.gnu.org/releases/freetype/) | 用于在图片上写中文（opencv只支持在图片上写英文字符） | -**注**：OpenCV已在MxVision软件包中包含。 +**注**：OpenCV已在Vision SDK软件包中包含。 FreeType编译安装流程如下： @@ -88,7 +88,7 @@ atc --model=./car_plate_recognition/car_plate_recognition.prototxt --weight=./ca ## 4 编译与运行 ### 4.1 修改CMakeLists.txt文件 -第**10**行 `set(MX_SDK_HOME $ENV{MX_SDK_HOME})` 语句是设置MindX SDK的安装路径，一般按第2章设置环境变量后环境中有该变量存在，若没有，则将$ENV{MX_SDK_HOME}替换为用户实际的MindX SDK安装路径。 +第**10**行 `set(MX_SDK_HOME $ENV{MX_SDK_HOME})` 语句是设置Vision SDK的安装路径，一般按第2章设置环境变量后环境中有该变量存在，若没有，则将$ENV{MX_SDK_HOME}替换为用户实际的MindX SDK安装路径。 第**12**行 `set(FREETYPE_HOME $ENV{FREETYPE_HOME})` 语句是设置FreeType库的安装路径，若未设置FREETYPE_HOME环境变量，需将$ENV{FREETYPE_HOME}替换为用户实际的FreeType库安装路径。 diff --git a/contrib/CartoonGANPicture/README.md b/contrib/CartoonGANPicture/README.md index e8635ca2d29d4df42e928d87e28388873f0a3496..bf925a75bb73dbe2291ebda7c450f7d89999a7f6 100644 --- a/contrib/CartoonGANPicture/README.md +++ b/contrib/CartoonGANPicture/README.md @@ -31,9 +31,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/CenterFace/README.md b/contrib/CenterFace/README.md index 854f2e2dd850de9a769dabc7ecdcba87f6ef7ba5..c7a522dd30c9c9443030881f7928152538351d79 100644 --- a/contrib/CenterFace/README.md +++ b/contrib/CenterFace/README.md @@ -3,11 +3,11 @@ ## 1 介绍 ### 1.1 简介 -本样例基于mxVision开发，在昇腾芯片上对输入图片进行目标和关键点检测，将检测结果可视化并保存。 +本样例基于Vision SDK开发，在昇腾芯片上对输入图片进行目标和关键点检测，将检测结果可视化并保存。 目标检测指对输入图片输出目标检测框，关键点检测则指输出包括双眼，鼻尖和嘴巴两边在内的五个关键点。本方案模型推理采用CenterFace(一个轻量化的目标检测模型，同时实现了目标检测+关键点检测)，对模型的输出开发两个后处理插件——目标检测插件和关键点检测插件，分别对目标目标框和关键点信息进行了可视化处理。 -基于mxVision的目标检测和关键点模型(动态分辨率)推理流程为： +基于Vision SDK的目标检测和关键点模型(动态分辨率)推理流程为： 待检测图片通过appsrc插件输入，然后使用图像解码mxpi_imagedecoder对图片进行解码，再通过图像缩放插件mxpi_imageresize将图形缩放至合适的分辨率档位，缩放后的图形输入模型推理插件mxpi_tensorinfer得到模型输出。本项目开发的模型后处理插件包括目标检测和关键点检测两部分；模型推理得到的结果分别送入两个后处理插件。目标检测插件用来得到目标目标框，关键点检测插件得到五个关键点。目标检测插件的结果可同图片mxpi_imagedecoder结果送入OSD可视化插件，和关键点检测插件通过appsink完成整个pipeline的流程，最后在外部使用opencv对目标和关键点进行可视化描绘并保存。本系统的各模块及功能如表1所示： @@ -37,7 +37,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -102,7 +102,7 @@ atc --model=centerface_offical.onnx --output=centerface_offical --dynamic_image_ **步骤1：编译** -进入mxVision安装目录的`operators/opencvosd`目录下执行以下命令： +进入Vision SDK安装目录的`operators/opencvosd`目录下执行以下命令： ``` bash generate_osd_om.sh diff --git a/contrib/CenterNet/README.md b/contrib/CenterNet/README.md index e1ee5c243ea17367619d1c4faa1d96bc27c641fc..32d8fa934c375cdd3bbde609e245aef69036cf82 100644 --- a/contrib/CenterNet/README.md +++ b/contrib/CenterNet/README.md @@ -1,7 +1,7 @@ # CenterNet 目标检测 ## 1. 介绍 ### 1.1 简介 -CenterNet 目标检测后处理插件基于 MindX SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 CenterNet 模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 +CenterNet 目标检测后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 CenterNet 模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 整体业务流程为：待检测图片通过 appsrc 插件输入，然后使用图像解码插件 mxpi_imagedecoder 对图片进行解码，再通过图像缩放插件 mxpi_imageresize 将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件 mxpi_tensorinfer 得到推理结果，推理结果输入 mxpi_objectpostprocessor 插件进行后处理，得到输入图片中所有的目标框位置和对应的置信度。最后通过输出插件 appsink 获取检测结果，并在外部进行可视化，将检测结果标记到原图上. ### 1.2 支持的产品 @@ -11,13 +11,13 @@ CenterNet 目标检测后处理插件基于 MindX SDK 开发，对图片中的 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需额外依赖以下软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： | 软件名称 | 版本 | |--------|----------| diff --git a/contrib/Collision/README.md b/contrib/Collision/README.md index 974e073c5e38e51c6961da79e60fc7dd163a5061..9401e250ee7c3806c981ad0f8c99fbe6e0adff39 100644 --- a/contrib/Collision/README.md +++ b/contrib/Collision/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -此项目的碰撞插件基于mxVision开发，在昇腾芯片上进行目标检测和跟踪，可以对车辆进行画框和编号，检测到车辆碰撞后，可将动向编号提示为“Collision”并将检测结果可视化并保存。 +此项目的碰撞插件基于Vision SDK开发，在昇腾芯片上进行目标检测和跟踪，可以对车辆进行画框和编号，检测到车辆碰撞后，可将动向编号提示为“Collision”并将检测结果可视化并保存。 项目主要流程为：通过live555服务器进行拉流输入视频，然后进行视频解码将264格式的视频解码为YUV格式的图片，图片缩放后经过模型推理进行车辆识别，识别结果经过yolov3后处理后得到识别框，对识别框进行跟踪并编号，用编号覆盖原有的类别信息，如检测到车辆发生碰撞，碰撞的车辆的编号将会被“Collision”所替换，再将识别框和类别信息分别转绘到图片上，最后将图片编码成视频进行输出。 @@ -45,7 +45,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -135,7 +135,7 @@ ATC run success, welcome to the next use. **步骤3：** 编译 -进入mxVision安装目录的`operators/opencvosd`目录下执行命令： +进入Vision SDK安装目录的`operators/opencvosd`目录下执行命令： ``` bash generate_osd_om.sh diff --git a/contrib/Colorization/README.md b/contrib/Colorization/README.md index eb6fbda07a44ba058440e31abb3847ff3fe560bc..4330c4350c82a0d120b0f34b683b5c501f503b71 100644 --- a/contrib/Colorization/README.md +++ b/contrib/Colorization/README.md @@ -13,9 +13,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/CrowdCounting/README.md b/contrib/CrowdCounting/README.md index b8c1bf140618d0d19122b008b91ab71c08c30ff1..8ce663bd0236267e3b811e215c86bda128e95ea6 100644 --- a/contrib/CrowdCounting/README.md +++ b/contrib/CrowdCounting/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例是基于MindX SDK开发的端到端推理的C++应用程序，可进行人群计数目标检测，并把可视化结果保存到本地。 +本开发样例是基于Vision SDK开发的端到端推理的C++应用程序，可进行人群计数目标检测，并把可视化结果保存到本地。 该Sample的主要处理流程为： Init > ReadImage >Resize > Inference >PostProcess >DeInit 技术实现流程图： @@ -14,9 +14,9 @@ 本项目支持昇腾Atlas 500 A2。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- |---------| -------------- | | 5.0.0 |7.0.0 | 23.0.0 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/DocumentLayoutAnalysis/README.md b/contrib/DocumentLayoutAnalysis/README.md index 82ad7f5a4638ba024733f7ea45fe2945a340d2d6..df5cb85b0cc3eff853fc320f23ca263197628add 100644 --- a/contrib/DocumentLayoutAnalysis/README.md +++ b/contrib/DocumentLayoutAnalysis/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -在本系统中，目的是基于MindX Vision，在昇腾平台上，开发端到端文档版面分析的参考设计，实现对图像中的文档识别的功能，并把可视化结果保存到本地。具体来说，在本方案中，通过将onnx格式的文档版面分析模型转成华为晟腾的om模型。将传入的图片做解码、resize、色域转换和归一化之后放入模型推理，推理结果再经过后处理和可视化之后，形成框出版面内容并标有版面类型与置信度的图片。流程图如下所示： +在本系统中，目的是基于Vision SDK，在昇腾平台上，开发端到端文档版面分析的参考设计，实现对图像中的文档识别的功能，并把可视化结果保存到本地。具体来说，在本方案中，通过将onnx格式的文档版面分析模型转成华为晟腾的om模型。将传入的图片做解码、resize、色域转换和归一化之后放入模型推理，推理结果再经过后处理和可视化之后，形成框出版面内容并标有版面类型与置信度的图片。流程图如下所示： ![process](./image/process.png) @@ -14,7 +14,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -23,7 +23,7 @@ ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需依赖以下组件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需依赖以下组件： | 软件名称 | 版本 | | :--------: | :------: | diff --git a/contrib/DriverStatusRecognition/README.md b/contrib/DriverStatusRecognition/README.md index 7d45b0f6b90bdfeabec6d6ae10c9accd937e9287..50a6be8d6db9ff83a499fd899c60d720362b69e5 100644 --- a/contrib/DriverStatusRecognition/README.md +++ b/contrib/DriverStatusRecognition/README.md @@ -13,7 +13,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/EdgeDetectionPicture/README.md b/contrib/EdgeDetectionPicture/README.md index ee63cd5e6af748ec1112fe191ad0672d37d1c2d1..2a010fbf1217b7bc4d7ecc868c1be7c6c45151f2 100644 --- a/contrib/EdgeDetectionPicture/README.md +++ b/contrib/EdgeDetectionPicture/README.md @@ -13,9 +13,9 @@ Init > ReadImage >Resize > Inference >PostProcess >DeInit 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/EfficientDet/README.md b/contrib/EfficientDet/README.md index 8d499c0e36b14afd6afef4371a8b459b953457bd..e54d767908a67349545853048abdf750b5512262 100644 --- a/contrib/EfficientDet/README.md +++ b/contrib/EfficientDet/README.md @@ -2,7 +2,7 @@ ## 1. 介绍 ### 1.1 简介 -EfficientDet 目标检测后处理插件基于 mxVision 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同颜色的矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 EfficientDet 模型进行目标检测，数据集中共包含 90 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 +EfficientDet 目标检测后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同颜色的矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 EfficientDet 模型进行目标检测，数据集中共包含 90 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 ### 1.2 支持的产品 @@ -11,7 +11,7 @@ EfficientDet 目标检测后处理插件基于 mxVision 开发，对图片中的 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/ErfnetSegmentation/README.md b/contrib/ErfnetSegmentation/README.md index fe57f9545fe76c2e0c64ca0dbf70373b6be7f655..36ac81901661e1b697cfe41f10b8a41d5d3565cd 100644 --- a/contrib/ErfnetSegmentation/README.md +++ b/contrib/ErfnetSegmentation/README.md @@ -58,7 +58,7 @@ ErfNet原论文使用街景图片来进行语义分割任务的测试，ErfNet | 软件名称 | 版本 | 说明 | 获取方式 | | ------------------- | ----------- | ----------------------------- | ------------------------------------------------------------ | -| MindX SDK | 2.0.4 | mxVision软件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2FMindx-sdk) | +| Vision SDK | 2.0.4 | Vision SDK软件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2FMindx-sdk) | | ubuntu | 18.04.1 LTS | 操作系统 | Ubuntu官网获取 | | Ascend-CANN-toolkit | 5.0.4 | Ascend-cann-toolkit开发套件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2Fcann%2Fcommercial) | | python | 3.9.2 | | | diff --git a/contrib/FCOS/README.md b/contrib/FCOS/README.md index 64049f7710ab6daba0896b6114425bba1b2f3cdf..b33de11116822b6db3136c3c03b9a2f43132e73c 100644 --- a/contrib/FCOS/README.md +++ b/contrib/FCOS/README.md @@ -6,7 +6,7 @@ 本开发项目演示FCOS模型实现目标检测。本项目使用的模型是FCOS目标检测模型这个模型是一个无anchor检测器。FCOS直接把预测特征图上的每个位置$(x,y)$当作训练样本，若这个位置在某个ground truth box的内部，则视为正样本，该位置的类别标签$c$对应这个box的类别，反之则视为负样本。这个网络的输出为目标框的左上角坐标、右下角坐标、类别和置信度。 -本系统基于mxVision SDK进行开发，主要实现目标检测。待检测的图片中物体不能被遮挡太严重，并且物体要完全出现在图片中。图片亮度不能过低。输入一张图片，最后会输出图片中能检测到的物体信息、并输出可视化结果图片。 +本系统基于Vision SDK进行开发，主要实现目标检测。待检测的图片中物体不能被遮挡太严重，并且物体要完全出现在图片中。图片亮度不能过低。输入一张图片，最后会输出图片中能检测到的物体信息、并输出可视化结果图片。 本项目实现对输入的图片进行目标检测，整体流程如下： @@ -20,13 +20,13 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需额外依赖以下软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： | 软件名称 | 版本 | |---------------|----------| diff --git a/contrib/FaceBoxes/README.md b/contrib/FaceBoxes/README.md index 9d86a8307eca7af7c3a7d363f2e43e10036e8577..1ef8cab099074fdcc717a29381155311c772e447 100644 --- a/contrib/FaceBoxes/README.md +++ b/contrib/FaceBoxes/README.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -本开发项目基于mxVision SDK，用Faceboxes模型实现目标检测。 +本开发项目基于Vision SDK，用Faceboxes模型实现目标检测。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/FairMOT/README.md b/contrib/FairMOT/README.md index 4edb7969475093dbd5dd307a2aa4e9f23003df5a..b0f10fd2c0e991b5290dfeb1b4be0eee17976592 100644 --- a/contrib/FairMOT/README.md +++ b/contrib/FairMOT/README.md @@ -3,9 +3,9 @@ ## 1 介绍 ### 1.1 简介 -FairMOT目标跟踪后处理插件基于MindX SDK开发，在昇腾芯片上进行目标检测和跟踪，可以对行人进行画框和编号，将检测结果可视化并保存。项目主要流程为：通过live555服务器进行拉流输入视频，然后进行视频解码将264格式的视频解码为YUV格式的图片，图片缩放后经过模型推理进行行人识别，识别结果经过FairMOT后处理后得到识别框，对识别框进行跟踪并编号，用编号覆盖原有的类别信息，再将识别框和类别信息分别转绘到图片上，最后将图片编码成视频进行输出。 +FairMOT目标跟踪后处理插件基于Vision SDK开发，在昇腾芯片上进行目标检测和跟踪，可以对行人进行画框和编号，将检测结果可视化并保存。项目主要流程为：通过live555服务器进行拉流输入视频，然后进行视频解码将264格式的视频解码为YUV格式的图片，图片缩放后经过模型推理进行行人识别，识别结果经过FairMOT后处理后得到识别框，对识别框进行跟踪并编号，用编号覆盖原有的类别信息，再将识别框和类别信息分别转绘到图片上，最后将图片编码成视频进行输出。 -基于MindX SDK的FairMOT目标识别业务流程为：待检测视频存放在live555服务器上经mxpi_rtspsrc拉流插件输入，然后使用视频解码插件mxpi_videodecoder将视频解码成图片，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，本项目开发的FairMOT后处理插件处理推理结果，得到识别框。再接入跟踪插件中识别框进行目标跟踪，得到目标的跟踪编号，然后在使用本项目开发的mxpi_trackidreplaceclassname插件将跟踪编号覆盖类名信息，使用mxpi_object2osdinstances和mxpi_opencvosd分别将识别框和类名（存储跟踪编号）绘制到原图片，再通过mxpi_videoencoder将图片合成视频。 +基于Vision SDK的FairMOT目标识别业务流程为：待检测视频存放在live555服务器上经mxpi_rtspsrc拉流插件输入，然后使用视频解码插件mxpi_videodecoder将视频解码成图片，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，本项目开发的FairMOT后处理插件处理推理结果，得到识别框。再接入跟踪插件中识别框进行目标跟踪，得到目标的跟踪编号，然后在使用本项目开发的mxpi_trackidreplaceclassname插件将跟踪编号覆盖类名信息，使用mxpi_object2osdinstances和mxpi_opencvosd分别将识别框和类名（存储跟踪编号）绘制到原图片，再通过mxpi_videoencoder将图片合成视频。 表1.1 系统方案各子系统功能描述： @@ -34,9 +34,9 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | @@ -111,7 +111,7 @@ ATC run success, welcome to the next use. ### 3.2 osd相关的模型转换 -请执行mxVision软件包安装目录下operators/opencvosd/generate_osd_om.sh脚本生成所需模型文件。执行后终端输出为： +请执行Vision SDK软件包安装目录下operators/opencvosd/generate_osd_om.sh脚本生成所需模型文件。执行后终端输出为： ``` ATC start working now, please wait for a moment. diff --git a/contrib/FastSCNN/README.md b/contrib/FastSCNN/README.md index e9161c9c57f2880154b873361ad00530e3a7b30d..e5297d5f38d60ee5fe54d73938e9b3e738d8bd1e 100644 --- a/contrib/FastSCNN/README.md +++ b/contrib/FastSCNN/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 - 使用fastscnn模型，在MindxSDK环境下实现语义分割功能 + 使用fastscnn模型，在Vision SDK环境下实现语义分割功能 由用户设置测试图片，传入到pipeline中先后实现前处理，模型推理，后处理等功能，最终输出结果图片实现可视化 Fast-SCNN 是一个面向实时的语义分割网络。 在双分支的结构基础上，大量使用了深度可分离卷积和逆残差模块，并且使用特征融合构造金字塔池化模块来融合上下文信息。 @@ -44,8 +44,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/Faster_R-CNN/README.md b/contrib/Faster_R-CNN/README.md index 65e01151b6ab708a88a866a9b7de96c9b6c548c7..092ee6743819b3fb269a33acd0ef042b977700ec 100644 --- a/contrib/Faster_R-CNN/README.md +++ b/contrib/Faster_R-CNN/README.md @@ -3,7 +3,7 @@ ## 1. 介绍 ### 1.1 简介 -在本系统中，目的是基于MindX SDK，在昇腾平台上，开发端到端X射线图像焊缝缺陷检测的参考设计，实现对图像中的焊缝缺陷进行缺陷类别识别的功能，并把可视化结果保存到本地，达到功能要求。 +在本系统中，目的是基于Vision SDK，在昇腾平台上，开发端到端X射线图像焊缝缺陷检测的参考设计，实现对图像中的焊缝缺陷进行缺陷类别识别的功能，并把可视化结果保存到本地，达到功能要求。 样例输入：带有已裁剪出焊缝的jpg图片。 @@ -40,8 +40,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | diff --git a/contrib/FatigueDrivingRecognition/README.md b/contrib/FatigueDrivingRecognition/README.md index 3a7f047a414baf36964989485657be98926621d5..ba52e7dc895ff562d3d2594077264b2ca1830eaa 100644 --- a/contrib/FatigueDrivingRecognition/README.md +++ b/contrib/FatigueDrivingRecognition/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例演示驾驶人员疲劳状态识别系统（Fatigue driving recognition），供用户参考。本系统基于mxVision SDK进行开发，实现在驾驶环境下驾驶人员疲劳状态识别与预警。项目的整体流程如下： +本开发样例演示驾驶人员疲劳状态识别系统（Fatigue driving recognition），供用户参考。本系统基于Vision SDK进行开发，实现在驾驶环境下驾驶人员疲劳状态识别与预警。项目的整体流程如下： 1. 利用目标检测模型采集视频中的目标图像 2. 利用PFLD模型进行目标关键点检测，获取眼部位置信息 3. 通过计算度量疲劳/瞌睡的物理量识别驾驶人员的疲劳状态 @@ -12,8 +12,8 @@ Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/FireDetection/c++/README.md b/contrib/FireDetection/c++/README.md index 233571bfc003e6ced1be3883384bf5240a01fe5c..d0406f6e70639f3465cc3bc1488b94ce4ffee58e 100644 --- a/contrib/FireDetection/c++/README.md +++ b/contrib/FireDetection/c++/README.md @@ -3,21 +3,21 @@ ## 1 介绍 ### 1.1 简介 -高速公路车辆火灾识别基于 mxVision SDK 开发，在 Atlas 300V、Atlas 300V Pro 上进行目标检测。项目主要流程为：通过ffmpeg打开本地视频文件、模拟视频流，然后进行视频解码，解码结果经过模型推理进行火灾和烟雾检测，如果检测到烟雾和火灾则在日志中进行告警。解码后的视频图像会编码保存至指定位置。 +高速公路车辆火灾识别基于 Vision SDK 开发，在 Atlas 300V、Atlas 300V Pro 上进行目标检测。项目主要流程为：通过ffmpeg打开本地视频文件、模拟视频流，然后进行视频解码，解码结果经过模型推理进行火灾和烟雾检测，如果检测到烟雾和火灾则在日志中进行告警。解码后的视频图像会编码保存至指定位置。 ### 1.2 支持的产品 支持Atlas 300V和Atlas 300V Pro。 ### 1.3 支持的版本 - | MxVision版本 | CANN版本 | Driver/Firmware版本 | + | Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需额外依赖以下软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： | 软件名称 | 版本 | |--------| ------ | diff --git a/contrib/FireDetection/python/README.md b/contrib/FireDetection/python/README.md index 880d0637b2c6af3e97d04ae0e0c914b790dbcbbd..45c3020a05b57c3aafd31dd4050ebc34cba384f8 100644 --- a/contrib/FireDetection/python/README.md +++ b/contrib/FireDetection/python/README.md @@ -3,20 +3,20 @@ ## 1 介绍 ### 1.1 简介 -高速公路车辆火灾识别基于mxVision SDK 开发，在 Atlas 300V、Atlas 300V Pro 上进行目标检测。项目主要流程为：通过av模块打开本地视频文件、模拟视频流，然后进行视频解码，解码结果经过模型推理进行火灾和烟雾检测，如果检测到烟雾和火灾则在日志中进行告警。解码后的视频图像会再次编码保存至指定位置。 +高速公路车辆火灾识别基于Vision SDK 开发，在 Atlas 300V、Atlas 300V Pro 上进行目标检测。项目主要流程为：通过av模块打开本地视频文件、模拟视频流，然后进行视频解码，解码结果经过模型推理进行火灾和烟雾检测，如果检测到烟雾和火灾则在日志中进行告警。解码后的视频图像会再次编码保存至指定位置。 ### 1.2 支持的产品 支持Atlas 300V和Atlas 300V Pro。 ### 1.3 支持的版本 - | MxVision版本 | CANN版本 | Driver/Firmware版本 | + | Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和mxVision及其要求的配套软件外，还需额外依赖以下python软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下python软件： | 软件名称 | 版本 | | -------- | ------ | diff --git a/contrib/GestureKeypointDetection/README.md b/contrib/GestureKeypointDetection/README.md index 81ef2ecb4d38ccbd9dab1b8f68c93c784384a9cf..2a48ea49588bc96e67266625fbf27bd80b23b37c 100644 --- a/contrib/GestureKeypointDetection/README.md +++ b/contrib/GestureKeypointDetection/README.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -手势关键点检测样例基于MxVision开发，实现人手检测以及手势关键点检测，将检测结果可视化并保存。 +手势关键点检测样例基于Vision SDK开发，实现人手检测以及手势关键点检测，将检测结果可视化并保存。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/HelmetIdentification/README.md b/contrib/HelmetIdentification/README.md index 8d16e20d6cbbebd2a7c434e53e820e5d909fa9ba..85e849de06e067eabd765c42e43d589ecf273273 100644 --- a/contrib/HelmetIdentification/README.md +++ b/contrib/HelmetIdentification/README.md @@ -14,15 +14,15 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |--------------- | ---------------------------------- | ----------| | 5.0.0 | 7.0.0 | 23.0.0| |6.0.RC2 | 8.0.RC2 | 24.1.RC2| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | -MindX SDK安装前准备可参考《用户指南》，[安装教程](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/quickStart/1-1安装SDK开发套件.md)。 +Vision SDK安装前准备可参考《用户指南》，[安装教程](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/quickStart/1-1安装SDK开发套件.md)。 ### 1.4 三方依赖 环境依赖软件和版本如下表： @@ -60,7 +60,7 @@ MindX SDK安装前准备可参考《用户指南》，[安装教程](https://git ``` ## 2 设置环境变量 -设置CANN及MindX SDK相关的环境变量： +设置CANN及MindSDK相关的环境变量： ```shell . /usr/local/Ascend/ascend-toolkit/set_env.sh # Ascend-cann-toolkit开发套件包默认安装路径，根据实际安装路径修改 diff --git a/contrib/IAT/README.md b/contrib/IAT/README.md index 231c368b20da287cbf23f1ef252f733b2188fdb0..6881e10b76ebf453b72b2325bae9b3c1e72eb519 100644 --- a/contrib/IAT/README.md +++ b/contrib/IAT/README.md @@ -3,7 +3,7 @@ ## 1、 介绍 ### 1.1 简介 -基于昇腾硬件和MindX SDK 实现 IAT 模型的推理，增强低光图片的功能。 +基于昇腾硬件和Vision SDK 实现 IAT 模型的推理，增强低光图片的功能。 ### 1.2 支持的产品 @@ -11,8 +11,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/Individual/README.md b/contrib/Individual/README.md index dc05a586a1e6f3435db50fd14ce40bf4e74b2cb3..57ba1aecfec4fa265549be1cc09dca2a092ce89c 100644 --- a/contrib/Individual/README.md +++ b/contrib/Individual/README.md @@ -1,7 +1,7 @@ # Individual attribute recognition ## 1 介绍 -本开发样例完成个体属性识别功能，供用户参考。本系统基于mxVision SDK进行开发，以昇腾Atlas310卡为主要的硬件平台，开发端到端准确识别多种目标属性信息，包括年龄、性别、颜值、情绪、脸型、胡须、发色、是否闭眼、是否配戴眼镜、目标质量信息及类型等。 +本开发样例完成个体属性识别功能，供用户参考。本系统基于Vision SDK进行开发，以昇腾Atlas310卡为主要的硬件平台，开发端到端准确识别多种目标属性信息，包括年龄、性别、颜值、情绪、脸型、胡须、发色、是否闭眼、是否配戴眼镜、目标质量信息及类型等。 本项目的试用场景为：包含目标的半身图像。其中，图像要求正脸或者微侧脸，允许遮挡嘴部（戴口罩），不支持遮挡鼻子以上的脸部照片，允许佩戴眼镜，但不支持过多遮挡面部。完全侧脸的图像可能存在问题。支持多张目标处于同一张图像中，但是要求尽量让目标尺寸较大。最大支持范围半身照，全身照可能由于目标尺寸问题导致识别错误。 本项目在半身正面肖像照表现最佳，如果是大头照，需要填充背景区域以达到目标能够精确检测的目的，要求目标必须全部处于图像区域内，且占比不超过80%，部分图像可能需要填充背景。本项目支持的图像尺寸为32x32以上，支持的分辨率格式最佳为1024x1455。 最后输出时能够输出一个属性序列，图像存在的属性在序列中的值为1，不存在的属性在序列中的值为0。 @@ -24,9 +24,9 @@ HDK版本号查询方法，在Atlas产品环境下，运行命令：npu-smi info 表1.1 系统方案中各模块功能： | 序号 | 子系统 | 功能描述 | |----|--------|------------------------------------------------------------------------| -| 1 | 图像输入 | 调用MindX SDK的appsrc插件对视频数据进行拉流 | +| 1 | 图像输入 | 调用Vision SDK的appsrc插件对视频数据进行拉流 | | 2 | 目标检测 | 利用yolov4的检测模型，检测出图片中目标 | -| 3 | 图像放缩 | 调用MindX SDK的mxpi_imageresize | +| 3 | 图像放缩 | 调用Vision SDK的mxpi_imageresize | | 4 | 关键点提取 | 通过目标关键点提取模型，获取目标图片中的目标关键点数据。 | | 5 | 目标对齐 | 通过目标关键点实现目标对齐 | | 6 | 目标属性识别 | 通过目标属性识别模型对目标对齐后的图片提取目标属性，选取的模型为caffe框架下的FaceAttribute-FAN，需要使用转换工具转化。 | @@ -76,7 +76,7 @@ HDK版本号查询方法，在Atlas产品环境下，运行命令：npu-smi info | 软件名称 | 版本 | |----------|-------| | cmake | 3.5.+ | -| mxVision | 5.0.0 | +| Vision SDK | 5.0.0 | | python | 3.9.2 | 模型转换所需ATC工具环境搭建参考链接：https://gitee.com/ascend/docs-openmind/blob/master/guide/mindx/sdk/tutorials/%E5%8F%82%E8%80%83%E8%B5%84%E6%96%99.md @@ -84,14 +84,14 @@ HDK版本号查询方法，在Atlas产品环境下，运行命令：npu-smi info 在编译运行项目前，需要设置环境变量： -步骤1：安装mxVision SDK。 +步骤1：安装Vision SDK。 -步骤2：配置mxVision SDK环境变量、lib库环境变量以及python环境变量。 +步骤2：配置Vision SDK环境变量、lib库环境变量以及python环境变量。 执行 ``` . ${MX_SDK_HOME}/set_env.sh ``` -${MX_SDK_HOME}为mxVision SDK安装路径。 +${MX_SDK_HOME}为Vision SDK安装路径。 或者手动导入环境变量 ``` @@ -142,7 +142,7 @@ atc --input_shape="data:1,3,224,224" --weight="single.caffemodel" --input_format 项目运行数据集为Img下img_celeba.7z，运行评测代码所需数据集为Img下img_align_celeba **步骤2** -在安装mxVision SDK后，配置SDK安装路径、lib路径以及python路径，这些路径需要根据用户实际情况配置，例如SDK安装路径需要与用户本身安装路径一致，不一致将导致环境错误。同理，lib路径与python路径，都需要与实际情况一致。将下载的模型文件以及其他配置文件放到项目路径中，与pipeline内路径对应。修改pipeline内路径与模型文件一致。后处理插件需要人工运行代码进行转化，运行项目下的build.sh生成so文件，so文件生成在plugins下的build目录下，修改该文件权限为440。将so文件放到相应的路径下后（例如models/），文件配置工作完成。 +在安装Vision SDK后，配置SDK安装路径、lib路径以及python路径，这些路径需要根据用户实际情况配置，例如SDK安装路径需要与用户本身安装路径一致，不一致将导致环境错误。同理，lib路径与python路径，都需要与实际情况一致。将下载的模型文件以及其他配置文件放到项目路径中，与pipeline内路径对应。修改pipeline内路径与模型文件一致。后处理插件需要人工运行代码进行转化，运行项目下的build.sh生成so文件，so文件生成在plugins下的build目录下，修改该文件权限为440。将so文件放到相应的路径下后（例如models/），文件配置工作完成。 需要修改路径的位置如下： diff --git a/contrib/MMNET/README.md b/contrib/MMNET/README.md index 7617c0921b0e36881718710bf9d7872468ea3eb8..ce136194fcaca2023ab49413f26efb418b214836 100644 --- a/contrib/MMNET/README.md +++ b/contrib/MMNET/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 MMNet致力于解决移动设备上人像抠图的问题，旨在以最小的模型性能降级在移动设备上获得实时推断。MMNet模型基多分支dilated conv以及线性bottleneck模块，性能优于最新模型，并且速度提高了几个数量级。 -本开发样例基于MindX SDK实现人像分割的功能，其主要功能是利用MMNET模型对输入图片中的人像进行灰度提取，从而与背景分离开，生成一张人像分割图片。 +本开发样例基于Vision SDK实现人像分割的功能，其主要功能是利用MMNET模型对输入图片中的人像进行灰度提取，从而与背景分离开，生成一张人像分割图片。 本项目能够针对人像清晰的图像完成人像分割任务并实现可视化。对于大部分人像图片，在图像清晰且人像在图片中占据较大比例的情况下都可以进行正确识别。但由于MMNET原算法的局限性，在部分情况下识别效果较差，具体如下： @@ -27,7 +27,7 @@ MMNet致力于解决移动设备上人像抠图的问题，旨在以最小的模 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -59,7 +59,7 @@ MMNet致力于解决移动设备上人像抠图的问题，旨在以最小的模 #设置CANN环境变量，ascend-toolkit-path为cann安装路径 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/contrib/MediaCodeV2/README.md b/contrib/MediaCodeV2/README.md index e8092316a0951eceeaf18420cc4135148127b722..5d3f0db1a2defc9692200220186e02b781a4d51c 100644 --- a/contrib/MediaCodeV2/README.md +++ b/contrib/MediaCodeV2/README.md @@ -2,7 +2,7 @@ ## 1 介绍 -基于MindX SDK mxVision开发Media Codec的程序。本程序采用c++开发，使用MxBase V2接口。通过FFmpeg的拉流操作对输入的视频数据进行处理，将拉流后的帧数据进行视频解码处理为YUV格式图片，并将处理过的帧图片进行缩放到要求的尺寸。然后将缩放过的帧图片进行视频编码处理。最后，将编码后得到的数据写入文件，可以与原视频进行对比。注意需要自行准备视频进行验证。视频转码不止可以进行一路的视频转码，还可以进行多路视频转码，提高转码效率。 +基于Vision SDK 开发Media Codec的程序。本程序采用c++开发，使用MxBase V2接口。通过FFmpeg的拉流操作对输入的视频数据进行处理，将拉流后的帧数据进行视频解码处理为YUV格式图片，并将处理过的帧图片进行缩放到要求的尺寸。然后将缩放过的帧图片进行视频编码处理。最后，将编码后得到的数据写入文件，可以与原视频进行对比。注意需要自行准备视频进行验证。视频转码不止可以进行一路的视频转码，还可以进行多路视频转码，提高转码效率。 程序输入：任意.h264格式或者.264格式视频。 @@ -18,7 +18,7 @@ X86_64+Atlas 300I 推理卡（型号3010）和 ARM+Atlas 300I 推理卡 （型 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +|Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | @@ -65,7 +65,7 @@ MediaCodecV2是基于v2接口的视频转码，适用于.h264格式或者.264格 ## 2 设置环境变量 ``` -# MindX SDK环境变量: +# Vision SDK环境变量: .${SDK-path}/set_env.sh # CANN环境变量: @@ -75,7 +75,7 @@ MediaCodecV2是基于v2接口的视频转码，适用于.h264格式或者.264格 export LD_LIBRARY_PATH=${FFmpeg安装路径}/lib:$LD_LIBRARY_PATH # 环境变量介绍 -SDK-path:SDK mxVision安装路径 +SDK-path:Vision SDK安装路径 ascend-toolkit-path:CANN安装路径 # 查看环境变量 diff --git a/contrib/MeterReader/README.md b/contrib/MeterReader/README.md index ec4f2025f271ab5a2961d99697d18706d0984c06..59191b6f283f94704717036d489ed6d0cb4ae72b 100644 --- a/contrib/MeterReader/README.md +++ b/contrib/MeterReader/README.md @@ -5,7 +5,7 @@ 在电力能源厂区需要定期监测表计读数，以保证设备正常运行及厂区安全。但厂区分布分散，人工巡检耗时长，无法实时监测表计，且部分工作环境危险导致人工巡检无法触达。针对上述问题，希望通过摄像头拍照后利用计算机智能读数的方式高效地完成此任务。 -在本系统中，目的是基于MindX SDK，在华为云昇腾平台上，开发端到端工业指针型表计读数的参考设计，实现对传统机械式指针表计的检测与自动读数功能，达到功能要求。 +在本系统中，目的是基于Vision SDK，在华为云昇腾平台上，开发端到端工业指针型表计读数的参考设计，实现对传统机械式指针表计的检测与自动读数功能，达到功能要求。 @@ -17,16 +17,16 @@ | 序号 | 子系统 | 功能描述 | | :------------ | :---------- | :---------- | -| 1 | 图像输入 | 调用MindX SDK的appsrc输入图片| -| 2 | 图像解码 | 调用MindX SDK的mxpi_imagedecoder输入图片| -| 3 | 图像放缩 | 调用MindX SDK的mxpi_imageresize，放缩到1024*576大小 | -| 4 | 工业表检测 | 调用MindX SDK的mxpi_tensorinfer，使用YOLOv5的检测模型，检测出图片中车辆| +| 1 | 图像输入 | 调用Vision SDK的appsrc输入图片| +| 2 | 图像解码 | 调用Vision SDK的mxpi_imagedecoder输入图片| +| 3 | 图像放缩 | 调用Vision SDK的mxpi_imageresize，放缩到1024*576大小 | +| 4 | 工业表检测 | 调用Vision SDK的mxpi_tensorinfer，使用YOLOv5的检测模型，检测出图片中车辆| | 5 | 保存工业表的图像 | 将YOLOv5检测到的工业表结果保存图片| -| 6 | 图像输入| 调用MindX SDK的appsrc输入检测到的工业表 | -| 7 | 图像解码 | 调用MindX SDK的mxpi_imagedecoder输入图片| -| 8 | 图像放缩 | 调用MindX SDK的mxpi_imageresize，放缩到512*512大小 -| 9 | 指针刻度检测 | 调用MindX SDK的mxpi_tensorinfer，使用DeepLabv3语义分割模型，检测图像中的指针与刻度| -| 10 | 模型后处理 | 调用MindX mxpi_semanticsegpostprocessor，得到语义分割的结果| +| 6 | 图像输入| 调用Vision SDK的appsrc输入检测到的工业表 | +| 7 | 图像解码 | 调用Vision SDK的mxpi_imagedecoder输入图片| +| 8 | 图像放缩 | 调用Vision SDK的mxpi_imageresize，放缩到512*512大小 +| 9 | 指针刻度检测 | 调用Vision SDK的mxpi_tensorinfer，使用DeepLabv3语义分割模型，检测图像中的指针与刻度| +| 10 | 模型后处理 | 调用Vision SDK的mxpi_semanticsegpostprocessor，得到语义分割的结果| | 11 | 读数后处理 | 开发mxpi_process3插件，读出工业表的数字| 技术实现流图： @@ -64,9 +64,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -123,7 +123,7 @@ #设置CANN环境变量，ascend-toolkit-path为cann安装路径 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/contrib/MonocularDepthEstimation/README.md b/contrib/MonocularDepthEstimation/README.md index 8a06cb40bdbb14203dc78a270c54bdcd94293108..208515affc3c2b8363878eea1eb0b5eb6d8a72b8 100644 --- a/contrib/MonocularDepthEstimation/README.md +++ b/contrib/MonocularDepthEstimation/README.md @@ -1,4 +1,4 @@ -# 基于MxVision的AdaBins单目深度估计 +# 基于Vision SDK的AdaBins单目深度估计 ## 1 介绍 @@ -9,8 +9,8 @@ Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/MultiChannelVideoDetection/README.md b/contrib/MultiChannelVideoDetection/README.md index a5ba0413dcf183ab67650ab7fd388d58133b0416..2c73121f226477e63c8aeafab719dbea8d1de632 100644 --- a/contrib/MultiChannelVideoDetection/README.md +++ b/contrib/MultiChannelVideoDetection/README.md @@ -12,9 +12,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/OpenCVPlugin/README.md b/contrib/OpenCVPlugin/README.md index ec45cc3894d8da456618587f32bab03bb61526a0..5bcfb3e7443375431c40b849830f29c0a0d1959c 100644 --- a/contrib/OpenCVPlugin/README.md +++ b/contrib/OpenCVPlugin/README.md @@ -105,14 +105,14 @@ OpenCVPlugin 插件流程图。 | 软件名称 | 版本 | | -------- | ----- | | cmake | 3.5+ | -| mxVision | 2.0.4 | +| Vision SDK | 2.0.4 | | python | 3.9.2 | -确保环境中正确安装mxVision SDK。 +确保环境中正确安装Vision SDK。 在编译运行项目前，需要设置环境变量： -MindX SDK 环境变量: +Vision SDK 环境变量: ``` . ${SDK-path}/set_env.sh diff --git a/contrib/OpenposeKeypointDetection/README.md b/contrib/OpenposeKeypointDetection/README.md index f8dc89fc73dd1da11952319ca6941ba8d86635db..bd236178e68d47e82f5c98e9da79b837ddf36b74 100644 --- a/contrib/OpenposeKeypointDetection/README.md +++ b/contrib/OpenposeKeypointDetection/README.md @@ -1,7 +1,7 @@ # 人体关键点检测 ## 1. 介绍 ### 1.1 简介 -人体关键点检测插件基于 MindXSDK 开发，在昇腾芯片上进行人体关键点和骨架检测，将检测结果可视化并保存。输入一幅图像，可以检测得到图像中所有行人的关键点并连接成人体骨架。 +人体关键点检测插件基于 Vision SDK 开发，在昇腾芯片上进行人体关键点和骨架检测，将检测结果可视化并保存。输入一幅图像，可以检测得到图像中所有行人的关键点并连接成人体骨架。 人体关键点检测是指在输入图像上对指定的 18 类人体骨骼关键点位置进行检测，包括包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左踝、右踝。然后将关键点正确配对组成相应的人体骨架，展示人体姿态，共 19 类人体骨架，如左肩和左肘两个关键点连接组成左上臂，右膝和右踝两个关键点连接组成右小腿等。 本方案采取OpenPose模型，将待检测图片输入模型进行推理，推理得到包含人体关键点信息和关键点之间关联度信息的两个特征图，首先从关键点特征图中提取得到所有候选人体关键点，然后结合关联度信息特征图将不同的关键点组合连接成为人体骨架，再将所有人体骨架连接组成不同的人体，最后将关键点和骨架信息标注在输入图像上，描绘人体姿态。本方案可以对遮挡人体、小人体、密集分布人体等进行检测，还适用于不同姿态（蹲坐、俯卧等）、不同方向（正面、侧面、背面等）以及模糊人体关键点检测等多种复杂场景。 @@ -45,13 +45,13 @@ ### 1.2 支持的产品 -本项目基于mxVision SDK进行开发，以Atlas 500 A2为主要的硬件平台。 +本项目基于Vision SDK进行开发，以Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |--------------- | ---------------------------------- | ----------| | 5.0.0 | 7.0.0 | 23.0.0| |6.0.RC2 | 8.0.RC2 | 24.1.RC2| @@ -97,7 +97,7 @@ ``` ## 2 设置环境变量 -设置CANN及MindX SDK相关的环境变量。 +设置CANN及Vision SDK相关的环境变量。 ```shell . /usr/local/Ascend/ascend-toolkit/set_env.sh # Ascend-cann-toolkit开发套件包默认安装路径，根据实际安装路径修改 diff --git a/contrib/PassengerflowEstimation/README.md b/contrib/PassengerflowEstimation/README.md index 6b66599ff73c5d7ce88198a8c512920b0ebfe5b7..eeeefd1627f8b266bf119584bc843b825eab9cdd 100644 --- a/contrib/PassengerflowEstimation/README.md +++ b/contrib/PassengerflowEstimation/README.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -passengerflowestimation基于MindXSDK开发，在昇腾芯片上进行客流量统计，输入一段视频，最后可以得出在某一时间内的客流量。本项目适用于俯视角度较大，并且人流量不是非常密集的视频中人流量统计。 +passengerflowestimation基于Vision SDK开发，在昇腾芯片上进行客流量统计，输入一段视频，最后可以得出在某一时间内的客流量。本项目适用于俯视角度较大，并且人流量不是非常密集的视频中人流量统计。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +|Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/PatchCoreAnomalyDetection/README.md b/contrib/PatchCoreAnomalyDetection/README.md index 0748f86fe60c8bf2c6c021b623a0abd17ed1a9c1..e4a4e964f55c76a9c4b5688729078d10e39e3d7e 100644 --- a/contrib/PatchCoreAnomalyDetection/README.md +++ b/contrib/PatchCoreAnomalyDetection/README.md @@ -1,7 +1,7 @@ # 基于概率模型和高阶异常度量的零负样本缺陷检测 ## 1 介绍 -在本系统中，目的是基于MindX SDK，在华为云昇腾平台上，开发端到端**缺陷检测**的参考设计，我们采用的模型是PatchCore模型：[Towards Total Recall in Industrial Anomaly Detection](https://arxiv.org/abs/2106.08265)，在MvTec数据集上进行了实验，实现**基于图像Patch的无监督异常检测算法**。模型的主要参考代码：[https://github.com/amazon-science/patchcore-inspection](https://github.com/amazon-science/patchcore-inspection) +在本系统中，目的是基于Vision SDK，在华为云昇腾平台上，开发端到端**缺陷检测**的参考设计，我们采用的模型是PatchCore模型：[Towards Total Recall in Industrial Anomaly Detection](https://arxiv.org/abs/2106.08265)，在MvTec数据集上进行了实验，实现**基于图像Patch的无监督异常检测算法**。模型的主要参考代码：[https://github.com/amazon-science/patchcore-inspection](https://github.com/amazon-science/patchcore-inspection) ### 1.1 支持的产品 @@ -18,7 +18,7 @@ npu-smi info ``` 本样例配套的CANN版本为[5.0.4](https://www.hiascend.com/software/cann/commercial)。支持的SDK版本为[2.0.4](https://www.hiascend.com/software/Mindx-sdk)。 -MindX SDK安装前准备可参考《用户指南》，[安装教程](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/quickStart/1-1安装SDK开发套件.md) +Vision SDK安装前准备可参考《用户指南》，[安装教程](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/quickStart/1-1安装SDK开发套件.md) ### 1.3 软件方案介绍 @@ -28,7 +28,7 @@ MindX SDK安装前准备可参考《用户指南》，[安装教程](https://git | 序号 | 子系统 | 功能描述 | | :--- | :------- | :------------------------------------------------------ | -| 1 | 图像输入 | 调用MindX SDK的appsrc输入图片 | +| 1 | 图像输入 | 调用Vision SDK的appsrc输入图片 | | 2 | 图像放缩 | 根据config.yaml文件，通过代码将不同数据集缩放到对应尺寸 | | 3 | 缺陷检测 | 利用PatchCore检测模型，检测出图片中缺陷位置 | | 4 | 结果输出 | 输出instance_auroc评分 | @@ -78,7 +78,7 @@ eg：推荐系统为ubuntu 18.04或centos 7.6，环境依赖软件和版本如 | 软件名称 | 版本 | | :-----------: | :---------: | | ubantu | 18.04.1 LTS | -| MindX SDK | 2.0.4 | +| Vision SDK | 2.0.4 | | Python | 3.9.2 | | CANN | 5.0.4 | | numpy | 1.22.3 | @@ -129,7 +129,7 @@ python pthtockpt.py --pth_path wide_resnet101_2-32ee1156.pth python train_all.py --dataset_path path/to/mvtec/ --results /path/to/results/ --gpu 0 ``` -​ 训练结束之后会在./results(默认为results)目录下保存训练出的faiss文件(./results/exp_n/models/})，训练结束之后保存的faiss文件需要移动到Ascend310(即PatchCoreAnomalyDetection目录下的faiss-index-precision目录)。同时会保存**air文件**，用于转换om模型，完成MindX SDK推理。所有子数据集训练完成，会生成wideresnet101_layer2.air和wideresnet_layer3.air文件，通过拆分特征层，提升最终推理的性能。将文件上传至310推理环境。 +​ 训练结束之后会在./results(默认为results)目录下保存训练出的faiss文件(./results/exp_n/models/})，训练结束之后保存的faiss文件需要移动到Ascend310(即PatchCoreAnomalyDetection目录下的faiss-index-precision目录)。同时会保存**air文件**，用于转换om模型，完成Vision SDK推理。所有子数据集训练完成，会生成wideresnet101_layer2.air和wideresnet_layer3.air文件，通过拆分特征层，提升最终推理的性能。将文件上传至310推理环境。 Ascend310(PatchCoreAnomalyDetection目录): diff --git a/contrib/PatchCoreAnomalyDetection_mindspore/README.md b/contrib/PatchCoreAnomalyDetection_mindspore/README.md index 92a270d0deb6a88909d8d486755c7bf4145e0118..90a6168a2d99a1c19dae35ba5c5416acf90b65d7 100644 --- a/contrib/PatchCoreAnomalyDetection_mindspore/README.md +++ b/contrib/PatchCoreAnomalyDetection_mindspore/README.md @@ -2,7 +2,7 @@ ## 1. 项目概述 -该项目基于MindSpore实现算法训练与优化，并在MindX SDK实现推理部署； +该项目基于MindSpore实现算法训练与优化，并在Vision SDK实现推理部署； 项目选取的算法是Patchcore，并在此基础上进行精度和性能的优化和提升。PatchCore是2021年提出的基于预训练神经网络的工业异常检测模型，截至2021年末在MVTex-AD数据集上精度排名第一。PatchCore训练时仅使用正常样本，训练过程中不对网络参数进行更新(无反向传播)，将每张图片的网络输出(图片对应区域的特征表示)保存作为“Memory Bank”的一部分，最后进行采样操作得到最终“Memory Bank”。推理时加载“Memory Bank”，得到某张图片的网络输出后，通过论文定义的计算得到该图片score，以输出异常图。 @@ -58,7 +58,7 @@ python pthtockpt.py --pth_path wide_resnet101_2-32ee1156.pth python train_all.py --dataset_path path/to/mvtec/ --results /path/to/results/ --device_id 0 ``` -​ 训练结束之后会在./results(默认为results)目录下保存训练出的faiss文件(./results/exp_n/models/})，训练结束之后保存的faiss文件需要移动到Ascend310(即PatchCoreAnomalyDetection目录下的faiss-index-precision目录)。同时会保存air文件，用于转换om模型，完成MindX SDK推理。所有子数据集训练完成，会生成wideresnet101_layer2.air和wideresnet_layer3.air文件，通过拆分特征层，提升最终推理的性能。将文件上传至310推理环境。件，通过拆分特征层，提升最终推理的性能。 +​ 训练结束之后会在./results(默认为results)目录下保存训练出的faiss文件(./results/exp_n/models/})，训练结束之后保存的faiss文件需要移动到Ascend310(即PatchCoreAnomalyDetection目录下的faiss-index-precision目录)。同时会保存air文件，用于转换om模型，完成Vision SDK推理。所有子数据集训练完成，会生成wideresnet101_layer2.air和wideresnet_layer3.air文件，通过拆分特征层，提升最终推理的性能。将文件上传至310推理环境。件，通过拆分特征层，提升最终推理的性能。 - 训练某一个子数据集 diff --git a/contrib/PedestrianAttributeRecognition/README.md b/contrib/PedestrianAttributeRecognition/README.md index c48db9040bb579761f479a5d3f025a91ec253787..8e1434730323cac96f91855847f41677dbe4e2e6 100644 --- a/contrib/PedestrianAttributeRecognition/README.md +++ b/contrib/PedestrianAttributeRecognition/README.md @@ -1,8 +1,8 @@ -# MindX SDK-行人属性检测 +# Vision SDK-行人属性检测 ## 1 介绍 ### 1.1 简介 -本开发样例是基于MindX SDK开发的端到端的Python应用实例，可在昇腾芯片上进行行人属性识别，并把可视化结果保存到本地。开发端到端行人属性识别，实现对检测图片中行人的定位与属性识别，并达到精度要求。该Sample的主要处理流程为：数据输入>预处理>行人检测>抠图缩放>行人属性识别>结果可视化。 +本开发样例是基于Vision SDK开发的端到端的Python应用实例，可在昇腾芯片上进行行人属性识别，并把可视化结果保存到本地。开发端到端行人属性识别，实现对检测图片中行人的定位与属性识别，并达到精度要求。该Sample的主要处理流程为：数据输入>预处理>行人检测>抠图缩放>行人属性识别>结果可视化。 本样例适用于常见行人所处场景，如街道、红路灯路口、商场等，对于所推理的图片中的行人对象要求尽可能的完整、清晰、无遮挡、无重叠等。 @@ -12,9 +12,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -54,7 +54,7 @@ ### 1.6 软件方案介绍 -基于MindX SDK的行人属性识别业务流程：待检测图片通过appsrc插件输入，然后使用图像解码插件mxpi_imagedecoder对图片进行解码，再通过图像缩放插件mxpi_imageresize将图像缩放至满足行人检测模型(yolov3)要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer中进行推理，随后将数据送入后处理插件mxpi_objectpostprocessor中进行处理，将得到的结果经过分发插件mxpi_distributor输出，随后将数据输出到裁剪插件mxpi_imagecrop中，根据上游推理插件推理出的结果进行裁剪出行人，并将裁剪后的图像输入到Deepmar的模型推理插件中，进行行人属性推理，最后将行人属性推理插件经序列化插件mxpi_dataserialize输出，即得到属性的预测结果，并将结果进行标签化，即为该图片的属性推理结果。 +基于Vision SDK的行人属性识别业务流程：待检测图片通过appsrc插件输入，然后使用图像解码插件mxpi_imagedecoder对图片进行解码，再通过图像缩放插件mxpi_imageresize将图像缩放至满足行人检测模型(yolov3)要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer中进行推理，随后将数据送入后处理插件mxpi_objectpostprocessor中进行处理，将得到的结果经过分发插件mxpi_distributor输出，随后将数据输出到裁剪插件mxpi_imagecrop中，根据上游推理插件推理出的结果进行裁剪出行人，并将裁剪后的图像输入到Deepmar的模型推理插件中，进行行人属性推理，最后将行人属性推理插件经序列化插件mxpi_dataserialize输出，即得到属性的预测结果，并将结果进行标签化，即为该图片的属性推理结果。 表1.1 系统方案各子系统功能描述： @@ -75,7 +75,7 @@ #设置CANN环境变量，ascend-toolkit-path为cann安装路径 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/contrib/PersonCount/README.md b/contrib/PersonCount/README.md index b47690389627e1e886c457f421b47123c804455f..60d311cbe72a0a8367302cd6937c9b4bcf2de8c6 100644 --- a/contrib/PersonCount/README.md +++ b/contrib/PersonCount/README.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现端到端人群计数-人群密度估计，输入为一幅人群图像，输出为该图像对应的热力图，并在图上显示对人群数量的估计值。 +本开发样例基于Vision SDK实现端到端人群计数-人群密度估计，输入为一幅人群图像，输出为该图像对应的热力图，并在图上显示对人群数量的估计值。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/PicoDet/README.md b/contrib/PicoDet/README.md index a1e6345f3f1edbf1c1001314eccebbd3f918db28..5318aacccd035b8326748365990c1d307fe92010 100644 --- a/contrib/PicoDet/README.md +++ b/contrib/PicoDet/README.md @@ -2,9 +2,9 @@ ## 1 介绍 ### 1.1 简介 -本案例基于mxVision，在昇腾平台上，使用PicoDet模型开发端到端目标检测的参考设计，并把可视化结果保存到本地，达到功能要求。本样例适用于通用场景的jpg/jpeg图片目标检测。 +本案例基于Vision SDK，在昇腾平台上，使用PicoDet模型开发端到端目标检测的参考设计，并把可视化结果保存到本地，达到功能要求。本样例适用于通用场景的jpg/jpeg图片目标检测。 -基于mxVision的目标检测业务流程为：待检测图片通过 appsrc 插件输入，然后使用图像解码插件 mxpi_imagedecoder 对图片进行解码，再通过图像缩放插件 mxpi_imageresize 将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件 mxpi_tensorinfer 得到推理结果，推理结果输入 mxpi_objectpostprocessor 插件进行后处理，得到输入图片中所有的目标框位置和对应的置信度。最后通过输出插件 appsink 获取检测结果，并在外部进行可视化，将检测结果标记到原图上，本系统的各模块及功能描述如表1所示： +基于Vision SDK的目标检测业务流程为：待检测图片通过 appsrc 插件输入，然后使用图像解码插件 mxpi_imagedecoder 对图片进行解码，再通过图像缩放插件 mxpi_imageresize 将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件 mxpi_tensorinfer 得到推理结果，推理结果输入 mxpi_objectpostprocessor 插件进行后处理，得到输入图片中所有的目标框位置和对应的置信度。最后通过输出插件 appsink 获取检测结果，并在外部进行可视化，将检测结果标记到原图上，本系统的各模块及功能描述如表1所示： 表1 系统方案各模块功能描述： @@ -24,7 +24,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -60,8 +60,8 @@ ```bash # 执行环境变量脚本使环境变量生效 . ${ascend-toolkit-path}/set_env.sh -. ${mxVision-path}/set_env.sh -# mxVision-path: mxVision安装路径 +. ${Vision SDK-path}/set_env.sh +# Vision SDK-path: Vision SDK安装路径 # ascend-toolkit-path: CANN安装路径 ``` diff --git a/contrib/PixelLink/README.md b/contrib/PixelLink/README.md index 8ff9cb7dd66e6b25ef1c2ce623051e683a801401..79bf9f314a3bacee3e2fe24476e8f542c7dacb2d 100644 --- a/contrib/PixelLink/README.md +++ b/contrib/PixelLink/README.md @@ -1,7 +1,7 @@ # Pixellink文本检测 ## 1 介绍 - 本开发样例完成图像文本检测功能，供用户参考。本系统基于mxVision SDK进行开发，以昇腾Atlas310卡为主要的硬件平台，开发端到端准确识别图像文本的位置信息，最后能够实现可视化，将识别到的文本位置用线条框选出来。 + 本开发样例完成图像文本检测功能，供用户参考。本系统基于Vision SDK进行开发，以昇腾Atlas310卡为主要的硬件平台，开发端到端准确识别图像文本的位置信息，最后能够实现可视化，将识别到的文本位置用线条框选出来。 本项目试用场景为：包含字母/数字文本区域的场景图像，对于非数据集的场景下，识别要求文字区域尽可能清晰，区域大小能够占图像尺寸的5%及以上最佳，最大不得超过图片的50%左右。图像中文本区域要不存在遮挡、具有较为稀疏的密集度、文本要求为数字或者英文，文本区域的文本字体最好是规范的单个字体。由于原模型的训练场景原因，本样例无法保证对其他类型文本识别的精度，例如屏幕截图等。若文本区域存在遮挡、文本区域过于密集等可能存在无法检测出结果的问题。对于输入图像，图像要求为3通道的的RGB图像。输入其他格式的图像将无法完成检测功能。图像大小为720x1280x3最佳。图像中全部的文字区域不清晰、大小不支持识别、或者不存在英文或数字的文字区域时，识别可能会出现无文本区域的问题，最后可视化即为原图。本项目在运行代码后，会根据测试图像生成一个txt文件，其中包含文字区域位置的点坐标，每一个文字区域由四个坐标点组成。最后会根据txt文件中的每一组坐标点在图像上绘制出文本区域的四边形框。其中，四边形线条框不一定为规则矩形。 @@ -25,8 +25,8 @@ 表1.1 系统方案中各模块功能： | 序号 | 子系统 | 功能描述 | |----|--------|------------------------------------------------------------------------| -| 1 | 图像输入 | 调用MindX SDK的appsrc插件对视频数据进行拉流 | -| 2 | 图像放缩 | 调用MindX SDK的mxpi_imageresize | +| 1 | 图像输入 | 调用Vision SDK的appsrc插件对视频数据进行拉流 | +| 2 | 图像放缩 | 调用Vision SDK的mxpi_imageresize | | 3 | 文本区域检测 | 通过文本区域检测模型，获取图像中的文本位置、以及像素点关联等数据 | | 4 | 结果输出 | 输出文本位置以及像素点关联等信息 | | 5 | 后处理 | 根据输出结果进行后处理，将结果写入到txt文件中 | @@ -65,7 +65,7 @@ | 软件名称 | 版本 | | -------- | ------ | | cmake | 3.5+ | -| mxVision | 2.0.4 | +| Vision SDK | 2.0.4 | | python | 3.9.2 | | CANN | 5.0.4 | | Polygon3 | 3.0.9.1| @@ -80,8 +80,8 @@ 在编译运行项目前，需要设置环境变量： -步骤1：安装mxVision SDK。 -步骤2：配置mxVision SDK环境变量、lib库环境变量以及python环境变量。 +步骤1：安装Vision SDK。 +步骤2：配置Vision SDK环境变量、lib库环境变量以及python环境变量。 ``` export MX_SDK_HOME=${安装路径}/mxVision @@ -125,7 +125,7 @@ zip文件中数据集为ch4_test_image，gt.zip是评测代码需要的groundtru **步骤2** - 在安装mxVision SDK后，配置SDK安装路径、lib路径以及python路径，这些路径需要根据用户实际情况配置，例如SDK安装路径需要与用户本身安装路径一致，不一致将导致环境错误。同理，lib路径与python路径，都需要与实际情况一致。将下载的模型文件以及其他配置文件放到项目路径中，与pipeline内路径对应。修改pipeline内路径与模型文件一致。需要按照代码中的路径去创建文件路径，也可以根据实际需要修改代码中的路径变量。 + 在安装Vision SDK后，配置SDK安装路径、lib路径以及python路径，这些路径需要根据用户实际情况配置，例如SDK安装路径需要与用户本身安装路径一致，不一致将导致环境错误。同理，lib路径与python路径，都需要与实际情况一致。将下载的模型文件以及其他配置文件放到项目路径中，与pipeline内路径对应。修改pipeline内路径与模型文件一致。需要按照代码中的路径去创建文件路径，也可以根据实际需要修改代码中的路径变量。 **步骤3** diff --git a/contrib/PortraitSegmentation/README.md b/contrib/PortraitSegmentation/README.md index 121a010d8753ce7f65ea52c3b709b564b866d36e..173abe6dc361909baee894a381b2922d92b4ae30 100644 --- a/contrib/PortraitSegmentation/README.md +++ b/contrib/PortraitSegmentation/README.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了端到端的人像分割与背景替换（Portrait Segmentation and Background Replacement, PSBR）。PSBR的主要功能是使用Portrait模型对输入图片中的人像进行分割，然后与背景图像融合，实现背景替换。输入为带有简单背景的单人jpg图片和一张没有人像的背景jpg图片，输出为人像背景替换后的jpg图片。 +本开发样例基于Vision SDK实现了端到端的人像分割与背景替换（Portrait Segmentation and Background Replacement, PSBR）。PSBR的主要功能是使用Portrait模型对输入图片中的人像进行分割，然后与背景图像融合，实现背景替换。输入为带有简单背景的单人jpg图片和一张没有人像的背景jpg图片，输出为人像背景替换后的jpg图片。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/PoseEstNet/README.md b/contrib/PoseEstNet/README.md index af23c15aac623841efa7da15f9b20e1eeda8a5a9..e9b06717f34ab9381e49bd69402ae081d19270ad 100644 --- a/contrib/PoseEstNet/README.md +++ b/contrib/PoseEstNet/README.md @@ -1,13 +1,13 @@ -# MindXSDK 车辆姿态识别 +# Vision SDK 车辆姿态识别 ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了姿态估计网络(PoseEstNet)，用于检测并预测车辆36个关键点坐标，包括4个wheel，16个Fender，4个Back，4个Front，4个WindshieldBack以及4个WindshieldFront。 +本开发样例基于Vision SDK实现了姿态估计网络(PoseEstNet)，用于检测并预测车辆36个关键点坐标，包括4个wheel，16个Fender，4个Back，4个Front，4个WindshieldBack以及4个WindshieldFront。 车辆姿态过程主要存在两个阶段的模型检测：①yolov3车辆检测②PoseEstNet车辆姿态识别检测，因此检测效果也与这两个模型精度、检测结果密不可分。在经过不断测试与验证之后，模型在大部分情形下可以准确检测，但针对输入有以下限定： -1、针对MindX SDK固有插件的输入限制，输入图片应为JPEG编码格式，后缀为(.jpg)且宽高均在[32, 8192]区间内。当输入图片为空、输入图片格式不正确、图片尺寸不符合要求时，系统能够输出相应的错误信息。 +1、针对Vision SDK固有插件的输入限制，输入图片应为JPEG编码格式，后缀为(.jpg)且宽高均在[32, 8192]区间内。当输入图片为空、输入图片格式不正确、图片尺寸不符合要求时，系统能够输出相应的错误信息。 2、由于输入图片可能存在特征表现不明显，例如非标准规格的卡车或车辆俯视图等情况导致yolov3模型检测不到车辆从而无法进行车辆姿态识别。 @@ -17,9 +17,9 @@ 本项目以昇腾Atlas 300I Pro, Atlas 300V Pro和Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -77,7 +77,7 @@ export install_path=${install_path} . ${MX_SDK_HOME}/set_env.sh ``` -注：**${MX_SDK_HOME}** 替换为用户自己的MindX_SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）；**${install_path}** 替换为CANN开发套件包所在路径（例如：/usr/local/Ascend/ascend-toolkit/latest）。 +注：**${MX_SDK_HOME}** 替换为用户自己的Vision SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）；**${install_path}** 替换为CANN开发套件包所在路径（例如：/usr/local/Ascend/ascend-toolkit/latest）。 ## 3 准备模型 diff --git a/contrib/PraNetSegmentation/README.md b/contrib/PraNetSegmentation/README.md index d0afb9cbdb134a8f97420613074d015e4fecf138..de783749244fc5bdbfc91b58679ec883c3727b61 100644 --- a/contrib/PraNetSegmentation/README.md +++ b/contrib/PraNetSegmentation/README.md @@ -8,14 +8,14 @@ PraNet是一种针对息肉分割任务需求设计的，名为并行反向注 基于并行反向注意力的息肉分割网络（PraNet），利用并行的部分解码器（PPD）在高级层中聚合特征作为初始引导区域， 再使用反向注意模块（RA）挖掘边界线索。 -本项目基于Mind SDK框架实现了PraNet模型的推理。 +本项目基于MindSDK框架实现了PraNet模型的推理。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/RTM3DTargetDetection/README.md b/contrib/RTM3DTargetDetection/README.md index 4e32db63483c9b7ba080a771e4738ec7acc6ba10..b4245265fbb35334dc0ead9ff13683d1cc01d276 100644 --- a/contrib/RTM3DTargetDetection/README.md +++ b/contrib/RTM3DTargetDetection/README.md @@ -4,15 +4,15 @@ ### 1.1 简介 -3D目标检测样例基于mxVision SDK进行开发，实现对图像进行三维目标检测的功能。本次使用的3D目标检测模型在图片中只能识别三类目标：'Car'，'Pedestrian'，'Cyclist'，因此使用场景一般限定于公路道路场景中。输入图片大小推荐在1280*416左右，对于'Pedestrian'，'Cyclist'检测效果不太理想，识别率不高。 +3D目标检测样例基于Vision SDK进行开发，实现对图像进行三维目标检测的功能。本次使用的3D目标检测模型在图片中只能识别三类目标：'Car'，'Pedestrian'，'Cyclist'，因此使用场景一般限定于公路道路场景中。输入图片大小推荐在1280*416左右，对于'Pedestrian'，'Cyclist'检测效果不太理想，识别率不高。 ### 1.2 支持的产品 Atlas 300I ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | diff --git a/contrib/RTMHumanKeypointsDetection/README.md b/contrib/RTMHumanKeypointsDetection/README.md index 6ed27603613f5f7c19f4ebc31cdd03e8523fefb5..49a12553dc03588f662e7827ff6d97f8b5ff8697 100644 --- a/contrib/RTMHumanKeypointsDetection/README.md +++ b/contrib/RTMHumanKeypointsDetection/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -人体关键点检测是指在输入图像上对指定的 18 类人体骨骼关键点位置进行检测，然后将关键点正确配对组成相应的人体骨架，展示人体姿态。本项目基于MindX SDK，在昇腾平台上，实现了对RTSP视频流进行人体关键点检测并连接成人体骨架，最后将检测结果可视化并保存。 +人体关键点检测是指在输入图像上对指定的 18 类人体骨骼关键点位置进行检测，然后将关键点正确配对组成相应的人体骨架，展示人体姿态。本项目基于Vision SDK，在昇腾平台上，实现了对RTSP视频流进行人体关键点检测并连接成人体骨架，最后将检测结果可视化并保存。 本系统技术流程图如下所示： ![pipeline](image/pipeline.png) @@ -13,14 +13,14 @@ | 序号 | 子系统 | 功能描述 | | :--- | :--------- | :----------------------------------------------------------- | -| 1 | 视频拉流 | 调用MindX SDK的 **mxpi_rtspsrc**接收外部调用接口的输入视频路径，对视频进行拉流 | -| 2 | 视频解码 | 调用MindX SDK的**mxpi_videodecoder** | +| 1 | 视频拉流 | 调用Vision SDK的 **mxpi_rtspsrc**接收外部调用接口的输入视频路径，对视频进行拉流 | +| 2 | 视频解码 | 调用Vision SDK的**mxpi_videodecoder** | | 3 | 图像缩放 | 调用**mxpi_imageresize**对解码后的YUV格式的图像进行指定宽高的缩放 | | 4 | 检测推理 | 使用已经训练好的OpenPose模型，检测出图像中的车辆信息。插件：**mxpi_tensorinfer** | | 5 | 模型后处理 | 使用自己编译的**mxpi_rtmopenposepostprocess**插件的后处理库libmxpi_rtmopenposepostprocess.so，进行人体关键点检测的后处理 | | 6 | 绘图 | 调用OSD基础功能在YUV图片上绘制直线。插件：**mxpi_opencvosd** | -| 7 | 视频编码 | 调用MindX SDK的**mxpi_videoencoder**进行视频编码 | -| 8 | 输出 | 调用MindX SDK的**appsink**进行业务流结果的输出 | +| 7 | 视频编码 | 调用Vision SDK的**mxpi_videoencoder**进行视频编码 | +| 8 | 输出 | 调用Vision SDK的**appsink**进行业务流结果的输出 | @@ -31,14 +31,14 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和mxVision及其要求的配套软件外，还需额外依赖以下软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： | 软件名称 | 版本 | | -------- | ----- | @@ -89,8 +89,8 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ```bash # 执行环境变量脚本使环境变量生效 . ${ascend-toolkit-path}/set_env.sh -. ${mxVision-path}/set_env.sh -# mxVision: mxVision安装路径 +. ${Vision SDK-path}/set_env.sh +# Vision SDK-path: Vision SDK安装路径 # ascend-toolkit-path: CANN安装路径 ``` ## 3 准备模型 diff --git a/contrib/ReID/README.md b/contrib/ReID/README.md index 7d1817d826190dd752abeb16b49cdc1e03c5c7d5..b16932b215308d7fff426d5e0a3899c6db6434fa 100644 --- a/contrib/ReID/README.md +++ b/contrib/ReID/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了端到端的行人重识别（Person Re-identification, ReID），支持检索给定照片中的行人ID。 +本开发样例基于Vision SDK实现了端到端的行人重识别（Person Re-identification, ReID），支持检索给定照片中的行人ID。 其主要流程为： 1. 程序入口分别接收查询图片和行人底库所在的文件路径。 @@ -18,9 +18,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/ReIDv2/README.md b/contrib/ReIDv2/README.md index a4f7aeadb9eab4ad0b3ed18b5bdf48a739dbd151..09a204d526ee0b3c344e8b0d3cea1d71649951e0 100644 --- a/contrib/ReIDv2/README.md +++ b/contrib/ReIDv2/README.md @@ -1,6 +1,6 @@ -# MindXSDK 行人重识别v2 +# Vision SDK 行人重识别v2 ## 1 介绍 ### 1.1 简介 @@ -47,9 +47,9 @@ ReID 技术和目标的技术可以做一个补充，当能看到目标的时候 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/RemoteSensingSegmentation/README.md b/contrib/RemoteSensingSegmentation/README.md index cd33ca1dfa99ea7afa44ca2df825a01919f539d7..1ef9f2520b172f83cb8155a3b648d7406fec85a9 100644 --- a/contrib/RemoteSensingSegmentation/README.md +++ b/contrib/RemoteSensingSegmentation/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了对遥感影像地图进行的语义分割能力，并以可视化的形式返回输出。 +本开发样例基于Vision SDK实现了对遥感影像地图进行的语义分割能力，并以可视化的形式返回输出。 本样例使用DANet和Deeplabv3+，其中两模型均使用了pytorch官方提供的resnet101预训练模型作为backbone, 使用SGDR对模型进行训练,选择多个局部最优点的结果进行集成。 @@ -13,9 +13,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/Retinaface/README.md b/contrib/Retinaface/README.md index 28a7c5d0c886bcad9d7b30c089f5d9f4175dd56f..452d6981059296e4cd5099ed121d44c492de5e1b 100644 --- a/contrib/Retinaface/README.md +++ b/contrib/Retinaface/README.md @@ -2,7 +2,7 @@ ## 1介绍 -Retinaface基于MindX_SDK开发，在昇腾芯片上进行目标检测，并实现可视化呈现。输入单张图片，对其进行推理，输出推理结果。 +Retinaface基于Vision SDK开发，在昇腾芯片上进行目标检测，并实现可视化呈现。输入单张图片，对其进行推理，输出推理结果。 ### 1.1 支持的产品 @@ -77,7 +77,7 @@ Retinaface基于MindX_SDK开发，在昇腾芯片上进行目标检测，并实 | 软件名称 | 版本 | 说明 | 获取方式 | | ------------------- | ----- | ----------------------------- | :-------------------------------------------------------- | -| MindX SDK | 2.0.4 | mxVision软件包 | [链接](https://www.hiascend.com/software/Mindx-sdk) | +| Vision SDK | 2.0.4 | Vision SDK软件包 | [链接](https://www.hiascend.com/software/Mindx-sdk) | | ubuntu | 18.04 | 操作系统 | 请上ubuntu官网获取 | | Ascend-CANN-toolkit | 5.0.4 | Ascend-cann-toolkit开发套件包 | [链接](https://www.hiascend.com/software/cann/commercial) | @@ -85,7 +85,7 @@ Retinaface基于MindX_SDK开发，在昇腾芯片上进行目标检测，并实 在编译运行项目前，需要设置环境变量： -MindSDK 环境变量： +Vision SDK 环境变量： ``` . ${SDK-path}/set_env.sh @@ -100,7 +100,7 @@ CANN 环境变量： - 环境变量介绍 ``` -SDK-path: mxVision SDK * 安装路径 +SDK-path: Vision SDK 安装路径 ascend-toolkit-path: CANN 安装路径。 ``` diff --git a/contrib/RoadSegmentation/README.md b/contrib/RoadSegmentation/README.md index 6adfddbb8154061ef6adc6981336f5188110fd32..022a4e5818b844e998bd9221cbfb6984fa8b22be 100644 --- a/contrib/RoadSegmentation/README.md +++ b/contrib/RoadSegmentation/README.md @@ -4,9 +4,9 @@ ## 1 介绍 ### 1.1 简介 -本样例基于MindX SDK实现了端到端的路面分割功能，主要采用了Unet模型对输入的路面图片进行语义分割，输出mask掩膜，然后与原图结合，生成路面语义分割后的可视化结果。 +本样例基于Vision SDK实现了端到端的路面分割功能，主要采用了Unet模型对输入的路面图片进行语义分割，输出mask掩膜，然后与原图结合，生成路面语义分割后的可视化结果。 -基于MindX SDK的路面分割业务流程：待检测图片通过 appsrc 插件输入，然后使用图像解码插件mxpi_imagedecoder对图片进行解码，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，本项目开发的路面分割后处理插件处理推理结果，从中获取掩膜mask，然后与原始图片进行融合，之后通过图像编码插件mxpi_imageencoder将后处理插件的融合后的数据进行编码，最后使用输出插件appsink输出可视化的结果。 +基于Vision SDK的路面分割业务流程：待检测图片通过 appsrc 插件输入，然后使用图像解码插件mxpi_imagedecoder对图片进行解码，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，本项目开发的路面分割后处理插件处理推理结果，从中获取掩膜mask，然后与原始图片进行融合，之后通过图像编码插件mxpi_imageencoder将后处理插件的融合后的数据进行编码，最后使用输出插件appsink输出可视化的结果。 表1 系统方案各子系统功能描述： @@ -42,9 +42,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |--------------- | ---------------------------------- | ----------| | 5.0.0 | 7.0.0 | 23.0.0| |6.0.RC2 | 8.0.RC2 | 24.1.RC2| @@ -77,7 +77,7 @@ ## 2 环境设置 在编译运行项目前，需要设置环境变量： -- MindX SDK 环境变量，其中${SDK-path}为MindX SDK安装路径 +- Vision SDK 环境变量，其中${SDK-path}为Vision SDK安装路径 ``` . ${SDK-path}/set_env.sh ``` diff --git a/contrib/SOLOV2/README.md b/contrib/SOLOV2/README.md index 1e2887f41d1d2c6e3d54ba38fe77816603cdf556..972ec22cbb601bf2192cc18401eb6ec56ea4d655 100644 --- a/contrib/SOLOV2/README.md +++ b/contrib/SOLOV2/README.md @@ -1,7 +1,7 @@ # SOLOV2实例分割 ## 1. 介绍 -SOLOV2实例分割后处理插件基于 MindX SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同色彩的轮廓图标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 SOLOV2模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测并分割。 +SOLOV2实例分割后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同色彩的轮廓图标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 SOLOV2模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测并分割。 ### 1.1 支持的产品 @@ -89,15 +89,15 @@ SOLOV2 的后处理插件接收模型推理插件输出的特征图。 | 软件名称 | 版本 | | ------------- | -------- | | cmake | 3.5+ | -| mxVision | 2.0.4 | +| Vision SDK | 2.0.4 | | python | 3.9.2 | | opencv-python | 4.5.5.64 | -确保环境中正确安装mxVision SDK。 +确保环境中正确安装Vision SDK。 在编译运行项目前，需要设置环境变量： -MindX SDK 环境变量: +Vision SDK 环境变量: ``` . ${SDK-path}/set_env.sh diff --git a/contrib/STGCN/README.md b/contrib/STGCN/README.md index 4c5c3fbd325b9828ef7be317aca858f9f975eff4..690acc93e4d9adda576eae63d29862dbaf61dfff 100644 --- a/contrib/STGCN/README.md +++ b/contrib/STGCN/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -STGCN主要用于交通预测领域，是一种时空卷积网络，解决在交通领域的时间序列预测问题。在定义图上的问题，并用纯卷积结构建立模型，这使得使用更少的参数能带来更快的训练速度。本样例基于MindxSDK开发，是在STGCN模型的基础上对SZ-Taxi数据集进行训练转化，可以对未来一定时段内的交通速度进行预测。 +STGCN主要用于交通预测领域，是一种时空卷积网络，解决在交通领域的时间序列预测问题。在定义图上的问题，并用纯卷积结构建立模型，这使得使用更少的参数能带来更快的训练速度。本样例基于Vision SDK开发，是在STGCN模型的基础上对SZ-Taxi数据集进行训练转化，可以对未来一定时段内的交通速度进行预测。 论文原文：https://arxiv.org/abs/1709.04875 STGCN模型GitHub仓库：https://github.com/hazdzz/STGCN @@ -14,7 +14,7 @@ SZ-Taxi数据集包含深圳市的出租车动向，包括道路邻接矩阵和 软件方案介绍 -基于MindX SDK的城市道路交通预测模型的推理流程为： +基于Vision SDK的城市道路交通预测模型的推理流程为： 首先读取已有的交通速度数据集（csv格式）通过Python API转化为protobuf的格式传送给appsrc插件输入，然后输入模型推理插件mxpi_tensorinfer，最后通过输出插件mxpi_dataserialize和appsink进行输出。本系统的各模块及功能如表1.1所示： @@ -22,9 +22,9 @@ SZ-Taxi数据集包含深圳市的出租车动向，包括道路邻接矩阵和 | 序号 | 子系统 | 功能描述 | | ---- | ------ | ------------ | -| 1 | 数据输入 | 调用pythonAPI的SendProtobuf()函数和MindX SDK的appsrc输入数据| -| 2 | 模型推理 | 调用MindX SDK的mxpi_tensorinfer对输入张量进行推理 | -| 3 | 结果输出 | 调用MindX SDK的mxpi_dataserialize和appsink以及pythonAPI的GetProtobuf()函数输出结果 | +| 1 | 数据输入 | 调用pythonAPI的SendProtobuf()函数和Vision SDK的appsrc输入数据| +| 2 | 模型推理 | 调用Vision SDK的mxpi_tensorinfer对输入张量进行推理 | +| 3 | 结果输出 | 调用Vision SDK的mxpi_dataserialize和appsink以及pythonAPI的GetProtobuf()函数输出结果 | 主程序流程 @@ -40,8 +40,8 @@ SZ-Taxi数据集包含深圳市的出租车动向，包括道路邻接矩阵和 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -82,7 +82,7 @@ eg：本sample工程名称为STGCN，工程目录如下图所示： #设置CANN环境变量（请确认install_path路径是否正确） . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh #查看环境变量 diff --git a/contrib/SentimentAnalysis/README.md b/contrib/SentimentAnalysis/README.md index ffc3dea82f2c424f35f6ada689a2aef0406c47af..a094ad861c8f1d477fc182c207acea4eb4aade2a 100644 --- a/contrib/SentimentAnalysis/README.md +++ b/contrib/SentimentAnalysis/README.md @@ -3,9 +3,9 @@ ## 1 介绍 ### 1.1 简介 -本项目是一个面向酒店服务领域的句子级情感极性分类系统。分类插件基于MindX SDK开发，在昇腾芯片上进行句子情感极性分类，将分类结果保存。输入一段句子，可以判断该句子属于哪个情感极性。 +本项目是一个面向酒店服务领域的句子级情感极性分类系统。分类插件基于Vision SDK开发，在昇腾芯片上进行句子情感极性分类，将分类结果保存。输入一段句子，可以判断该句子属于哪个情感极性。 该模型支持3个类别：消极，积极，中性。 -基于MindX SDK的句子情感分类分类业务流程为：待分类文本通过预处理，将文本根据字典vocab.txt进行编码，组成numpy形式的向量，将向量通过 appsrc 插件输入，然后由模型推理插件mxpi_tensorinfer得到每种类别的得分，再通过后处理插件mxpi_classpostprocessor将模型输出的结果处理，最后得到该文本的类别。本系统的各模块及功能描述如表1所示： +基于Vision SDK的句子情感分类分类业务流程为：待分类文本通过预处理，将文本根据字典vocab.txt进行编码，组成numpy形式的向量，将向量通过 appsrc 插件输入，然后由模型推理插件mxpi_tensorinfer得到每种类别的得分，再通过后处理插件mxpi_classpostprocessor将模型输出的结果处理，最后得到该文本的类别。本系统的各模块及功能描述如表1所示： 表1.1 系统方案各子系统功能描述： @@ -30,7 +30,7 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/contrib/StyleTransfer/README.md b/contrib/StyleTransfer/README.md index c353072d14507fc8369ba502ad159dbc0153bd82..30565c08d3bb574ac806acb0f743fe10845f4735 100644 --- a/contrib/StyleTransfer/README.md +++ b/contrib/StyleTransfer/README.md @@ -1,4 +1,4 @@ -# Mind SDK 风格转换参考设计（从航拍图到卫星图的转换） +# MindSDK 风格转换参考设计（从航拍图到卫星图的转换） ## 介绍 @@ -17,9 +17,9 @@ 项目的主要流程： （1）输入类型是图片数据（jpg图片序列） -（2）通过调用MindX SDK提供的图像解码接口mxpi_imagedecoder，解码后获取图像数据。 -（3）然后进行图像尺寸大小变换，调用MindX SDK提供的图像尺寸大小变换接口mxpi_imageresize插件，输入图像大小要求高256，宽256。 -（4）模型后处理，调用MindX SDK提供的模型推理插件mxpi_modelinfer。然后调用MindX SDK提供的appsink将结果取出。 +（2）通过调用Vision SDK提供的图像解码接口mxpi_imagedecoder，解码后获取图像数据。 +（3）然后进行图像尺寸大小变换，调用Vision SDK提供的图像尺寸大小变换接口mxpi_imageresize插件，输入图像大小要求高256，宽256。 +（4）模型后处理，调用Vision SDK提供的模型推理插件mxpi_modelinfer。然后调用Vision SDK提供的appsink将结果取出。 （5）模型输出经过后处理后，得到图片数组并写入图片。 场景限制： 输入的图像应为卫星航拍图，在清晰度较好的情况下，能取得较好的推理效果。 @@ -121,8 +121,8 @@ PyYAML == 5.4.1 **步骤2** 设置环境变量 -运行MindXSDK与ascend-toolkit下的set_env.sh设置环境变量 -MindXSDK：${MX_SDK_HOME}/set_env.sh +运行Vision SDK与ascend-toolkit下的set_env.sh设置环境变量 +Vision SDK：${MX_SDK_HOME}/set_env.sh ascend-toolkit：/usr/local/Ascend/ascend-toolkit/set_env.sh ``` diff --git a/contrib/SuperResolution/README.md b/contrib/SuperResolution/README.md index 1bb6affa3530c60fa9d1692bad5b3fd5db74b43c..c2049ca1eed1008fdc0879b34df55de0050fe137 100644 --- a/contrib/SuperResolution/README.md +++ b/contrib/SuperResolution/README.md @@ -1,9 +1,9 @@ -# 基于MxVision的VDSR图像超分辨率 +# 基于Vision SDK的VDSR图像超分辨率 ## 1 介绍 ### 1.1 简介 -基于MindX SDK mxVision开发图像超分辨率程序。本程序采用python开发，通过预处理操作对输入的图片数据解码为YUV420SP格式图片，并将解码后的图片缩放到模型推理要求的尺寸。然后利用图像超分辨率模型VDSR获取得到图片超分辨率重建结果。最后，利用python的第三方图像处理库PIL将低分辨率的输入图像和超分辨率重建的结果一同可视化。其次，针对两个图片集91-images和General-100进行PSNR（峰值信噪比）验证 +基于Vision SDK开发图像超分辨率程序。本程序采用python开发，通过预处理操作对输入的图片数据解码为YUV420SP格式图片，并将解码后的图片缩放到模型推理要求的尺寸。然后利用图像超分辨率模型VDSR获取得到图片超分辨率重建结果。最后，利用python的第三方图像处理库PIL将低分辨率的输入图像和超分辨率重建的结果一同可视化。其次，针对两个图片集91-images和General-100进行PSNR（峰值信噪比）验证 程序输入：任意jpg图片 程序输出：输出得到低分辨率图片（256 x 256px）和超分辨率重建图片（768 x 768px）组合的可视化大图 @@ -14,9 +14,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/contrib/SuperRetina/README.md b/contrib/SuperRetina/README.md index 213573e602cc2b2747ca9febc22ae9fcb9d677eb..3c253034bf9c7de69f24e1bb6c2935fb90cc22d5 100644 --- a/contrib/SuperRetina/README.md +++ b/contrib/SuperRetina/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -基于深度学习的图像配准基于 MindXSDK 开发，在晟腾芯片上进行图像配准。输入两幅图片，可以匹配两幅图像中的特征点。 +基于深度学习的图像配准基于 Vision SDK 开发，在晟腾芯片上进行图像配准。输入两幅图片，可以匹配两幅图像中的特征点。 图像配准的业务流程为：将输入的两幅图片进行归一化等预处理操作后，输入到模型中进行推理，对输出的关键点，进行极大值抑制去除相近的关键点，再进一步去除靠近边界的关键点，最后利用knn聚类算法得到可能性最大的关键点。本系统的各模块及功能描述如下： | 序号 | 子系统 | 功能描述 | @@ -19,9 +19,9 @@ 本项目以昇腾Atlas 300I Pro, Atlas 300V Pro和Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -63,7 +63,7 @@ export install_path=${install_path} ``` 注： -**${MX_SDK_HOME}** 替换为用户自己的MindX_SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）； +**${MX_SDK_HOME}** 替换为用户自己的Vision SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）； **${install_path}** 替换为CANN开发套件包所在路径（例如：/usr/local/Ascend/ascend-toolkit/latest）。 diff --git a/contrib/TSM/README.md b/contrib/TSM/README.md index a5c5a395575329cf625c46c4ddd16fce57dd64f2..bda2701286fd47008bc03dcef1daef4655b345c0 100644 --- a/contrib/TSM/README.md +++ b/contrib/TSM/README.md @@ -5,7 +5,7 @@ ### 1.1 简介 -使用TSM模型，基于Kinetics-400数据集，在MindX SDK环境下实现视频分类功能。将测试视频传入脚本进行前处理，模型推理，后处理等功能，最终得到模型推理的精度。 +使用TSM模型，基于Kinetics-400数据集，在Vision SDK环境下实现视频分类功能。将测试视频传入脚本进行前处理，模型推理，后处理等功能，最终得到模型推理的精度。 本案例中的 TSM 模型适用于Kinetics数据集中的400类视频分类，并可以返回测试集视频的精度值。 @@ -17,8 +17,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -54,7 +54,7 @@ ## 2、 设置环境变量 -**步骤1**：设置CANN和mxVision相关环境变量 +**步骤1**：设置CANN和Vision SDK相关环境变量 ```bash . /usr/local/Ascend/ascend-toolkit/set_env.sh #toolkit默认安装路径，根据实际安装路径修改 diff --git a/contrib/TextSnake/README.md b/contrib/TextSnake/README.md index 1ad8476858f42b7a470c060e50a78f758f95b354..9617e21e287becb42654383c536f040b1c59de8d 100644 --- a/contrib/TextSnake/README.md +++ b/contrib/TextSnake/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -TextSnake 弯曲形状文字检测基于 MindX SDK 开发，对图片中的任意弯曲形状文字进行检测，将检测得到的不同类的目标用曲线框标记。本方案使用在人工合成数据集SynthText上训练一个epoch，然后在其他数据集上finetune得到的TextSnake_bs1模型检测，数据集中共包含各种各样的弯曲形状文字，可以对各种角度，各种环境下的弯曲形状文字进行检测。 +TextSnake 弯曲形状文字检测基于 Vision SDK 开发，对图片中的任意弯曲形状文字进行检测，将检测得到的不同类的目标用曲线框标记。本方案使用在人工合成数据集SynthText上训练一个epoch，然后在其他数据集上finetune得到的TextSnake_bs1模型检测，数据集中共包含各种各样的弯曲形状文字，可以对各种角度，各种环境下的弯曲形状文字进行检测。 本项目流程为用python代码实现对图像的预处理过程，然后将处理好的图片通过 appsrc 插件输入到业务流程中。整体业务流程为：待检测图片通过 appsrc 插件输入，然后使用图像解码插件 mxpi_imagedecoder 对图片进行解码，解码后的图像输入模型推理插件 mxpi_tensorinfer 得到推理结果。最后通过输出插件 appsink 获取检测结果，并在外部进行后处理和可视化，将检测结果标记到原图上，本系统的各模块及功能描述下表所示： | 序号 | 子系统 | 功能描述 | @@ -23,7 +23,7 @@ TextSnake 弯曲形状文字检测基于 MindX SDK 开发，对图片中的任 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -63,7 +63,7 @@ export install_path=${install_path} . ${install_path}/set_env.sh . ${MX_SDK_HOME}/set_env.sh ``` -注：**${MX_SDK_HOME}** 替换为用户自己的MindX_SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）； +注：**${MX_SDK_HOME}** 替换为用户自己的Vision SDK安装路径（例如："/home/xxx/MindX_SDK/mxVision"）； **${install_path}** 替换为CANN开发套件包所在路径（例如：/usr/local/Ascend/ascend-toolkit/latest）。 diff --git a/contrib/VCOD_SLTNet/README.md b/contrib/VCOD_SLTNet/README.md index 5987a5aed26523bab382f52535c6f7e284edb429..9bde1c7dfbc8015f4518dba1cc9e9c865e5b53f5 100644 --- a/contrib/VCOD_SLTNet/README.md +++ b/contrib/VCOD_SLTNet/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -基于 MindX SDK 实现 SLT-Net 模型的推理。输入连续几帧伪装物体的视频序列，输出伪装物体掩膜 Mask 图。 +基于 Vision SDK 实现 SLT-Net 模型的推理。输入连续几帧伪装物体的视频序列，输出伪装物体掩膜 Mask 图。 ### 1.2 支持的产品 @@ -11,9 +11,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/VehicleCounting/README.md b/contrib/VehicleCounting/README.md index 2b30950f929876924d7a3a37adfc032bed2e0a0b..63b3c3f6bfcc2e3506f63f3373f8f10e8be7486f 100644 --- a/contrib/VehicleCounting/README.md +++ b/contrib/VehicleCounting/README.md @@ -24,8 +24,8 @@ 本项目以昇腾Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -85,7 +85,7 @@ #设置CANN环境变量（请确认install_path路径是否正确） . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh #设置FFMPEG环境变量，FFMPEG_HOME为ffmpeg安装的路径 diff --git a/contrib/VehicleIdentification/README.md b/contrib/VehicleIdentification/README.md index da913985ff528d0f84703eee25e2f47d01ab388b..134ee087791f762bef8a1df4c0e50cc6d4262267 100644 --- a/contrib/VehicleIdentification/README.md +++ b/contrib/VehicleIdentification/README.md @@ -3,7 +3,7 @@ ## 1、 介绍 ### 1.1 简介 -在本系统中，目的是基于MindX SDK，在昇腾平台上，开发端到端车型识别的参考设计，实现对图像中的车辆进行车型识别的功能，并把可视化结果保存到本地，达到功能要求。 +在本系统中，目的是基于Vision SDK，在昇腾平台上，开发端到端车型识别的参考设计，实现对图像中的车辆进行车型识别的功能，并把可视化结果保存到本地，达到功能要求。 样例输入：带有车辆的jpg图片。 @@ -19,8 +19,8 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/VehicleRetrogradeRecognition/README.md b/contrib/VehicleRetrogradeRecognition/README.md index 9c18fa2dc8726f27a417e569350a0679f1ca7e01..4318e76a5f06a34071653a21605924347b6b4de5 100644 --- a/contrib/VehicleRetrogradeRecognition/README.md +++ b/contrib/VehicleRetrogradeRecognition/README.md @@ -2,11 +2,11 @@ ## 1 介绍 ### 1.1 简介 -VehicleRetrogradeRecognition交通逆行识别后处理插件基于MindXSDK开发，在晟腾芯片上进行目标检测和跟踪，可以对逆行车辆进行画框和编号，将检测结果可视化并保存。项目主要流程为：通过live555服务器进行拉流输入视频，然后进行视频解码将264格式的视频解码为YUV格式的图片，图片缩放后经过模型推理进行逆行车辆识别，识别结果经过VehicleRetrogradeRecognition后处理后得到识别框，对识别框进行跟踪和车辆行驶方向判断，用编号覆盖原有的类别信息，再将逆行车辆的识别框和类别信息分别转绘到图片上，最后将图片编码成视频进行输出。 +VehicleRetrogradeRecognition交通逆行识别后处理插件基于Vision SDK开发，在晟腾芯片上进行目标检测和跟踪，可以对逆行车辆进行画框和编号，将检测结果可视化并保存。项目主要流程为：通过live555服务器进行拉流输入视频，然后进行视频解码将264格式的视频解码为YUV格式的图片，图片缩放后经过模型推理进行逆行车辆识别，识别结果经过VehicleRetrogradeRecognition后处理后得到识别框，对识别框进行跟踪和车辆行驶方向判断，用编号覆盖原有的类别信息，再将逆行车辆的识别框和类别信息分别转绘到图片上，最后将图片编码成视频进行输出。 软件方案介绍 -基于MindX SDK的VehicleRetrogradeRecognition车辆逆行识别业务流程为：待检测视频存放在live555服务器上经mxpi_rtspsrc拉流插件输入，然后使用视频解码插件mxpi_videodecoder将视频解码成图片，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，检测结果通过后处理插件objectpostprocessor处理，再通过mxpi_distributor插件筛选出汽车和卡车的检测结果，再接入跟踪插件mxpi_motsimplesortV2中识别框进行目标跟踪，得到目标的跟踪编号，本项目开发的MxpiTrackRetrogradeCar后处理插件识别出逆行的车辆目标，得到识别框，使用mxpi_object2osdinstances和mxpi_opencvosd分别将识别框和类名（存储跟踪编号）绘制到原图片，再通过mxpi_videoencoder将图片合成视频。 +基于Vision SDK的VehicleRetrogradeRecognition车辆逆行识别业务流程为：待检测视频存放在live555服务器上经mxpi_rtspsrc拉流插件输入，然后使用视频解码插件mxpi_videodecoder将视频解码成图片，再通过图像缩放插件mxpi_imageresize将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件mxpi_tensorinfer得到检测结果，检测结果通过后处理插件objectpostprocessor处理，再通过mxpi_distributor插件筛选出汽车和卡车的检测结果，再接入跟踪插件mxpi_motsimplesortV2中识别框进行目标跟踪，得到目标的跟踪编号，本项目开发的MxpiTrackRetrogradeCar后处理插件识别出逆行的车辆目标，得到识别框，使用mxpi_object2osdinstances和mxpi_opencvosd分别将识别框和类名（存储跟踪编号）绘制到原图片，再通过mxpi_videoencoder将图片合成视频。 表1.1 系统方案各子系统功能描述： @@ -36,8 +36,8 @@ VehicleRetrogradeRecognition交通逆行识别后处理插件基于MindXSDK开 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -193,7 +193,7 @@ bash build.sh 命令执行成功后会在`VehicleRetrogradeRecognition/plugins/MxpiTrackRetrogradeCar`目录下生成build文件夹。将`VehicleRetrogradeRecognition/plugins/MxpiTrackRetrogradeCar/build`目录下生成的的libmxpi_trackretrogradecar.so下载后上传到`${SDK安装路径}/mxVision/lib/plugins`目录下，然后将权限设置为0640。 -**步骤6**进入mxVision安装目录的`operators/opencvosd`目录下执行命令： +**步骤6**进入Vision SDK安装目录的`operators/opencvosd`目录下执行命令： ``` bash generate_osd_om.sh ``` diff --git a/contrib/VideoGestureRecognition/README.md b/contrib/VideoGestureRecognition/README.md index 065f6027699dac48edf22d3f1d4b0f34ae5c7549..d5e75e85a7290b65248732468133e572f75db5a7 100644 --- a/contrib/VideoGestureRecognition/README.md +++ b/contrib/VideoGestureRecognition/README.md @@ -13,9 +13,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/YOLOX/README.md b/contrib/YOLOX/README.md index b479a520d22919b2e4691a845cf83555f79a0df3..c924d5beb1830fb59e09bcdee2cab2818028a564 100644 --- a/contrib/YOLOX/README.md +++ b/contrib/YOLOX/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -YOLOX 目标检测后处理插件基于 MindX SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同颜色的矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 YOLOX-Nano 模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 +YOLOX 目标检测后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测，将检测得到的不同类的目标用不同颜色的矩形框标记。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案使用在 COCO2017 数据集上训练得到的 YOLOX-Nano 模型进行目标检测，数据集中共包含 80 个目标类，包括行人、自行车、公共汽车、手机、沙发、猫、狗等，可以对不同类别、不同角度、不同密集程度的目标进行检测。 整体业务流程为：待检测图片通过 appsrc 插件输入，然后使用图像解码插件 mxpi_imagedecoder 对图片进行解码，再通过图像缩放插件 mxpi_imageresize 将图像缩放至满足检测模型要求的输入图像大小要求，缩放后的图像输入模型推理插件 mxpi_tensorinfer 得到推理结果，推理结果输入 mxpi_objectpostprocessor 插件进行后处理，得到输入图片中所有的目标框位置和对应的置信度。最后通过输出插件 appsink 获取检测结果，并在外部进行可视化，将检测结果标记到原图上，本系统的各模块及功能描述如表1所示： @@ -33,9 +33,9 @@ YOLOX 的后处理插件接收模型推理插件输出的特征图，该特征 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/ai_paint/README.md b/contrib/ai_paint/README.md index c62f184be8c41356c3c2ae73b31edcd279d6828d..173fabf0b8b1ef86e401c5d5c0cd25bc83ced0bf 100644 --- a/contrib/ai_paint/README.md +++ b/contrib/ai_paint/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 - 本开发样例基于MindX SDK实现了从结构化描述生成对应风景照片的功能。 + 本开发样例基于MindSDK实现了从结构化描述生成对应风景照片的功能。 参考以下链接说明：
参考设计来源 - https://www.hiascend.com/zh/developer/mindx-sdk/landscape?fromPage=1
相关代码 - https://gitee.com/ascend/samples/tree/master/cplusplus/contrib/AI_painting
@@ -12,9 +12,9 @@ 本项目以昇腾Atlas 300I Pro, Atlas 300V Pro和Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/contrib/biggan/Readme.md b/contrib/biggan/Readme.md index c588e58a9337f05cf419391f74f77127772a8ac3..b3d6d90185405373815b108655390ce3ed445e55 100644 --- a/contrib/biggan/Readme.md +++ b/contrib/biggan/Readme.md @@ -2,7 +2,7 @@ ## 1 介绍 - 使用BigGAN模型，在MindxSDK环境下实现图像生成功能。 + 使用BigGAN模型，在MindSDK环境下实现图像生成功能。 BigGAN模型的输入数据是由噪声数据和标签数据组成，其中噪声数据是由均值为0，方差为1的正态分布中采样，标签数据是由0至类别总数中随机采样一个整数。针对不同的batch size需要生成不同的输入数据。 @@ -17,7 +17,7 @@ CANN：7.0.RC1 -SDK：mxVision 5.0.RC3（可通过cat SDK目录下的 version.info 查看） +SDK：Vision SDK 5.0.RC3（可通过cat SDK目录下的 version.info 查看） ### 1.3 软件方案介绍 @@ -58,7 +58,7 @@ SDK：mxVision 5.0.RC3（可通过cat SDK目录下的 version.info 查看） | 软件名称 | 版本 | 说明 | 获取方式 | | ------------------- | ----------- | ----------------------------- | ------------------------------------------------------------ | -| MindX SDK | 5.0.RC3 | mxVision软件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2FMindx-sdk) | +| Vision SDK | 5.0.RC3 | Vision SDK软件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2FMindx-sdk) | | ubuntu | 18.04.1 LTS | 操作系统 | Ubuntu官网获取 | | Ascend-CANN-toolkit | 7.0.RC1 | Ascend-cann-toolkit开发套件包 | [链接](https://gitee.com/link?target=https%3A%2F%2Fwww.hiascend.com%2Fsoftware%2Fcann%2Fcommercial) | | python | 3.9.2 | | | diff --git a/contrib/facemaskdetection/README.md b/contrib/facemaskdetection/README.md index 4fd4e8926c6340f287ff60c2010ca9d8986a027b..f6878823138296928ae7296833650af65ebf2d96 100644 --- a/contrib/facemaskdetection/README.md +++ b/contrib/facemaskdetection/README.md @@ -15,9 +15,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/contrib/faceswap/README.md b/contrib/faceswap/README.md index 5dfb28c8cc6eb8c116a386ffd84faf9eb7aa782d..dfbc843dfdf911e23e92fce201f1af749440d2ff 100644 --- a/contrib/faceswap/README.md +++ b/contrib/faceswap/README.md @@ -3,7 +3,7 @@ ## 1、 介绍 ### 1.1 简介 -faceswap应用基于MindX SDK开发，在昇腾芯片上进行目标检测，脸部关键点推理以及目标替换，将替换结果可视化并保存。 +faceswap应用基于Vision SDK开发，在昇腾芯片上进行目标检测，脸部关键点推理以及目标替换，将替换结果可视化并保存。 ### 1.2 支持的产品 @@ -11,8 +11,8 @@ faceswap应用基于MindX SDK开发，在昇腾芯片上进行目标检测，脸 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -47,7 +47,7 @@ faceswap应用基于MindX SDK开发，在昇腾芯片上进行目标检测，脸 - 在目标检测阶段，由于yolov4_detection.om模型的coco.names标签集中同时存在people，face两类标签。当对输入图片的检测结果为people时，无法进行后续的换脸操作，故输入图片应尽可能体现脸部特征，建议输入图片为类似于证件照的半身人像。否则，当输入为全身人像时候，图片标签为people，无法进行后续换脸操作； - 在特征点检测阶段，由于特征点检测模型限制，输入目标应尽可能采用脸部清晰，轮廓完整的正面图像，即应尽可能输入2D目标图像，且脸部应尽可能避免眼镜等一类装饰物。若图片中存在3D特征，如输入侧脸时，可能会由于脸部特征点检测存在偏差导致换脸效果不佳； -- 针对MindX SDK固有插件的输入限制，输入目标图片的宽高均应限制在[32, 8192]区间内，否则会导致图片入流失败。当输入图片尺寸不符合要求时，系统会提示相应的错误信息。 +- 针对MindSDK固有插件的输入限制，输入目标图片的宽高均应限制在[32, 8192]区间内，否则会导致图片入流失败。当输入图片尺寸不符合要求时，系统会提示相应的错误信息。 ## 2、 设置环境变量 diff --git a/contrib/human_segmentation/README.md b/contrib/human_segmentation/README.md index c6fda10316a7604e705cefc8060516d3c2476087..e40f042ce6d04e96cec50692a23a5a66ea617ea3 100644 --- a/contrib/human_segmentation/README.md +++ b/contrib/human_segmentation/README.md @@ -1,10 +1,10 @@ -# MindXSDK 人体语义分割 +# Vision SDK 人体语义分割 ## 1 介绍 ### 1.1 简介 - 本开发样例基于MindX SDK实现了端到端的人体语义分割功能。其主要功能是使用human_segmentation模型对输入图片中的人像进行语义分割操作，然后输出mask掩膜图，将其与原图结合，生成标注出人体部分的人体语义分割图片。 + 本开发样例基于Vision SDK实现了端到端的人体语义分割功能。其主要功能是使用human_segmentation模型对输入图片中的人像进行语义分割操作，然后输出mask掩膜图，将其与原图结合，生成标注出人体部分的人体语义分割图片。 样例输入：一张带有人体的图片。 样例输出：一张人体对应的mask掩码图，一张标注出人体部分的人体语义分割图片。
@@ -14,9 +14,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/contrib/msame/README.md b/contrib/msame/README.md index 6ab0ea41c910d9a5990b4c2b42a01070a98f7ebc..c8a706e98596088ae5da50b4d35ef78801448aa2 100644 --- a/contrib/msame/README.md +++ b/contrib/msame/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -基于MindX SDK实现开发模型推理工具，本例为msame的python版本实现，适用于单输入或多输入的om模型推理。[msame-C++工具链接](https://gitee.com/ascend/tools/tree/master/msame) +基于Vision SDK实现开发模型推理工具，本例为msame的python版本实现，适用于单输入或多输入的om模型推理。[msame-C++工具链接](https://gitee.com/ascend/tools/tree/master/msame) 技术实现流程图如下： @@ -15,9 +15,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -46,7 +46,7 @@ ``` . /usr/local/Ascend/ascend-toolkit/set_env.sh # toolkit默认安装路径，根据实际安装路径修改 -. ${SDK_INSTALL_PATH}/set_env.sh # SDK_INSTALL_PATH: mxVision SDK 安装路径 +. ${SDK_INSTALL_PATH}/set_env.sh # SDK_INSTALL_PATH: Vision SDK 安装路径 ``` ## 3 准备模型 diff --git a/contrib/mxBase_wheatDetection/README.md b/contrib/mxBase_wheatDetection/README.md index ca9020189361774ebf5370fbba34d37f81fd6310..af0e77eb5949269f74b5eda2d28b87a87015f217 100644 --- a/contrib/mxBase_wheatDetection/README.md +++ b/contrib/mxBase_wheatDetection/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例是基于MindX SDK基础模块（MxBase）开发的端到端推理的小麦检测程序，实现对图像中的小麦进行识别检测的功能，并把可视化结果保存到本地。其中包含yolov5的后处理模块开发。 +本开发样例是基于Vision SDK基础模块（MxBase）开发的端到端推理的小麦检测程序，实现对图像中的小麦进行识别检测的功能，并把可视化结果保存到本地。其中包含yolov5的后处理模块开发。 该Sample的主要处理流程为： Init > ReadImage >Resize > Inference >PostProcess >DeInit
参考设计来源：https://github.com/Yunyung/Global-Wheat-Detection-Competition
@@ -51,8 +51,8 @@ Init > ReadImage >Resize > Inference >PostProcess >DeInit
本项目以昇腾Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -83,7 +83,7 @@ Init > ReadImage >Resize > Inference >PostProcess >DeInit
#设置CANN环境变量（请确认install_path路径是否正确） . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/contrib/yunet/README.md b/contrib/yunet/README.md index 33052213355ea8d32af49267e056ece2bd6b32aa..1e0fc80778a67c40949a89c9eb5eca06b3a88ff4 100644 --- a/contrib/yunet/README.md +++ b/contrib/yunet/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -yunet基于MindXSDK开发，在昇腾芯片上进行人脸检测，并实现可视化呈现。输入3路视频，对其进行推理，输出推理结果。 +yunet基于Vision SDK开发，在昇腾芯片上进行人脸检测，并实现可视化呈现。输入3路视频，对其进行推理，输出推理结果。 技术实现流程图如下： @@ -31,9 +31,9 @@ yunet基于MindXSDK开发，在昇腾芯片上进行人脸检测，并实现可 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -128,7 +128,7 @@ ATC run success, welcome to the next use. **步骤4：** 编译。在项目根目录下，先执行命令`bash ${MX_SDK_HOME}/operators/opencvosd/generate_osd_om.sh`编译opencv_osd算子，然后再执行命令`bash build.sh` -**步骤5：** 拷贝so文件至MindXSDK安装路径的`lib/modelpostprocessors/`目录下。在根目录下执行命令： +**步骤5：** 拷贝so文件至Vision SDK安装路径的`lib/modelpostprocessors/`目录下。在根目录下执行命令： ```bash chmod 640 plugin/build/libyunetpostprocess.so @@ -145,7 +145,7 @@ cp plugin/build/libyunetpostprocess.so ${MX_SDK_HOME}/lib/modelpostprocessors/ **步骤1：** 修改`pipeline/InferTest.pipeline`文件。操作方式参考[第4节步骤3](#4-编译与运行) -**步骤2：** 拷贝so文件至MindXSDK安装路径的`lib/modelpostprocessors/`目录下。在根目录下执行命令： +**步骤2：** 拷贝so文件至Vision SDK安装路径的`lib/modelpostprocessors/`目录下。在根目录下执行命令： ```bash chmod 640 plugin1/build/libtotalyunetpostprocess.so diff --git "a/docs/quickStart/1-1\345\256\211\350\243\205SDK\345\274\200\345\217\221\345\245\227\344\273\266.md" "b/docs/quickStart/1-1\345\256\211\350\243\205SDK\345\274\200\345\217\221\345\245\227\344\273\266.md" index 42499c955696553c97e4ca64af7b125c2695c35f..c4ec40b9b73f6c76d9dcab30551f7eb126647c30 100644 --- "a/docs/quickStart/1-1\345\256\211\350\243\205SDK\345\274\200\345\217\221\345\245\227\344\273\266.md" +++ "b/docs/quickStart/1-1\345\256\211\350\243\205SDK\345\274\200\345\217\221\345\245\227\344\273\266.md" @@ -1,4 +1,4 @@ -# 1.1 安装MindX SDK开发套件 +# 1.1 安装Vision SDK开发套件 ## 1.1.1 **前提条件** @@ -6,7 +6,7 @@ - 安装环境中已安装推理卡驱动和固件。 -- 已经通过获取软件包获取MindX SDK开发套件软件包。 +- 已经通过获取软件包获取Vision SDK开发套件软件包。 - 将当前用户加入HwHiAiUser用户组获取执行权限。 @@ -47,7 +47,7 @@ source ~/.bashrc **步骤1** 以软件包的安装用户身份SSH登录安装环境。 -**步骤2** 将MindX SDK开发套件包上传到安装环境的任意路径下（如：“/home/package”）并用cd命令进入套件包所在路径。 +**步骤2** 将Vision SDK开发套件包上传到安装环境的任意路径下（如：“/home/package”）并用cd命令进入套件包所在路径。 **步骤3** 增加对套件包的可执行权限： @@ -67,7 +67,7 @@ chmod +x Ascend-mindxsdk-mxvision_{version}_linux-{arch}.run Verifying archive integrity... 100% SHA256 checksums are OK. All good. ``` -**步骤5** 创建MindX SDK开发套件包的安装路径。 +**步骤5** 创建Vision SDK开发套件包的安装路径。 - 若用户想指定安装路径，需要先创建安装路径。以安装路径“/home/work/MindX_SDK”为例： @@ -75,9 +75,9 @@ Verifying archive integrity... 100% SHA256 checksums are OK. All good. mkdir -p /home/work/MindX_SDK ``` -- 若用户未指定安装路径，软件会默认安装到MindX SDK开发套件包所在的路径。 +- 若用户未指定安装路径，软件会默认安装到Vision SDK开发套件包所在的路径。 -**步骤6** 安装MindX SDK开发套件包。 +**步骤6** 安装Vision SDK开发套件包。 - 若用户指定了安装路径。以安装路径“/home/work/MindX_SDK”为例： @@ -98,7 +98,7 @@ Uncompressing ASCEND MINDXSDK RNN PACKAGE 100% **步骤7** 环境变量生效。 -​ 在当前窗口手动执行以下命令，让MindX SDK的环境变量生效。 +​ 在当前窗口手动执行以下命令，让Vision SDK的环境变量生效。 ``` source ~/.bashrc diff --git "a/docs/quickStart/1-4MindX_SDK\346\200\273\344\275\223\347\273\223\346\236\204.md" "b/docs/quickStart/1-4Vision SDK\346\265\201\347\250\213\347\274\226\347\240\201\346\216\245\345\217\243\344\273\213\347\273\215.md" similarity index 95% rename from "docs/quickStart/1-4MindX_SDK\346\200\273\344\275\223\347\273\223\346\236\204.md" rename to "docs/quickStart/1-4Vision SDK\346\265\201\347\250\213\347\274\226\347\240\201\346\216\245\345\217\243\344\273\213\347\273\215.md" index 724063d53b1fc01ec2546f17335f18bcb5c18319..94c84ced022dd998c1a1dff7e107c5155189c1da 100644 --- "a/docs/quickStart/1-4MindX_SDK\346\200\273\344\275\223\347\273\223\346\236\204.md" +++ "b/docs/quickStart/1-4Vision SDK\346\265\201\347\250\213\347\274\226\347\240\201\346\216\245\345\217\243\344\273\213\347\273\215.md" @@ -1,8 +1,5 @@ -# MindX SDK总体结构 -![image.png](img/1623748262037.png 'image.png') - -## mxManufacture & mxVision特性介绍 +## Vision SDK流程编排特性介绍 关键特性： - 配置文件快速构建AI推理业务。 @@ -17,7 +14,7 @@ 典型推理业务流程如图中人体特征识别所示，先通过目标检测获取目标坐标，然后通过图像分类识别人体属性。流程中有两次图像缩放的操作，两者主要区别在于设置的缩放宽高参数不同。 ![image.png](img/1623748862495.png 'image.png') -## mxManufacture & mxVision基本概念 +## Vision SDK流程编排基本概念 通过Stream配置文件，Stream manager可识别需要构建的Element，以及它们之间的连接关系，并启动业务流程。Stream manager对外提供接口，用于向Stream发送数据和获取结果，令用户实现业务对接。 Element表示业务流程中的基础模块，通过Element的串接构建Stream。Buffer用于内部挂载解码后的视频/图像数据，是Element之间传递的数据结构，同时也可挂载元数据（Metadata），用于存放结构化数据（如目标检测结果）或过程数据（如缩放后的图像）。 diff --git "a/docs/quickStart/2-3pipeline\350\276\223\345\205\245\350\276\223\345\207\272\346\223\215\344\275\234.md" "b/docs/quickStart/2-3pipeline\350\276\223\345\205\245\350\276\223\345\207\272\346\223\215\344\275\234.md" index 87f53dbaa4156f0033ce25c5708e956c3ae03868..540a35a26a566d917cac317d81fef27ddd3db8f1 100644 --- "a/docs/quickStart/2-3pipeline\350\276\223\345\205\245\350\276\223\345\207\272\346\223\215\344\275\234.md" +++ "b/docs/quickStart/2-3pipeline\350\276\223\345\205\245\350\276\223\345\207\272\346\223\215\344\275\234.md" @@ -1,5 +1,4 @@ # 2.3 pipeline输入输出操作 -**本章节中mxManufacture和mxVision可互相替换** ## 2.3.1 业务流程对接接口介绍 ### 2.3.1.1 SendData-GetResult 数据流图 @@ -157,7 +156,7 @@ GST_PLUGIN_PATH=/home/*****/home/work/MindX_SDK/mxManufacture/opensource/lib/gst #### 步骤 3 配置SDK路径 -配置CMakeLists.txt中的MX_SDK_HOME环境变量，配置安装了MindX SDK的路径 +配置CMakeLists.txt中的MX_SDK_HOME环境变量，配置安装了Vision SDK的路径 set(MX_SDK_HOME ${SDK安装路径}/mxManufacture) diff --git "a/docs/quickStart/3-1\345\270\270\347\224\250\346\217\222\344\273\266\346\225\260\346\215\256\347\273\223\346\236\204.md" "b/docs/quickStart/3-1\345\270\270\347\224\250\346\217\222\344\273\266\346\225\260\346\215\256\347\273\223\346\236\204.md" index 9853e1867b9423ac5387431b09818ed2fb698042..77e9b88811206e50829ea0b4dcc83669fe779c22 100644 --- "a/docs/quickStart/3-1\345\270\270\347\224\250\346\217\222\344\273\266\346\225\260\346\215\256\347\273\223\346\236\204.md" +++ "b/docs/quickStart/3-1\345\270\270\347\224\250\346\217\222\344\273\266\346\225\260\346\215\256\347\273\223\346\236\204.md" @@ -1,7 +1,7 @@ # 常用插件数据结构 在stream中数据通过挂载metadata在各个插件之间传递，本章节提供内部protobuf数据的图示。 - metadata的详细数据定义请参考《用户指南》中的“C Metadata proto 文件”章节 -- MindX SDK使用Protocol Buffer 3格式 +- Vision SDK使用Protocol Buffer 3格式 - protoSample文件夹中的样例提供了如何组装一个MxpiFrame结构并使用Senddata传入stream。 [点击跳转](https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/tutorials/protocolSample) - 实际组装时根据需要可以直接组装非顶级的protobuf结构，例如使用SendProtobuf()时直接组装出MxpiVisionList作为protobuf数据 diff --git "a/docs/quickStart/4-4\346\250\241\345\236\213Tensor\346\225\260\346\215\256\345\244\204\347\220\206&\350\207\252\345\256\232\344\271\211\346\250\241\345\236\213\345\220\216\345\244\204\347\220\206.md" "b/docs/quickStart/4-4\346\250\241\345\236\213Tensor\346\225\260\346\215\256\345\244\204\347\220\206&\350\207\252\345\256\232\344\271\211\346\250\241\345\236\213\345\220\216\345\244\204\347\220\206.md" index f6b937abb2fb4f5b37f406e9d04b29e5f3d88068..7ae681a6c7cb8b878631ebebee7828c8160ebcc1 100644 --- "a/docs/quickStart/4-4\346\250\241\345\236\213Tensor\346\225\260\346\215\256\345\244\204\347\220\206&\350\207\252\345\256\232\344\271\211\346\250\241\345\236\213\345\220\216\345\244\204\347\220\206.md" +++ "b/docs/quickStart/4-4\346\250\241\345\236\213Tensor\346\225\260\346\215\256\345\244\204\347\220\206&\350\207\252\345\256\232\344\271\211\346\250\241\345\236\213\345\220\216\345\244\204\347\220\206.md" @@ -101,7 +101,7 @@ Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |------------|---------|-------------------| | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/docs/quickStart/README.md b/docs/quickStart/README.md index b0813bff582928368d5b0529da3f8f19583038ac..f297619dd1d874e4009c490d4d60ee95d11054e1 100644 --- a/docs/quickStart/README.md +++ b/docs/quickStart/README.md @@ -1,12 +1,12 @@ # 简介 -MindX SDK快速入门教程 +Vision SDK快速入门教程 # 文档教程 - **开发环境** - [环境安装](1-1安装SDK开发套件.md) - [IDE开发环境搭建](1-2IDE开发环境搭建.md) - [MindStuido开发环境搭建](1-3MindStuido开发环境搭建.md) - - [MIND_SDK总体结构](1-4MindX_SDK总体结构.md) + - [Vision SDK流程编码接口介绍](1-4Vision SDK流程编码接口介绍.md) - **初级开发** - [图像检测样例运行](2-1图像检测sample样例.md) diff --git "a/docs/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274.md" "b/docs/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274.md" index 0ddb5b10a63e345b3fb25e728fef8ccae8e18a01..fe6927f571f9fc97dd57eb5fb6628aebb93b20ee 100644 --- "a/docs/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274.md" +++ "b/docs/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274/\344\273\243\347\240\201\346\217\220\344\272\244\346\214\207\345\257\274.md" @@ -1,6 +1,6 @@ # 1 介绍 -MindX SDK 欢迎开发者 +Vision SDK 欢迎开发者 本章主要介绍提交PR后清理告警步骤。 diff --git a/mxVision/AiPhysicalAttackAndDetecting/ReadMe.md b/mxVision/AiPhysicalAttackAndDetecting/ReadMe.md index d9e571a8d491ea65f82b64954f2cb88162862c60..6f509389cb6a538fd024a084384526b37dc8457e 100644 --- a/mxVision/AiPhysicalAttackAndDetecting/ReadMe.md +++ b/mxVision/AiPhysicalAttackAndDetecting/ReadMe.md @@ -52,7 +52,7 @@ ### 2.1 依赖软件安装 - CANN获取[链接](https://www.hiascend.com/software/cann), 安装[参考链接](https://www.hiascend.com/document/detail/zh/canncommercial/70RC1/envdeployment/instg/instg_0013.html) -- MindX SDK 获取[链接](https://www.hiascend.com/software/Mindx-sdk), 安装[参考链接](https://www.hiascend.com/document/detail/zh/mind-sdk/50rc3/vision/mxvisionug/mxvisionug_0014.html) +- MindSDK 获取[链接](https://www.hiascend.com/software/Mindx-sdk), 安装[参考链接](https://www.hiascend.com/document/detail/zh/mind-sdk/50rc3/vision/mxvisionug/mxvisionug_0014.html) ### 2.2 python依赖安装 #### 依赖库及版本 diff --git a/mxVision/AllObjectsStructuring/CMakeLists.txt b/mxVision/AllObjectsStructuring/CMakeLists.txt index 742db4b84a6aeea7326884f9429688858bfe677c..012694387d5d8b9e1bff618a3ce2d0fe83102d33 100644 --- a/mxVision/AllObjectsStructuring/CMakeLists.txt +++ b/mxVision/AllObjectsStructuring/CMakeLists.txt @@ -1,32 +1,32 @@ -cmake_minimum_required(VERSION 3.5.1) -project(AllObjectsStructuring) - -add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0) -add_definitions(-Dgoogle=mindxsdk_private) -set(CMAKE_CXX_STANDARD 14) -set(PROJECT_DIR ${PROJECT_SOURCE_DIR}) - -if(NOT DEFINED ENV{MX_SDK_HOME}) - message(FATAL_ERROR "MX_SDK_HOME is not defined, please set it first.") -else() - set(MX_SDK_HOME $ENV{MX_SDK_HOME}) - message("MX_SDK_HOME=$ENV{MX_SDK_HOME}") -endif() - -set(ENV{LD_LIBRARY_PATH} ${MX_SDK_HOME}/opensource/lib:$LD_LIBRARY_PATH) - -include_directories(${MX_SDK_HOME}/include) -include_directories(${MX_SDK_HOME}/opensource/include) -include_directories(${MX_SDK_HOME}/opensource/include/opencv4) -include_directories(${MX_SDK_HOME}/opensource/include/gstreamer-1.0) -include_directories(${MX_SDK_HOME}/opensource/include/glib-2.0) -include_directories(${MX_SDK_HOME}/opensource/lib/glib-2.0/include) - -link_directories(${MX_SDK_HOME}/lib) -link_directories(${MX_SDK_HOME}/opensource/lib) - -add_subdirectory(Proto) -add_subdirectory(plugins/MpObjectSelection) -add_subdirectory(plugins/MxpiFaceSelection) -add_subdirectory(plugins/MxpiSkipFrame) +cmake_minimum_required(VERSION 3.5.1) +project(AllObjectsStructuring) + +add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0) +add_definitions(-Dgoogle=mindxsdk_private) +set(CMAKE_CXX_STANDARD 14) +set(PROJECT_DIR ${PROJECT_SOURCE_DIR}) + +if(NOT DEFINED ENV{MX_SDK_HOME}) + message(FATAL_ERROR "MX_SDK_HOME is not defined, please set it first.") +else() + set(MX_SDK_HOME $ENV{MX_SDK_HOME}) + message("MX_SDK_HOME=$ENV{MX_SDK_HOME}") +endif() + +set(ENV{LD_LIBRARY_PATH} ${MX_SDK_HOME}/opensource/lib:$LD_LIBRARY_PATH) + +include_directories(${MX_SDK_HOME}/include) +include_directories(${MX_SDK_HOME}/opensource/include) +include_directories(${MX_SDK_HOME}/opensource/include/opencv4) +include_directories(${MX_SDK_HOME}/opensource/include/gstreamer-1.0) +include_directories(${MX_SDK_HOME}/opensource/include/glib-2.0) +include_directories(${MX_SDK_HOME}/opensource/lib/glib-2.0/include) + +link_directories(${MX_SDK_HOME}/lib) +link_directories(${MX_SDK_HOME}/opensource/lib) + +add_subdirectory(Proto) +add_subdirectory(plugins/MpObjectSelection) +add_subdirectory(plugins/MxpiFaceSelection) +add_subdirectory(plugins/MxpiSkipFrame) add_subdirectory(plugins/MxpiFrameAlign) \ No newline at end of file diff --git a/mxVision/AllObjectsStructuring/README.md b/mxVision/AllObjectsStructuring/README.md index 48b8b965601b4d35e5736a83d1b4d9d489c41fc7..7e9b3532d3f9d3693d7488c855df85be09f7af5a 100644 --- a/mxVision/AllObjectsStructuring/README.md +++ b/mxVision/AllObjectsStructuring/README.md @@ -3,7 +3,7 @@ ## 1 介绍 ### 1.1 简介 -全目标结构化样例基于mxVision SDK进行开发，以昇腾Atlas 300I pro、 Atlas 300V pro卡为主要的硬件平台，主要支持以下功能： +全目标结构化样例基于Vision SDK进行开发，以昇腾Atlas 300I pro、 Atlas 300V pro卡为主要的硬件平台，主要支持以下功能： * 目标检测：在视频流中检测出目标，本样例选用基于Yolov4-tiny的目标检测，能达到快速精准检测。 * 动态目标识别和属性分析：能够识别检测出的目标类别，并对其属性进行分析。 @@ -15,9 +15,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -37,7 +37,7 @@ ### 1.5 代码目录结构说明 ``` -├── mxVision +├── VisionSDK │   ├── AllObjectsStructuring │   | ├── main_pipeline │   | │   └── __init__.py @@ -94,7 +94,7 @@ #设置CANN环境变量，ascend-toolkit-path为cann安装路径 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/mxVision/AllObjectsStructuring/pipeline/AllObjectsStructuring.pipeline b/mxVision/AllObjectsStructuring/pipeline/AllObjectsStructuring.pipeline index f43bffdbdaa5959de56c0501956d0dd4c4f173a1..4ec0d2ced8c49e4291491df46cd1150f00a77a6f 100644 --- a/mxVision/AllObjectsStructuring/pipeline/AllObjectsStructuring.pipeline +++ b/mxVision/AllObjectsStructuring/pipeline/AllObjectsStructuring.pipeline @@ -1,1956 +1,1956 @@ -{ - "detection":{ - "stream_config":{ - "deviceId":"1" - }, - "mxpi_rtspsrc0":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"0" - }, - "next":"mxpi_videodecoder0" - }, - "mxpi_rtspsrc1":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"1" - }, - "next":"mxpi_videodecoder1" - }, - "mxpi_rtspsrc2":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"2" - }, - "next":"mxpi_videodecoder2" - }, - "mxpi_rtspsrc3":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"3" - }, - "next":"mxpi_videodecoder3" - }, - "mxpi_rtspsrc4":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"4" - }, - "next":"mxpi_videodecoder4" - }, - "mxpi_rtspsrc5":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"5" - }, - "next":"mxpi_videodecoder5" - }, - "mxpi_rtspsrc6":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"6" - }, - "next":"mxpi_videodecoder6" - }, - "mxpi_rtspsrc7":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"7" - }, - "next":"mxpi_videodecoder7" - }, - "mxpi_rtspsrc8":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"8" - }, - "next":"mxpi_videodecoder8" - }, - "mxpi_rtspsrc9":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"9" - }, - "next":"mxpi_videodecoder9" - }, - "mxpi_rtspsrc10":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"10" - }, - "next":"mxpi_videodecoder10" - }, - "mxpi_rtspsrc11":{ - "factory":"mxpi_rtspsrc", - "props":{ - "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", - "channelId":"11" - }, - "next":"mxpi_videodecoder11" - }, - "mxpi_videodecoder0":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"0" - }, - "next":"mxpi_skipframe0" - }, - "mxpi_skipframe0":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:0", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder1":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"1" - }, - "next":"mxpi_skipframe1" - }, - "mxpi_skipframe1":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:1", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder2":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"2" - }, - "next":"mxpi_skipframe2" - }, - "mxpi_skipframe2":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:2", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder3":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"3" - }, - "next":"mxpi_skipframe3" - }, - "mxpi_skipframe3":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:3", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder4":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"4" - }, - "next":"mxpi_skipframe4" - }, - "mxpi_skipframe4":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:4", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder5":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"5" - }, - "next":"mxpi_skipframe5" - }, - "mxpi_skipframe5":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:5", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder6":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"6" - }, - "next":"mxpi_skipframe6" - }, - "mxpi_skipframe6":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:6", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder7":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"7" - }, - "next":"mxpi_skipframe7" - }, - "mxpi_skipframe7":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:7", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder8":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"8" - }, - "next":"mxpi_skipframe8" - }, - "mxpi_skipframe8":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:8", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder9":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"9" - }, - "next":"mxpi_skipframe9" - }, - "mxpi_skipframe9":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:9", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder10":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"10" - }, - "next":"mxpi_skipframe10" - }, - "mxpi_skipframe10":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:10", - "props":{ - "frameNum":"2" - } - }, - "mxpi_videodecoder11":{ - "factory":"mxpi_videodecoder", - "props":{ - "inputVideoFormat":"H264", - "outputImageFormat":"YUV420SP_NV12", - "vdecChannelId":"11" - }, - "next":"mxpi_skipframe11" - }, - "mxpi_skipframe11":{ - "factory":"mxpi_skipframe", - "next":"mxpi_parallel2serial0:11", - "props":{ - "frameNum":"2" - } - }, - "mxpi_parallel2serial0":{ - "factory":"mxpi_parallel2serial", - "props":{ - "dataSource":"mxpi_videodecoder0,mxpi_videodecoder1,mxpi_videodecoder2,mxpi_videodecoder3,mxpi_videodecoder4,mxpi_videodecoder5,mxpi_videodecoder6,mxpi_videodecoder7,mxpi_videodecoder8,mxpi_videodecoder9,mxpi_videodecoder10,mxpi_videodecoder11" - }, - "next":"mxpi_imageresize0" - }, - "mxpi_imageresize0":{ - "props":{ - "dataSource":"mxpi_parallel2serial0", - "resizeHeight":"416", - "resizeWidth":"416" - }, - "factory":"mxpi_imageresize", - "next":"queue0" - }, - "queue0":{ - "props":{ - "max-size-buffers":"500" - }, - "factory":"queue", - "next":"mxpi_modelinfer0" - }, - "mxpi_modelinfer0":{ - "props":{ - "dataSource":"mxpi_imageresize0", - "modelPath":"./models/yolov4_improve/yolov4_detection.om", - "postProcessConfigPath":"./models/yolov4_improve/yolov4.cfg", - "labelPath":"./models/yolov4_improve/coco.names", - "postProcessLibPath":"libMpYOLOv3PostProcessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_objectdistributor0" - }, - "mxpi_objectdistributor0":{ - "props":{ - "classIds":"3,2|0", - "dataSource":"mxpi_modelinfer0" - }, - "factory":"mxpi_distributor", - "next":["queue1","queue33"] - }, - "queue1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop1" - }, - "mxpi_imagecrop1":{ - "props":{ - "dataSource":"mxpi_objectdistributor0_0", - "resizeHeight":"96", - "resizeWidth":"96" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_channeldistributor_pfm" - }, - "mxpi_channeldistributor_pfm":{ - "props":{ - "channelIds":"0|1|2|3,4|5|6|7,8|9|10|11" - }, - "factory":"mxpi_distributor", - "next":["queue_landmark0","queue_landmark1","queue_landmark2"] - }, - "queue_landmark0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_facelandmark0" - }, - "mxpi_facelandmark0":{ - "props":{ - "dataSource":"mxpi_imagecrop1", - "modelPath":"./models/facequality/face_quality_improve.om", - "postProcessLibPath":"libfacelandmarkpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_facelandmark:0" - }, - "queue_landmark1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_facelandmark1" - }, - "mxpi_facelandmark1":{ - "props":{ - "dataSource":"mxpi_imagecrop1", - "modelPath":"./models/facequality/face_quality_improve.om", - "postProcessLibPath":"libfacelandmarkpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_facelandmark:1" - }, - "queue_landmark2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_facelandmark2" - }, - "mxpi_facelandmark2":{ - "props":{ - "dataSource":"mxpi_imagecrop1", - "modelPath":"./models/facequality/face_quality_improve.om", - "postProcessLibPath":"libfacelandmarkpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_facelandmark:2" - }, - "mxpi_facelandmark":{ - "factory":"mxpi_parallel2serial", - "props":{ - "dataSource":"mxpi_facelandmark0,mxpi_facelandmark1,mxpi_facelandmark2" - }, - "next":"queue2" - }, - "queue2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop0" - }, - "mxpi_imagecrop0":{ - "props":{ - "dataSource":"mxpi_objectdistributor0_0", - "resizeHeight":"96", - "resizeWidth":"64" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_channeldistributor_pfm2" - }, - "mxpi_channeldistributor_pfm2":{ - "props":{ - "channelIds":"0|1|2|3|4|5,6|7|8|9|10|11" - }, - "factory":"mxpi_distributor", - "next":["queue_embedding0","queue_embedding1"] - }, - "queue_embedding0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_FaceFeatureModelInfer0" - }, - "mxpi_FaceFeatureModelInfer0":{ - "props":{ - "dataSource":"mxpi_imagecrop0", - "modelPath":"./models/faceembedding/face_embedding.om", - "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", - "postProcessLibPath":"libresnetfeaturepostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_FaceFeatureModelInfer:0" - }, - "queue_embedding1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_FaceFeatureModelInfer1" - }, - "mxpi_FaceFeatureModelInfer1":{ - "props":{ - "dataSource":"mxpi_imagecrop0", - "modelPath":"./models/faceembedding/face_embedding.om", - "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", - "postProcessLibPath":"libresnetfeaturepostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_FaceFeatureModelInfer:1" - }, - "mxpi_FaceFeatureModelInfer":{ - "factory":"mxpi_parallel2serial", - "props":{ - "dataSource":"mxpi_FaceFeatureModelInfer0,mxpi_FaceFeatureModelInfer1" - }, - "next":"queue_test" - }, - "queue_test":{ - "props":{ - "max-size-buffers":"100" - }, - "factory":"queue", - "next":"mxpi_channeldistributor0" - }, - "mxpi_channeldistributor0":{ - "props":{ - "channelIds":"0,1,2,3,4,5,6,7,8,9,10,11" - }, - "factory":"mxpi_distributor", - "next":["mxpi_motsimplesort_face0","mxpi_motsimplesort_face1","mxpi_motsimplesort_face2","mxpi_motsimplesort_face3","mxpi_motsimplesort_face4","mxpi_motsimplesort_face5","mxpi_motsimplesort_face6","mxpi_motsimplesort_face7","mxpi_motsimplesort_face8","mxpi_motsimplesort_face9","mxpi_motsimplesort_face10","mxpi_motsimplesort_face11"] - }, - "mxpi_motsimplesort_face0": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_0" - }, - "queue_sel_0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection0" - }, - "mxpi_faceselection0":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face0", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_0", - "queue_crop_0" - ] - }, - "queue_mux_0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:0" - }, - "queue_crop_0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop2" - }, - "mxpi_imagecrop2":{ - "props":{ - "dataSource":"mxpi_faceselection0_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:0" - }, - "mxpi_motsimplesort_face1": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_1" - }, - "queue_sel_1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection1" - }, - "mxpi_faceselection1":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face1", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_1", - "queue_crop_1" - ] - }, - "queue_mux_1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:1" - }, - "queue_crop_1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop3" - }, - "mxpi_imagecrop3":{ - "props":{ - "dataSource":"mxpi_faceselection1_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:1" - }, - "mxpi_motsimplesort_face2": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_2" - }, - "queue_sel_2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection2" - }, - "mxpi_faceselection2":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face2", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_2", - "queue_crop_2" - ] - }, - "queue_mux_2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:2" - }, - "queue_crop_2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop4" - }, - "mxpi_imagecrop4":{ - "props":{ - "dataSource":"mxpi_faceselection2_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:2" - }, - "mxpi_motsimplesort_face3": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_3" - }, - "queue_sel_3":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection3" - }, - "mxpi_faceselection3":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face3", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_3", - "queue_crop_3" - ] - }, - "queue_mux_3":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:3" - }, - "queue_crop_3":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop5" - }, - "mxpi_imagecrop5":{ - "props":{ - "dataSource":"mxpi_faceselection3_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:3" - }, - "mxpi_motsimplesort_face4": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_4" - }, - "queue_sel_4":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection4" - }, - "mxpi_faceselection4":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face4", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_4", - "queue_crop_4" - ] - }, - "queue_mux_4":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:4" - }, - "queue_crop_4":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop6" - }, - "mxpi_imagecrop6":{ - "props":{ - "dataSource":"mxpi_faceselection4_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:4" - }, - "mxpi_motsimplesort_face5": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_5" - }, - "queue_sel_5":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection5" - }, - "mxpi_faceselection5":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face5", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_5", - "queue_crop_5" - ] - }, - "queue_mux_5":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:5" - }, - "queue_crop_5":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop7" - }, - "mxpi_imagecrop7":{ - "props":{ - "dataSource":"mxpi_faceselection5_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:5" - }, - "mxpi_motsimplesort_face6": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_6" - }, - "queue_sel_6":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection6" - }, - "mxpi_faceselection6":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face6", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_6", - "queue_crop_6" - ] - }, - "queue_mux_6":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:6" - }, - "queue_crop_6":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_6" - }, - "mxpi_imagecrop_6":{ - "props":{ - "dataSource":"mxpi_faceselection6_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:6" - }, - "mxpi_motsimplesort_face7": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_7" - }, - "queue_sel_7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection7" - }, - "mxpi_faceselection7":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face7", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_7", - "queue_crop_7" - ] - }, - "queue_mux_7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:7" - }, - "queue_crop_7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_7" - }, - "mxpi_imagecrop_7":{ - "props":{ - "dataSource":"mxpi_faceselection7_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:7" - }, - "mxpi_motsimplesort_face8": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_8" - }, - "queue_sel_8":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection8" - }, - "mxpi_faceselection8":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face8", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_8", - "queue_crop_8" - ] - }, - "queue_mux_8":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:8" - }, - "queue_crop_8":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_8" - }, - "mxpi_imagecrop_8":{ - "props":{ - "dataSource":"mxpi_faceselection8_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:8" - }, - "mxpi_motsimplesort_face9": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_9" - }, - "queue_sel_9":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection9" - }, - "mxpi_faceselection9":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face9", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_9", - "queue_crop_9" - ] - }, - "queue_mux_9":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:9" - }, - "queue_crop_9":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_9" - }, - "mxpi_imagecrop_9":{ - "props":{ - "dataSource":"mxpi_faceselection9_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:9" - }, - "mxpi_motsimplesort_face10": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_10" - }, - "queue_sel_10":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection10" - }, - "mxpi_faceselection10":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face10", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_10", - "queue_crop_10" - ] - }, - "queue_mux_10":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:10" - }, - "queue_crop_10":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_10" - }, - "mxpi_imagecrop_10":{ - "props":{ - "dataSource":"mxpi_faceselection10_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:10" - }, - "mxpi_motsimplesort_face11": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_0", - "dataSourceFeature":"mxpi_FaceFeatureModelInfer" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_sel_11" - }, - "queue_sel_11":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_faceselection11" - }, - "mxpi_faceselection11":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_face11", - "dataSourceKeyPoint":"mxpi_facelandmark", - "minScoreThreshold":"0" - }, - "factory":"mxpi_faceselection", - "next":[ - "queue_mux_11", - "queue_crop_11" - ] - }, - "queue_mux_11":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_parallel2serial1:11" - }, - "queue_crop_11":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop_11" - }, - "mxpi_imagecrop_11":{ - "props":{ - "dataSource":"mxpi_faceselection11_0", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1", - "resizeHeight":"112", - "resizeWidth":"112" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_parallel2serial2:11" - }, - "mxpi_parallel2serial1":{ - "factory":"mxpi_parallel2serial", - "props":{ - "dataSource":"mxpi_faceselection0_1,mxpi_faceselection1_1,mxpi_faceselection2_1,mxpi_faceselection3_1,mxpi_faceselection4_1,mxpi_faceselection5_1,mxpi_faceselection6_1,mxpi_faceselection7_1,mxpi_faceselection8_1,mxpi_faceselection9_1,mxpi_faceselection10_1,mxpi_faceselection11_1" - }, - "next":"mxpi_facealignment0:1" - }, - "mxpi_parallel2serial2":{ - "factory":"mxpi_parallel2serial", - "props":{ - "dataSource":"mxpi_imagecrop2,mxpi_imagecrop3,mxpi_imagecrop4,mxpi_imagecrop5,mxpi_imagecrop6,mxpi_imagecrop7,mxpi_imagecrop_6,mxpi_imagecrop_7,mxpi_imagecrop_8,mxpi_imagecrop_9,mxpi_imagecrop_10,mxpi_imagecrop_11" - }, - "next":"mxpi_facealignment0:0" - }, - "mxpi_facealignment0":{ - "props":{ - "status":"1", - "dataSourceImage":"mxpi_parallel2serial2", - "dataSourceKeyPoint":"mxpi_parallel2serial1", - "afterFaceAlignmentHeight":"112", - "afterFaceAlignmentWidth":"112" - }, - "factory":"mxpi_facealignment", - "next":"tee3" - }, - "tee3":{ - "factory":"tee", - "next":[ - "queue7", - "queue19" - ] - }, - "queue7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"face_attribute" - }, - "face_attribute":{ - "props":{ - "dataSource":"mxpi_facealignment0", - "modelPath":"./models/faceattr/face_attribute_batch_4.om", - "postProcessConfigPath":"./models/faceattr/yolov3-tiny-addpad.cfg", - "labelPath":"./models/faceattr/coco.names", - "postProcessLibPath":"libresnetattrpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_synchronize0:0" - }, - "queue19":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"face_feature" - }, - "face_feature":{ - "props":{ - "dataSource":"mxpi_facealignment0", - "modelPath":"./models/facefeature/face_feature_batch_1.om", - "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", - "postProcessLibPath":"libresnetfeaturepostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_synchronize0:1" - }, - "mxpi_synchronize0":{ - "factory":"mxpi_synchronize", - "next":"mxpi_dataserialize0" - }, - "mxpi_dataserialize0":{ - "props":{ - "outputDataKeys":"ReservedFrameInfo,face_attribute,face_feature" - }, - "factory":"mxpi_dataserialize", - "next":"mxpi_parallel2serial3:0" - }, - "queue33":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imagecrop8" - }, - "mxpi_imagecrop8":{ - "props":{ - "dataSource":"mxpi_objectdistributor0_1", - "resizeHeight":"224", - "resizeWidth":"224", - "leftExpandRatio":"0.1", - "rightExpandRatio":"0.1", - "upExpandRatio":"0.1", - "downExpandRatio":"0.1" - }, - "factory":"mxpi_imagecrop", - "next":"mxpi_channeldistributor1" - }, - "mxpi_channeldistributor1":{ - "props":{ - "channelIds":"0,1,2,3,4,5,6,7,8,9,10,11" - }, - "factory":"mxpi_distributor", - "next":["queue_mot_obj0","queue_mot_obj1","queue_mot_obj2","queue_mot_obj3","queue_mot_obj4","queue_mot_obj5","queue_mot_obj6","queue_mot_obj7","queue_mot_obj8","queue_mot_obj9","queue_mot_obj10","queue_mot_obj11"] - }, - "queue_mot_obj0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj0" - }, - "mxpi_motsimplesort_obj0": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_0" - }, - "queue_ob_0":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection0:0" - }, - "mxpi_objectselection0":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj0", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:0" - }, - "queue_mot_obj1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj1" - }, - "mxpi_motsimplesort_obj1": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_1" - }, - "queue_ob_1":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection1:0" - }, - "mxpi_objectselection1":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj1", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1 ,0.2, 0.3,0.4,0. 5,0.6,0.7, 0.8,0.9,0.8,0 .7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:1" - }, - "queue_mot_obj2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj2" - }, - "mxpi_motsimplesort_obj2": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_2" - }, - "queue_ob_2":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection2:0" - }, - "mxpi_objectselection2":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj2", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:2" - }, - "queue_mot_obj3":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj3" - }, - "mxpi_motsimplesort_obj3": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_3" - }, - "queue_ob_3":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection3:0" - }, - "mxpi_objectselection3":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj3", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:3" - }, - "queue_mot_obj4":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj4" - }, - "mxpi_motsimplesort_obj4": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_4" - }, - "queue_ob_4":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection4:0" - }, - "mxpi_objectselection4":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj4", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:4" - }, - "queue_mot_obj5":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj5" - }, - "mxpi_motsimplesort_obj5": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_5" - }, - "queue_ob_5":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection5:0" - }, - "mxpi_objectselection5":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj5", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:5" - }, - "queue_mot_obj6":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj6" - }, - "mxpi_motsimplesort_obj6": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_6" - }, - "queue_ob_6":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection6:0" - }, - "mxpi_objectselection6":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj6", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:6" - }, - "queue_mot_obj7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj7" - }, - "mxpi_motsimplesort_obj7": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_7" - }, - "queue_ob_7":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection7:0" - }, - "mxpi_objectselection7":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj7", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:7" - }, - "queue_mot_obj8":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj8" - }, - "mxpi_motsimplesort_obj8": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_8" - }, - "queue_ob_8":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection8:0" - }, - "mxpi_objectselection8":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj8", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:8" - }, - "queue_mot_obj9":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj9" - }, - "mxpi_motsimplesort_obj9": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_9" - }, - "queue_ob_9":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection9:0" - }, - "mxpi_objectselection9":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj9", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:9" - }, - "queue_mot_obj10":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj10" - }, - "mxpi_motsimplesort_obj10": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_10" - }, - "queue_ob_10":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection10:0" - }, - "mxpi_objectselection10":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj10", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:10" - }, - "queue_mot_obj11":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_motsimplesort_obj11" - }, - "mxpi_motsimplesort_obj11": { - "props": { - "dataSourceDetection": "mxpi_objectdistributor0_1" - }, - "factory": "mxpi_motsimplesort", - "next": "queue_ob_11" - }, - "queue_ob_11":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_objectselection11:0" - }, - "mxpi_objectselection11":{ - "props":{ - "status":"1", - "dataSourceDetection":"mxpi_motsimplesort_obj11", - "dataSourceImage":"mxpi_imagecrop8", - "tmarginValue":"0.1", - "weightMargin":"0.2", - "weightOcclude":"0.11", - "weightSize":"0.21", - "weightConf":"0.31", - "trackTime":"0", - "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", - "outputKeys":"vision,object" - }, - "factory":"mxpi_objectselection", - "next":"mxpi_parallel2serial4:11" - }, - "mxpi_parallel2serial4":{ - "factory":"mxpi_parallel2serial", - "next":"mxpi_objectdistributor1" - }, - "mxpi_objectdistributor1":{ - "props":{ - "classIds":"2,0", - "dataSource":"object" - }, - "factory":"mxpi_distributor", - "next":[ - "queue12", - "queue13" - ] - }, - "queue12":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"tee4" - }, - "tee4":{ - "factory":"tee", - "next":[ - "queue20", - "queue21" - ] - }, - "queue20":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imageresize3" - }, - "mxpi_imageresize3":{ - "props":{ - "dataSource":"vision", - "resizeHeight":"224", - "resizeWidth":"224" - }, - "factory":"mxpi_imageresize", - "next":"queue14" - }, - "queue14":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"motor_attr" - }, - "motor_attr":{ - "props":{ - "dataSource":"mxpi_imageresize3", - "modelPath":"./models/motorattr/vehicle_attribute.om", - "postProcessConfigPath":"./models/faceattr/yolov3-tiny-addpad.cfg", - "labelPath":"./models/motorattr/vehicle_attribute_coco.names", - "postProcessLibPath":"libresnetattrpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_synchronize2:0" - }, - "queue21":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imageresize6" - }, - "mxpi_imageresize6":{ - "props":{ - "dataSource":"vision", - "resizeHeight": "640", - "resizeWidth": "480" - }, - "factory":"mxpi_imageresize", - "next":"queue22" - }, - "queue22":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_modelinfer4" - }, - "mxpi_modelinfer4": { - "props": { - "parentName": "mxpi_imageresize6", - "modelPath": "./models/car_plate_detection/car_plate_detection.om", - "postProcessConfigPath": "./models/car_plate_detection/car_plate_detection.cfg", - "labelPath": "./models/car_plate_detection/car_plate_detection.names", - "postProcessLibPath": "libssdvggpostprocessor.so" - }, - "factory": "mxpi_modelinfer", - "next": "mxpi_objectdistributor2" - }, - "mxpi_objectdistributor2":{ - "props":{ - "classIds":"0|1", - "dataSource":"mxpi_modelinfer4", - "distributeAll":"yes" - }, - "factory":"mxpi_distributor", - "next":"mxpi_imagecrop9" - }, - "mxpi_imagecrop9":{ - "props":{ - "dataSource":"mxpi_objectdistributor2_0", - "resizeHeight":"72", - "resizeWidth":"272" - }, - "factory":"mxpi_imagecrop", - "next":"queue23" - }, - "queue23":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"car_plate" - }, - "car_plate": { - "props": { - "parentName": "mxpi_imagecrop9", - "modelPath": "./models/car_plate_recognition/car_plate_recognition.om", - "postProcessLibPath": "libcarplaterecognitionpostprocessor.so" - }, - "factory": "mxpi_modelinfer", - "next": "mxpi_synchronize2:1" - }, - "mxpi_synchronize2":{ - "factory":"mxpi_synchronize", - "next":"mxpi_dataserialize1" - }, - "mxpi_dataserialize1":{ - "props":{ - "outputDataKeys":"ReservedFrameInfo,motor_attr,car_plate" - }, - "factory":"mxpi_dataserialize", - "next":"mxpi_parallel2serial3:1" - }, - "queue13":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"tee2" - }, - "tee2":{ - "factory":"tee", - "next":[ - "queue16", - "queue17" - ] - }, - "queue16":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imageresize4" - }, - "mxpi_imageresize4":{ - "props":{ - "dataSource":"vision", - "resizeHeight":"256", - "resizeWidth":"192" - }, - "factory":"mxpi_imageresize", - "next":"queue15" - }, - "queue15":{ - "props":{ - "max-size-buffers":"100" - }, - "factory":"queue", - "next":"pedestrian_attribute" - }, - "pedestrian_attribute":{ - "props":{ - "dataSource":"mxpi_imageresize4", - "modelPath":"./models/pedestrianattribute/pede_attr.om", - "postProcessConfigPath":"./models/pedestrianattribute/pedes_attr.cfg", - "labelPath":"./models/pedestrianattribute/coco.names", - "postProcessLibPath":"libresnetattrpostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_synchronize1:0" - }, - "queue17":{ - "props":{ - "max-size-buffers":"50" - }, - "factory":"queue", - "next":"mxpi_imageresize5" - }, - "mxpi_imageresize5":{ - "props":{ - "dataSource":"vision", - "resizeHeight":"384", - "resizeWidth":"128" - }, - "factory":"mxpi_imageresize", - "next":"queue18" - }, - "queue18":{ - "props":{ - "max-size-buffers":"100" - }, - "factory":"queue", - "next":"pedestrian_reid" - }, - "pedestrian_reid":{ - "props":{ - "dataSource":"mxpi_imageresize5", - "modelPath":"./models/pedereid/pede_reid.om", - "postProcessConfigPath":"./models/pedereid/pedereid.cfg", - "labelPath":"./models/pedereid/coco.names", - "postProcessLibPath":"libresnetfeaturepostprocessor.so" - }, - "factory":"mxpi_modelinfer", - "next":"mxpi_synchronize1:1" - }, - "mxpi_synchronize1":{ - "factory":"mxpi_synchronize", - "next":"mxpi_dataserialize2" - }, - "mxpi_dataserialize2":{ - "props":{ - "outputDataKeys":"ReservedFrameInfo,pedestrian_attribute,pedestrian_reid" - }, - "factory":"mxpi_dataserialize", - "next":"mxpi_parallel2serial3:2" - }, - "mxpi_parallel2serial3":{ - "factory":"mxpi_parallel2serial", - "next":"appsink0" - }, - "appsink0":{ - "factory":"appsink" - } - } +{ + "detection":{ + "stream_config":{ + "deviceId":"1" + }, + "mxpi_rtspsrc0":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"0" + }, + "next":"mxpi_videodecoder0" + }, + "mxpi_rtspsrc1":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"1" + }, + "next":"mxpi_videodecoder1" + }, + "mxpi_rtspsrc2":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"2" + }, + "next":"mxpi_videodecoder2" + }, + "mxpi_rtspsrc3":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"3" + }, + "next":"mxpi_videodecoder3" + }, + "mxpi_rtspsrc4":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"4" + }, + "next":"mxpi_videodecoder4" + }, + "mxpi_rtspsrc5":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"5" + }, + "next":"mxpi_videodecoder5" + }, + "mxpi_rtspsrc6":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"6" + }, + "next":"mxpi_videodecoder6" + }, + "mxpi_rtspsrc7":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"7" + }, + "next":"mxpi_videodecoder7" + }, + "mxpi_rtspsrc8":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"8" + }, + "next":"mxpi_videodecoder8" + }, + "mxpi_rtspsrc9":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"9" + }, + "next":"mxpi_videodecoder9" + }, + "mxpi_rtspsrc10":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"10" + }, + "next":"mxpi_videodecoder10" + }, + "mxpi_rtspsrc11":{ + "factory":"mxpi_rtspsrc", + "props":{ + "rtspUrl":"rtsp://xxx.xxx.xxx.xxx:xxxx/xxxx.264", + "channelId":"11" + }, + "next":"mxpi_videodecoder11" + }, + "mxpi_videodecoder0":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"0" + }, + "next":"mxpi_skipframe0" + }, + "mxpi_skipframe0":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:0", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder1":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"1" + }, + "next":"mxpi_skipframe1" + }, + "mxpi_skipframe1":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:1", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder2":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"2" + }, + "next":"mxpi_skipframe2" + }, + "mxpi_skipframe2":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:2", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder3":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"3" + }, + "next":"mxpi_skipframe3" + }, + "mxpi_skipframe3":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:3", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder4":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"4" + }, + "next":"mxpi_skipframe4" + }, + "mxpi_skipframe4":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:4", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder5":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"5" + }, + "next":"mxpi_skipframe5" + }, + "mxpi_skipframe5":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:5", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder6":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"6" + }, + "next":"mxpi_skipframe6" + }, + "mxpi_skipframe6":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:6", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder7":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"7" + }, + "next":"mxpi_skipframe7" + }, + "mxpi_skipframe7":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:7", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder8":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"8" + }, + "next":"mxpi_skipframe8" + }, + "mxpi_skipframe8":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:8", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder9":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"9" + }, + "next":"mxpi_skipframe9" + }, + "mxpi_skipframe9":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:9", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder10":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"10" + }, + "next":"mxpi_skipframe10" + }, + "mxpi_skipframe10":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:10", + "props":{ + "frameNum":"2" + } + }, + "mxpi_videodecoder11":{ + "factory":"mxpi_videodecoder", + "props":{ + "inputVideoFormat":"H264", + "outputImageFormat":"YUV420SP_NV12", + "vdecChannelId":"11" + }, + "next":"mxpi_skipframe11" + }, + "mxpi_skipframe11":{ + "factory":"mxpi_skipframe", + "next":"mxpi_parallel2serial0:11", + "props":{ + "frameNum":"2" + } + }, + "mxpi_parallel2serial0":{ + "factory":"mxpi_parallel2serial", + "props":{ + "dataSource":"mxpi_videodecoder0,mxpi_videodecoder1,mxpi_videodecoder2,mxpi_videodecoder3,mxpi_videodecoder4,mxpi_videodecoder5,mxpi_videodecoder6,mxpi_videodecoder7,mxpi_videodecoder8,mxpi_videodecoder9,mxpi_videodecoder10,mxpi_videodecoder11" + }, + "next":"mxpi_imageresize0" + }, + "mxpi_imageresize0":{ + "props":{ + "dataSource":"mxpi_parallel2serial0", + "resizeHeight":"416", + "resizeWidth":"416" + }, + "factory":"mxpi_imageresize", + "next":"queue0" + }, + "queue0":{ + "props":{ + "max-size-buffers":"500" + }, + "factory":"queue", + "next":"mxpi_modelinfer0" + }, + "mxpi_modelinfer0":{ + "props":{ + "dataSource":"mxpi_imageresize0", + "modelPath":"./models/yolov4_improve/yolov4_detection.om", + "postProcessConfigPath":"./models/yolov4_improve/yolov4.cfg", + "labelPath":"./models/yolov4_improve/coco.names", + "postProcessLibPath":"libMpYOLOv3PostProcessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_objectdistributor0" + }, + "mxpi_objectdistributor0":{ + "props":{ + "classIds":"3,2|0", + "dataSource":"mxpi_modelinfer0" + }, + "factory":"mxpi_distributor", + "next":["queue1","queue33"] + }, + "queue1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop1" + }, + "mxpi_imagecrop1":{ + "props":{ + "dataSource":"mxpi_objectdistributor0_0", + "resizeHeight":"96", + "resizeWidth":"96" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_channeldistributor_pfm" + }, + "mxpi_channeldistributor_pfm":{ + "props":{ + "channelIds":"0|1|2|3,4|5|6|7,8|9|10|11" + }, + "factory":"mxpi_distributor", + "next":["queue_landmark0","queue_landmark1","queue_landmark2"] + }, + "queue_landmark0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_facelandmark0" + }, + "mxpi_facelandmark0":{ + "props":{ + "dataSource":"mxpi_imagecrop1", + "modelPath":"./models/facequality/face_quality_improve.om", + "postProcessLibPath":"libfacelandmarkpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_facelandmark:0" + }, + "queue_landmark1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_facelandmark1" + }, + "mxpi_facelandmark1":{ + "props":{ + "dataSource":"mxpi_imagecrop1", + "modelPath":"./models/facequality/face_quality_improve.om", + "postProcessLibPath":"libfacelandmarkpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_facelandmark:1" + }, + "queue_landmark2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_facelandmark2" + }, + "mxpi_facelandmark2":{ + "props":{ + "dataSource":"mxpi_imagecrop1", + "modelPath":"./models/facequality/face_quality_improve.om", + "postProcessLibPath":"libfacelandmarkpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_facelandmark:2" + }, + "mxpi_facelandmark":{ + "factory":"mxpi_parallel2serial", + "props":{ + "dataSource":"mxpi_facelandmark0,mxpi_facelandmark1,mxpi_facelandmark2" + }, + "next":"queue2" + }, + "queue2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop0" + }, + "mxpi_imagecrop0":{ + "props":{ + "dataSource":"mxpi_objectdistributor0_0", + "resizeHeight":"96", + "resizeWidth":"64" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_channeldistributor_pfm2" + }, + "mxpi_channeldistributor_pfm2":{ + "props":{ + "channelIds":"0|1|2|3|4|5,6|7|8|9|10|11" + }, + "factory":"mxpi_distributor", + "next":["queue_embedding0","queue_embedding1"] + }, + "queue_embedding0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_FaceFeatureModelInfer0" + }, + "mxpi_FaceFeatureModelInfer0":{ + "props":{ + "dataSource":"mxpi_imagecrop0", + "modelPath":"./models/faceembedding/face_embedding.om", + "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", + "postProcessLibPath":"libresnetfeaturepostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_FaceFeatureModelInfer:0" + }, + "queue_embedding1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_FaceFeatureModelInfer1" + }, + "mxpi_FaceFeatureModelInfer1":{ + "props":{ + "dataSource":"mxpi_imagecrop0", + "modelPath":"./models/faceembedding/face_embedding.om", + "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", + "postProcessLibPath":"libresnetfeaturepostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_FaceFeatureModelInfer:1" + }, + "mxpi_FaceFeatureModelInfer":{ + "factory":"mxpi_parallel2serial", + "props":{ + "dataSource":"mxpi_FaceFeatureModelInfer0,mxpi_FaceFeatureModelInfer1" + }, + "next":"queue_test" + }, + "queue_test":{ + "props":{ + "max-size-buffers":"100" + }, + "factory":"queue", + "next":"mxpi_channeldistributor0" + }, + "mxpi_channeldistributor0":{ + "props":{ + "channelIds":"0,1,2,3,4,5,6,7,8,9,10,11" + }, + "factory":"mxpi_distributor", + "next":["mxpi_motsimplesort_face0","mxpi_motsimplesort_face1","mxpi_motsimplesort_face2","mxpi_motsimplesort_face3","mxpi_motsimplesort_face4","mxpi_motsimplesort_face5","mxpi_motsimplesort_face6","mxpi_motsimplesort_face7","mxpi_motsimplesort_face8","mxpi_motsimplesort_face9","mxpi_motsimplesort_face10","mxpi_motsimplesort_face11"] + }, + "mxpi_motsimplesort_face0": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_0" + }, + "queue_sel_0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection0" + }, + "mxpi_faceselection0":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face0", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_0", + "queue_crop_0" + ] + }, + "queue_mux_0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:0" + }, + "queue_crop_0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop2" + }, + "mxpi_imagecrop2":{ + "props":{ + "dataSource":"mxpi_faceselection0_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:0" + }, + "mxpi_motsimplesort_face1": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_1" + }, + "queue_sel_1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection1" + }, + "mxpi_faceselection1":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face1", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_1", + "queue_crop_1" + ] + }, + "queue_mux_1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:1" + }, + "queue_crop_1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop3" + }, + "mxpi_imagecrop3":{ + "props":{ + "dataSource":"mxpi_faceselection1_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:1" + }, + "mxpi_motsimplesort_face2": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_2" + }, + "queue_sel_2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection2" + }, + "mxpi_faceselection2":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face2", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_2", + "queue_crop_2" + ] + }, + "queue_mux_2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:2" + }, + "queue_crop_2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop4" + }, + "mxpi_imagecrop4":{ + "props":{ + "dataSource":"mxpi_faceselection2_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:2" + }, + "mxpi_motsimplesort_face3": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_3" + }, + "queue_sel_3":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection3" + }, + "mxpi_faceselection3":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face3", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_3", + "queue_crop_3" + ] + }, + "queue_mux_3":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:3" + }, + "queue_crop_3":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop5" + }, + "mxpi_imagecrop5":{ + "props":{ + "dataSource":"mxpi_faceselection3_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:3" + }, + "mxpi_motsimplesort_face4": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_4" + }, + "queue_sel_4":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection4" + }, + "mxpi_faceselection4":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face4", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_4", + "queue_crop_4" + ] + }, + "queue_mux_4":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:4" + }, + "queue_crop_4":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop6" + }, + "mxpi_imagecrop6":{ + "props":{ + "dataSource":"mxpi_faceselection4_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:4" + }, + "mxpi_motsimplesort_face5": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_5" + }, + "queue_sel_5":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection5" + }, + "mxpi_faceselection5":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face5", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_5", + "queue_crop_5" + ] + }, + "queue_mux_5":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:5" + }, + "queue_crop_5":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop7" + }, + "mxpi_imagecrop7":{ + "props":{ + "dataSource":"mxpi_faceselection5_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:5" + }, + "mxpi_motsimplesort_face6": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_6" + }, + "queue_sel_6":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection6" + }, + "mxpi_faceselection6":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face6", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_6", + "queue_crop_6" + ] + }, + "queue_mux_6":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:6" + }, + "queue_crop_6":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_6" + }, + "mxpi_imagecrop_6":{ + "props":{ + "dataSource":"mxpi_faceselection6_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:6" + }, + "mxpi_motsimplesort_face7": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_7" + }, + "queue_sel_7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection7" + }, + "mxpi_faceselection7":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face7", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_7", + "queue_crop_7" + ] + }, + "queue_mux_7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:7" + }, + "queue_crop_7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_7" + }, + "mxpi_imagecrop_7":{ + "props":{ + "dataSource":"mxpi_faceselection7_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:7" + }, + "mxpi_motsimplesort_face8": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_8" + }, + "queue_sel_8":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection8" + }, + "mxpi_faceselection8":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face8", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_8", + "queue_crop_8" + ] + }, + "queue_mux_8":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:8" + }, + "queue_crop_8":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_8" + }, + "mxpi_imagecrop_8":{ + "props":{ + "dataSource":"mxpi_faceselection8_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:8" + }, + "mxpi_motsimplesort_face9": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_9" + }, + "queue_sel_9":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection9" + }, + "mxpi_faceselection9":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face9", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_9", + "queue_crop_9" + ] + }, + "queue_mux_9":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:9" + }, + "queue_crop_9":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_9" + }, + "mxpi_imagecrop_9":{ + "props":{ + "dataSource":"mxpi_faceselection9_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:9" + }, + "mxpi_motsimplesort_face10": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_10" + }, + "queue_sel_10":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection10" + }, + "mxpi_faceselection10":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face10", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_10", + "queue_crop_10" + ] + }, + "queue_mux_10":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:10" + }, + "queue_crop_10":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_10" + }, + "mxpi_imagecrop_10":{ + "props":{ + "dataSource":"mxpi_faceselection10_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:10" + }, + "mxpi_motsimplesort_face11": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_0", + "dataSourceFeature":"mxpi_FaceFeatureModelInfer" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_sel_11" + }, + "queue_sel_11":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_faceselection11" + }, + "mxpi_faceselection11":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_face11", + "dataSourceKeyPoint":"mxpi_facelandmark", + "minScoreThreshold":"0" + }, + "factory":"mxpi_faceselection", + "next":[ + "queue_mux_11", + "queue_crop_11" + ] + }, + "queue_mux_11":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_parallel2serial1:11" + }, + "queue_crop_11":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop_11" + }, + "mxpi_imagecrop_11":{ + "props":{ + "dataSource":"mxpi_faceselection11_0", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1", + "resizeHeight":"112", + "resizeWidth":"112" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_parallel2serial2:11" + }, + "mxpi_parallel2serial1":{ + "factory":"mxpi_parallel2serial", + "props":{ + "dataSource":"mxpi_faceselection0_1,mxpi_faceselection1_1,mxpi_faceselection2_1,mxpi_faceselection3_1,mxpi_faceselection4_1,mxpi_faceselection5_1,mxpi_faceselection6_1,mxpi_faceselection7_1,mxpi_faceselection8_1,mxpi_faceselection9_1,mxpi_faceselection10_1,mxpi_faceselection11_1" + }, + "next":"mxpi_facealignment0:1" + }, + "mxpi_parallel2serial2":{ + "factory":"mxpi_parallel2serial", + "props":{ + "dataSource":"mxpi_imagecrop2,mxpi_imagecrop3,mxpi_imagecrop4,mxpi_imagecrop5,mxpi_imagecrop6,mxpi_imagecrop7,mxpi_imagecrop_6,mxpi_imagecrop_7,mxpi_imagecrop_8,mxpi_imagecrop_9,mxpi_imagecrop_10,mxpi_imagecrop_11" + }, + "next":"mxpi_facealignment0:0" + }, + "mxpi_facealignment0":{ + "props":{ + "status":"1", + "dataSourceImage":"mxpi_parallel2serial2", + "dataSourceKeyPoint":"mxpi_parallel2serial1", + "afterFaceAlignmentHeight":"112", + "afterFaceAlignmentWidth":"112" + }, + "factory":"mxpi_facealignment", + "next":"tee3" + }, + "tee3":{ + "factory":"tee", + "next":[ + "queue7", + "queue19" + ] + }, + "queue7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"face_attribute" + }, + "face_attribute":{ + "props":{ + "dataSource":"mxpi_facealignment0", + "modelPath":"./models/faceattr/face_attribute_batch_4.om", + "postProcessConfigPath":"./models/faceattr/yolov3-tiny-addpad.cfg", + "labelPath":"./models/faceattr/coco.names", + "postProcessLibPath":"libresnetattrpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_synchronize0:0" + }, + "queue19":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"face_feature" + }, + "face_feature":{ + "props":{ + "dataSource":"mxpi_facealignment0", + "modelPath":"./models/facefeature/face_feature_batch_1.om", + "postProcessConfigPath":"./models/facefeature/yolov3-tiny-addpad.cfg", + "postProcessLibPath":"libresnetfeaturepostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_synchronize0:1" + }, + "mxpi_synchronize0":{ + "factory":"mxpi_synchronize", + "next":"mxpi_dataserialize0" + }, + "mxpi_dataserialize0":{ + "props":{ + "outputDataKeys":"ReservedFrameInfo,face_attribute,face_feature" + }, + "factory":"mxpi_dataserialize", + "next":"mxpi_parallel2serial3:0" + }, + "queue33":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imagecrop8" + }, + "mxpi_imagecrop8":{ + "props":{ + "dataSource":"mxpi_objectdistributor0_1", + "resizeHeight":"224", + "resizeWidth":"224", + "leftExpandRatio":"0.1", + "rightExpandRatio":"0.1", + "upExpandRatio":"0.1", + "downExpandRatio":"0.1" + }, + "factory":"mxpi_imagecrop", + "next":"mxpi_channeldistributor1" + }, + "mxpi_channeldistributor1":{ + "props":{ + "channelIds":"0,1,2,3,4,5,6,7,8,9,10,11" + }, + "factory":"mxpi_distributor", + "next":["queue_mot_obj0","queue_mot_obj1","queue_mot_obj2","queue_mot_obj3","queue_mot_obj4","queue_mot_obj5","queue_mot_obj6","queue_mot_obj7","queue_mot_obj8","queue_mot_obj9","queue_mot_obj10","queue_mot_obj11"] + }, + "queue_mot_obj0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj0" + }, + "mxpi_motsimplesort_obj0": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_0" + }, + "queue_ob_0":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection0:0" + }, + "mxpi_objectselection0":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj0", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:0" + }, + "queue_mot_obj1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj1" + }, + "mxpi_motsimplesort_obj1": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_1" + }, + "queue_ob_1":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection1:0" + }, + "mxpi_objectselection1":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj1", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1 ,0.2, 0.3,0.4,0. 5,0.6,0.7, 0.8,0.9,0.8,0 .7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:1" + }, + "queue_mot_obj2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj2" + }, + "mxpi_motsimplesort_obj2": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_2" + }, + "queue_ob_2":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection2:0" + }, + "mxpi_objectselection2":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj2", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:2" + }, + "queue_mot_obj3":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj3" + }, + "mxpi_motsimplesort_obj3": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_3" + }, + "queue_ob_3":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection3:0" + }, + "mxpi_objectselection3":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj3", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:3" + }, + "queue_mot_obj4":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj4" + }, + "mxpi_motsimplesort_obj4": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_4" + }, + "queue_ob_4":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection4:0" + }, + "mxpi_objectselection4":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj4", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:4" + }, + "queue_mot_obj5":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj5" + }, + "mxpi_motsimplesort_obj5": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_5" + }, + "queue_ob_5":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection5:0" + }, + "mxpi_objectselection5":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj5", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:5" + }, + "queue_mot_obj6":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj6" + }, + "mxpi_motsimplesort_obj6": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_6" + }, + "queue_ob_6":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection6:0" + }, + "mxpi_objectselection6":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj6", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:6" + }, + "queue_mot_obj7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj7" + }, + "mxpi_motsimplesort_obj7": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_7" + }, + "queue_ob_7":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection7:0" + }, + "mxpi_objectselection7":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj7", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:7" + }, + "queue_mot_obj8":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj8" + }, + "mxpi_motsimplesort_obj8": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_8" + }, + "queue_ob_8":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection8:0" + }, + "mxpi_objectselection8":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj8", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:8" + }, + "queue_mot_obj9":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj9" + }, + "mxpi_motsimplesort_obj9": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_9" + }, + "queue_ob_9":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection9:0" + }, + "mxpi_objectselection9":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj9", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:9" + }, + "queue_mot_obj10":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj10" + }, + "mxpi_motsimplesort_obj10": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_10" + }, + "queue_ob_10":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection10:0" + }, + "mxpi_objectselection10":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj10", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:10" + }, + "queue_mot_obj11":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_motsimplesort_obj11" + }, + "mxpi_motsimplesort_obj11": { + "props": { + "dataSourceDetection": "mxpi_objectdistributor0_1" + }, + "factory": "mxpi_motsimplesort", + "next": "queue_ob_11" + }, + "queue_ob_11":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_objectselection11:0" + }, + "mxpi_objectselection11":{ + "props":{ + "status":"1", + "dataSourceDetection":"mxpi_motsimplesort_obj11", + "dataSourceImage":"mxpi_imagecrop8", + "tmarginValue":"0.1", + "weightMargin":"0.2", + "weightOcclude":"0.11", + "weightSize":"0.21", + "weightConf":"0.31", + "trackTime":"0", + "normRadius":"0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,0.8,0.7,0.6,0.5,0.4,0.3,0.2,0.1", + "outputKeys":"vision,object" + }, + "factory":"mxpi_objectselection", + "next":"mxpi_parallel2serial4:11" + }, + "mxpi_parallel2serial4":{ + "factory":"mxpi_parallel2serial", + "next":"mxpi_objectdistributor1" + }, + "mxpi_objectdistributor1":{ + "props":{ + "classIds":"2,0", + "dataSource":"object" + }, + "factory":"mxpi_distributor", + "next":[ + "queue12", + "queue13" + ] + }, + "queue12":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"tee4" + }, + "tee4":{ + "factory":"tee", + "next":[ + "queue20", + "queue21" + ] + }, + "queue20":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imageresize3" + }, + "mxpi_imageresize3":{ + "props":{ + "dataSource":"vision", + "resizeHeight":"224", + "resizeWidth":"224" + }, + "factory":"mxpi_imageresize", + "next":"queue14" + }, + "queue14":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"motor_attr" + }, + "motor_attr":{ + "props":{ + "dataSource":"mxpi_imageresize3", + "modelPath":"./models/motorattr/vehicle_attribute.om", + "postProcessConfigPath":"./models/faceattr/yolov3-tiny-addpad.cfg", + "labelPath":"./models/motorattr/vehicle_attribute_coco.names", + "postProcessLibPath":"libresnetattrpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_synchronize2:0" + }, + "queue21":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imageresize6" + }, + "mxpi_imageresize6":{ + "props":{ + "dataSource":"vision", + "resizeHeight": "640", + "resizeWidth": "480" + }, + "factory":"mxpi_imageresize", + "next":"queue22" + }, + "queue22":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_modelinfer4" + }, + "mxpi_modelinfer4": { + "props": { + "parentName": "mxpi_imageresize6", + "modelPath": "./models/car_plate_detection/car_plate_detection.om", + "postProcessConfigPath": "./models/car_plate_detection/car_plate_detection.cfg", + "labelPath": "./models/car_plate_detection/car_plate_detection.names", + "postProcessLibPath": "libssdvggpostprocessor.so" + }, + "factory": "mxpi_modelinfer", + "next": "mxpi_objectdistributor2" + }, + "mxpi_objectdistributor2":{ + "props":{ + "classIds":"0|1", + "dataSource":"mxpi_modelinfer4", + "distributeAll":"yes" + }, + "factory":"mxpi_distributor", + "next":"mxpi_imagecrop9" + }, + "mxpi_imagecrop9":{ + "props":{ + "dataSource":"mxpi_objectdistributor2_0", + "resizeHeight":"72", + "resizeWidth":"272" + }, + "factory":"mxpi_imagecrop", + "next":"queue23" + }, + "queue23":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"car_plate" + }, + "car_plate": { + "props": { + "parentName": "mxpi_imagecrop9", + "modelPath": "./models/car_plate_recognition/car_plate_recognition.om", + "postProcessLibPath": "libcarplaterecognitionpostprocessor.so" + }, + "factory": "mxpi_modelinfer", + "next": "mxpi_synchronize2:1" + }, + "mxpi_synchronize2":{ + "factory":"mxpi_synchronize", + "next":"mxpi_dataserialize1" + }, + "mxpi_dataserialize1":{ + "props":{ + "outputDataKeys":"ReservedFrameInfo,motor_attr,car_plate" + }, + "factory":"mxpi_dataserialize", + "next":"mxpi_parallel2serial3:1" + }, + "queue13":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"tee2" + }, + "tee2":{ + "factory":"tee", + "next":[ + "queue16", + "queue17" + ] + }, + "queue16":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imageresize4" + }, + "mxpi_imageresize4":{ + "props":{ + "dataSource":"vision", + "resizeHeight":"256", + "resizeWidth":"192" + }, + "factory":"mxpi_imageresize", + "next":"queue15" + }, + "queue15":{ + "props":{ + "max-size-buffers":"100" + }, + "factory":"queue", + "next":"pedestrian_attribute" + }, + "pedestrian_attribute":{ + "props":{ + "dataSource":"mxpi_imageresize4", + "modelPath":"./models/pedestrianattribute/pede_attr.om", + "postProcessConfigPath":"./models/pedestrianattribute/pedes_attr.cfg", + "labelPath":"./models/pedestrianattribute/coco.names", + "postProcessLibPath":"libresnetattrpostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_synchronize1:0" + }, + "queue17":{ + "props":{ + "max-size-buffers":"50" + }, + "factory":"queue", + "next":"mxpi_imageresize5" + }, + "mxpi_imageresize5":{ + "props":{ + "dataSource":"vision", + "resizeHeight":"384", + "resizeWidth":"128" + }, + "factory":"mxpi_imageresize", + "next":"queue18" + }, + "queue18":{ + "props":{ + "max-size-buffers":"100" + }, + "factory":"queue", + "next":"pedestrian_reid" + }, + "pedestrian_reid":{ + "props":{ + "dataSource":"mxpi_imageresize5", + "modelPath":"./models/pedereid/pede_reid.om", + "postProcessConfigPath":"./models/pedereid/pedereid.cfg", + "labelPath":"./models/pedereid/coco.names", + "postProcessLibPath":"libresnetfeaturepostprocessor.so" + }, + "factory":"mxpi_modelinfer", + "next":"mxpi_synchronize1:1" + }, + "mxpi_synchronize1":{ + "factory":"mxpi_synchronize", + "next":"mxpi_dataserialize2" + }, + "mxpi_dataserialize2":{ + "props":{ + "outputDataKeys":"ReservedFrameInfo,pedestrian_attribute,pedestrian_reid" + }, + "factory":"mxpi_dataserialize", + "next":"mxpi_parallel2serial3:2" + }, + "mxpi_parallel2serial3":{ + "factory":"mxpi_parallel2serial", + "next":"appsink0" + }, + "appsink0":{ + "factory":"appsink" + } + } } \ No newline at end of file diff --git a/mxVision/AllObjectsStructuringV2/README.MD b/mxVision/AllObjectsStructuringV2/README.MD index bd5f4756dccb8d58c23655b4ff9b21966d4b160e..5065f7a1d9943fbe3dd29dc7618087d5c3f9dc59 100644 --- a/mxVision/AllObjectsStructuringV2/README.MD +++ b/mxVision/AllObjectsStructuringV2/README.MD @@ -4,7 +4,7 @@ ### 1.1 简介 -全目标结构化V2样例基于mxVision SDK进行开发，以Atlas 300I pro、Atlas 300V pro为主要的硬件平台，主要支持以下功能： +全目标结构化V2样例基于Vision SDK进行开发，以Atlas 300I pro、Atlas 300V pro为主要的硬件平台，主要支持以下功能： 1. 目标检测：在视频流中检测出目标，本样例选用基于Yolov4-tiny的目标检测，能达到快速精准检测。 2. 动态目标识别和属性分析：能够识别出检测出的目标类别，并对其属性进行分析。 @@ -16,8 +16,8 @@ Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/mxVision/AscendFFmpegPlugin/README.md b/mxVision/AscendFFmpegPlugin/README.md index 780707e64fb628bda2aa666b2fbd38edacf5fc34..7c764a30020e6b275b5f89a63466abb074749cc3 100644 --- a/mxVision/AscendFFmpegPlugin/README.md +++ b/mxVision/AscendFFmpegPlugin/README.md @@ -3,7 +3,7 @@ ## 介绍 mxVison ascend 硬件平台内置了视频相关的硬件加速解码器， -为了提升用户的易用性，mxVision提供了FFmepg-Plugin解决方案。 +为了提升用户的易用性，Vision SDK提供了FFmepg-Plugin解决方案。 该样例的处理流程为： ``` @@ -14,9 +14,9 @@ mxVison ascend 硬件平台内置了视频相关的硬件加速解码器， Atlas 300I Pro, Atlas 300V Pro和Atlas A500 A2 ### 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/mxVision/Ascendffmpeg/README.md b/mxVision/Ascendffmpeg/README.md index 1378c2420d60897542b17a4c5984d3e2b1f914d5..5b97a713f09dc94df8e05e9f2bdd3c5eabaf99be 100644 --- a/mxVision/Ascendffmpeg/README.md +++ b/mxVision/Ascendffmpeg/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -mxVison ascend 硬件平台内置了视频相关的硬件加速解码器，为了提升用户的易用性，mxVision提供了 Ffmepg-Ascend 解决方案。 +mxVison ascend 硬件平台内置了视频相关的硬件加速解码器，为了提升用户的易用性，Vision SDK提供了 Ffmepg-Ascend 解决方案。 支持的功能： @@ -72,9 +72,9 @@ chmod +x ./ffbuild/*.sh **步骤3：** 添加环境变量 -通过指令`find / -name libavdevice.so`查找到文件所在路径，形如`/PATH/TO/mindxsdk-referenceapps/mxVision/Ascendffmpeg/ascend/lib/libavdevice.so`，则执行： +通过指令`find / -name libavdevice.so`查找到文件所在路径，形如`/PATH/TO/mindxsdk-referenceapps/VisionSDK/Ascendffmpeg/ascend/lib/libavdevice.so`，则执行： ```bash -export LD_LIBRARY_PATH=/PATH/TO/mindxsdk-referenceapps/mxVision/Ascendffmpeg/ascend/lib:$LD_LIBRARY_PATH +export LD_LIBRARY_PATH=/PATH/TO/mindxsdk-referenceapps/VisionSDK/Ascendffmpeg/ascend/lib:$LD_LIBRARY_PATH ``` **步骤4：** 运行 diff --git a/mxVision/AsyncInfer/README.MD b/mxVision/AsyncInfer/README.MD index 0057fb478632dc2aff5f9f336779fe16784f1aa0..402e9d9c41a3be3aced900949361e98fb820bdb3 100644 --- a/mxVision/AsyncInfer/README.MD +++ b/mxVision/AsyncInfer/README.MD @@ -4,7 +4,7 @@ ### 1.1 简介 -异步目标检测样例基于mxVision SDK进行开发，调用异步推理接口，对图像中的不同类目标进行检测，得到图像中大部分目标的类别和位置。 +异步目标检测样例基于Vision SDK进行开发，调用异步推理接口，对图像中的不同类目标进行检测，得到图像中大部分目标的类别和位置。 ### 1.2 支持的产品 @@ -12,9 +12,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/GeneralTextRecognition/README.md b/mxVision/GeneralTextRecognition/README.md index 97959969bd68eeb5080cf905a89bccf7c974ce66..c4d863a8e21a5be580ba44c2fe507808a10843f4 100644 --- a/mxVision/GeneralTextRecognition/README.md +++ b/mxVision/GeneralTextRecognition/README.md @@ -4,7 +4,7 @@ ### 1.1 简介 -通用文字识别样例基于mxVision SDK进行开发，主要支持识别文本小图上的中英文字样。 +通用文字识别样例基于Vision SDK进行开发，主要支持识别文本小图上的中英文字样。 ### 1.2 支持的产品 @@ -12,9 +12,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/ImageProcessor/README.md b/mxVision/ImageProcessor/README.md index cf0aa5b8aa4505dd364e30448a7c215813ec47b9..1b021f40bb109bb18da00f90c91383adc9ef9a5b 100644 --- a/mxVision/ImageProcessor/README.md +++ b/mxVision/ImageProcessor/README.md @@ -1,4 +1,4 @@ -# MxVision快速入门——ImageProcessor类基本使用教程 +# Vision SDK快速入门——ImageProcessor类基本使用教程 ## 1 介绍 @@ -9,7 +9,7 @@ ImageProcessor类，作为图像处理类，主要开放图像编解码、缩放 本教程支持昇腾Atlas 300I Pro、Atlas 300V Pro。 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |----|----|----| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -18,7 +18,7 @@ ImageProcessor类，作为图像处理类，主要开放图像编解码、缩放 # 设置CANN环境变量 . ${install_path}/set_env.sh -# 设置MindX SDK 环境变量，sdk_path为mxVision SDK 安装路径 +# 设置Vision SDK环境变量，sdk_path为Vision SDK安装路径 . ${sdk_path}/set_env.sh ``` diff --git a/mxVision/InferOfflineVideo/README.md b/mxVision/InferOfflineVideo/README.md index 128dacca8f459490feec5ba36593756ccd21f6cc..6915c858dfca96edfb12b416112d3890f4d78fa4 100644 --- a/mxVision/InferOfflineVideo/README.md +++ b/mxVision/InferOfflineVideo/README.md @@ -6,7 +6,7 @@ ### 1.1 简介 -离线视频推理项目基于mxVision SDK开发的参考用例，用于在视频流中检测出目标。 +离线视频推理项目基于Vision SDK开发的参考用例，用于在视频流中检测出目标。 ### 1.2 支持的产品 @@ -14,9 +14,9 @@ ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/MediaCodec/README.zh.md b/mxVision/MediaCodec/README.zh.md index 5f1650d1a7f9d0a86c21c7ac1083e15c1d590efe..c7ee2df154da21c46026d71d7738f8bad3761d9d 100644 --- a/mxVision/MediaCodec/README.zh.md +++ b/mxVision/MediaCodec/README.zh.md @@ -4,7 +4,7 @@ ### 1.1 简介 -视频转码样例是基于`mxVision`提供的插件库实现将视频解码、缩放、编码的流程。目前能满足如下的性能： +视频转码样例是基于`Vision SDK`提供的插件库实现将视频解码、缩放、编码的流程。目前能满足如下的性能： | 格式 | 路数 | | - | - | @@ -17,9 +17,9 @@ ### 1.3.支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/mxVision/MultiThread/C++/README.zh.md b/mxVision/MultiThread/C++/README.zh.md index ef4e9c75c17fe41920c7b8362ed88872a7440737..3889d41571c720fa9562c1b9099a666cfc3dc6a7 100644 --- a/mxVision/MultiThread/C++/README.zh.md +++ b/mxVision/MultiThread/C++/README.zh.md @@ -3,14 +3,14 @@ ## 1 介绍 ### 1.1 简介 -本开发样例演示如何用多线程(C++)使用MxVision流程编排能力来实现简单的目标检测功能。 +本开发样例演示如何用多线程(C++)使用Vision SDK流程编排能力来实现简单的目标检测功能。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/MultiThread/python/README.zh.md b/mxVision/MultiThread/python/README.zh.md index 70fea338d75264c38811b048b8e1bcbaf067fccd..3654b6f27d92037d11fe95556abbfe4b144abc43 100644 --- a/mxVision/MultiThread/python/README.zh.md +++ b/mxVision/MultiThread/python/README.zh.md @@ -3,14 +3,14 @@ ## 1.介绍 ### 1.1 简介 -本开发样例演示如何用多线程(python)使用MxVision流程编排能力来实现简单的目标检测功能。 +本开发样例演示如何用多线程(python)使用Vision SDK流程编排能力来实现简单的目标检测功能。 ### 1.2 支持的产品 Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/OpticalCharacterRecognition/README.md b/mxVision/OpticalCharacterRecognition/README.md index e89f8a86eca59adc87070fb72721d6542f50cf1e..f4e99d4a023871413cc4a3b830baa57e59a0dadc 100644 --- a/mxVision/OpticalCharacterRecognition/README.md +++ b/mxVision/OpticalCharacterRecognition/README.md @@ -11,9 +11,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- |---------| -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -100,7 +100,7 @@ #设置CANN环境变量 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/mxVision/PPYOLOEPlusDetection/README.md b/mxVision/PPYOLOEPlusDetection/README.md index 6a55bc26254a6c56a0f17c18a54d28a848f566e2..413bed7f3929b8d09d639515c4b2a6590deaa0cd 100644 --- a/mxVision/PPYOLOEPlusDetection/README.md +++ b/mxVision/PPYOLOEPlusDetection/README.md @@ -7,7 +7,7 @@ -PPYOLOE+ 目标检测后处理插件基于 MindX SDK 开发，对图片中的不同类目标进行检测。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案基于 paddlepaddle 版本原始 ppyoloe_plus_crn_l_80e_coco_w_nms 模型所剪枝并转换的 om 模型进行目标检测，默认模型包含 80 个目标类。 +PPYOLOE+ 目标检测后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案基于 paddlepaddle 版本原始 ppyoloe_plus_crn_l_80e_coco_w_nms 模型所剪枝并转换的 om 模型进行目标检测，默认模型包含 80 个目标类。 paddlepaddle框架的ppyoloe模型推理时，前处理方案包括解码为BGR->拉伸缩放->转换为RGB，main.cpp中通过在310P场景下通过dvpp对应方法进行了相应的处理。 @@ -17,9 +17,9 @@ paddlepaddle框架的ppyoloe模型推理时，前处理方案包括解码为BGR- ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -62,7 +62,7 @@ paddlepaddle框架的ppyoloe模型推理时，前处理方案包括解码为BGR- ## 2 设置环境变量 -MindSDK 环境变量: +Vision SDK 环境变量: ``` . ${SDK-path}/set_env.sh @@ -77,7 +77,7 @@ CANN 环境变量： - 环境变量介绍 ``` -SDK-path: mxVision SDK 安装路径 +SDK-path: Vision SDK 安装路径 ascend-toolkit-path: CANN 安装路径。 ``` @@ -204,9 +204,9 @@ make install 将一张图片放项目根路径`PPYOLOEPlusDetection`下，命名为 `test.jpg`。 -**步骤3：** 修改`PPYOLOEPlusDetection`目录下的`CMakeLists.txt`，第14行配置mindxsdk-referenceapps安装路径： +**步骤3：** 修改`PPYOLOEPlusDetection`目录下的`CMakeLists.txt`，第14行配置mindsdk-referenceapps安装路径： ```bash -14 ${mindxsdk-referenceapps安装路径}/mxVision/PPYOLOEPlusDetection/plugin +14 ${mindxsdk-referenceapps安装路径}/VisionSDK/PPYOLOEPlusDetection/plugin ``` **步骤4：** 在`PPYOLOEPlusDetection`目录下运行脚本，进行照片检测： ``` diff --git a/mxVision/PutText/PutText/CaptionImpl.cpp b/mxVision/PutText/PutText/CaptionImpl.cpp index b37ca879b5269cf45329d1950bf6ec5196f00461..a70b138d8fcb9e1eb757d2099aeb9211eb01e12e 100644 --- a/mxVision/PutText/PutText/CaptionImpl.cpp +++ b/mxVision/PutText/PutText/CaptionImpl.cpp @@ -329,8 +329,8 @@ APP_ERROR CaptionImpl::putText(MxBase::Tensor &img, const std::string text1, con return APP_ERR_COMM_FAILURE; } // Step1: 字幕生成 - if (captionPool_.isCaptionExist(text1, text2)) { - APP_ERROR ret = captionPool_.getCaptionAndMask(text1, text2, caption_, mask_); + if (captionPool_.IsCaptionExist(text1, text2)) { + APP_ERROR ret = captionPool_.GetCaptionAndMask(text1, text2, caption_, mask_); if (ret != APP_ERR_OK) { LogError << "Fail to get caption and mask from captionPool."; return APP_ERR_COMM_FAILURE; @@ -343,7 +343,7 @@ APP_ERROR CaptionImpl::putText(MxBase::Tensor &img, const std::string text1, con LogError << "Fail to generate caption for putText function."; return APP_ERR_COMM_FAILURE; } - ret = captionPool_.putCaptionAndMask(text1, text2, caption_, mask_); + ret = captionPool_.PutCaptionAndMask(text1, text2, caption_, mask_); if (ret != APP_ERR_OK) { LogError << "Fail to put caption and mask into captionPool."; return APP_ERR_COMM_FAILURE; @@ -359,9 +359,9 @@ APP_ERROR CaptionImpl::putText(MxBase::Tensor &img, const std::string text1, con } int CaptionImpl::getLength(const std::string text) { - if (captionPool_.isCaptionLengthExist(text)) { + if (captionPool_.IsCaptionLengthExist(text)) { int captionLength; - captionPool_.getCaptionLength(text, captionLength); + captionPool_.GetCaptionLength(text, captionLength); return captionLength; } std::vector compChrNum; @@ -376,6 +376,6 @@ int CaptionImpl::getLength(const std::string text) { } totalWidth += CaptionGenManager::getInstance().FindWidth(font, fontSizeMap_[font], token.first); } - captionPool_.putCaptionLength(text, totalWidth); + captionPool_.PutCaptionLength(text, totalWidth); return totalWidth; } \ No newline at end of file diff --git a/mxVision/PutText/PutText/CaptionPool.cpp b/mxVision/PutText/PutText/CaptionPool.cpp index 73cc35fff3980d441e75e6b0d782f735ff1a2703..ac1dc47457b85dd799b65266fcb6296d6a3b0378 100644 --- a/mxVision/PutText/PutText/CaptionPool.cpp +++ b/mxVision/PutText/PutText/CaptionPool.cpp @@ -1,75 +1,82 @@ -/* - * Copyright(C) 2024. Huawei Technologies Co.,Ltd. All rights reserved. - * - * Licensed under the Apache License, Version 2.0 (the "License"); - * you may not use this file except in compliance with the License. - * You may obtain a copy of the License at - * - * http://www.apache.org/licenses/LICENSE-2.0 - * - * Unless required by applicable law or agreed to in writing, software - * distributed under the License is distributed on an "AS IS" BASIS, - * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - * See the License for the specific language governing permissions and - * limitations under the License. - */ -#include "CaptionPool.h" - -CaptionPool::CaptionPool(size_t max_size) { - text2Lenghth_ = std::make_shared>(max_size); - text2CaptionMap_ = std::make_shared>(max_size); - text2MaskMap_ = std::make_shared>(max_size); -} - -APP_ERROR CaptionPool::putCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor caption, - MxBase::Tensor mask) { - std::string textMark = text1 + "_" + text2; - if(text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr) { - text2CaptionMap_->put(textMark, caption); - text2MaskMap_->put(textMark, mask); - return APP_ERR_OK; - } - return APP_ERR_COMM_FAILURE; -} - -APP_ERROR CaptionPool::getCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor& caption, - MxBase::Tensor& mask) { - std::string textMark = text1 + "_" + text2; - if (text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr && - text2CaptionMap_->get(textMark, caption) && text2MaskMap_->get(textMark, mask)) { - return APP_ERR_OK; - } - return APP_ERR_COMM_FAILURE; -} - -bool CaptionPool::isCaptionExist(std::string text1, std::string text2) { - std::string textMark = text1 + "_" + text2; - if (text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr && - text2MaskMap_->isExist(textMark) && text2CaptionMap_->isExist(textMark)) { - return true; - } - return false; -} - -APP_ERROR CaptionPool::putCaptionLength(std::string text, int length) { - if (text2Lenghth_ != nullptr) { - text2Lenghth_->put(text, length); - return APP_ERR_OK; - } - return APP_ERR_COMM_FAILURE; -} - - -APP_ERROR CaptionPool::getCaptionLength(std::string text, int& length) { - if (text2Lenghth_ != nullptr && text2Lenghth_->get(text, length)) { - return APP_ERR_OK; - } - return APP_ERR_COMM_FAILURE; -} - -bool CaptionPool::isCaptionLengthExist(std::string text) { - if (text2Lenghth_ != nullptr && text2Lenghth_->isExist(text)) { - return true; - } - return false; +/* + * Copyright(C) 2024. Huawei Technologies Co.,Ltd. All rights reserved. + * + * Licensed under the Apache License, Version 2.0 (the "License"); + * you may not use this file except in compliance with the License. + * You may obtain a copy of the License at + * + * http://www.apache.org/licenses/LICENSE-2.0 + * + * Unless required by applicable law or agreed to in writing, software + * distributed under the License is distributed on an "AS IS" BASIS, + * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. + * See the License for the specific language governing permissions and + * limitations under the License. + */ +#include "CaptionPool.h" + +CaptionPool::CaptionPool(size_t maxSize) +{ + text2Lenghth_ = std::make_shared>(maxSize); + text2CaptionMap_ = std::make_shared>(maxSize); + text2MaskMap_ = std::make_shared>(maxSize); +} + +APP_ERROR CaptionPool::PutCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor caption, + MxBase::Tensor mask) +{ + std::string textMark = text1 + "_" + text2; + if (text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr) { + text2CaptionMap_->Put(textMark, caption); + text2MaskMap_->Put(textMark, mask); + return APP_ERR_OK; + } + return APP_ERR_COMM_FAILURE; +} + +APP_ERROR CaptionPool::GetCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor& caption, + MxBase::Tensor& mask) +{ + std::string textMark = text1 + "_" + text2; + if (text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr && + text2CaptionMap_->Get(textMark, caption) && text2MaskMap_->Get(textMark, mask)) { + return APP_ERR_OK; + } + return APP_ERR_COMM_FAILURE; +} + +bool CaptionPool::IsCaptionExist(std::string text1, std::string text2) +{ + std::string textMark = text1 + "_" + text2; + if (text2MaskMap_ != nullptr && text2CaptionMap_ != nullptr && + text2MaskMap_->IsExist(textMark) && text2CaptionMap_->IsExist(textMark)) { + return true; + } + return false; +} + +APP_ERROR CaptionPool::PutCaptionLength(std::string text, int length) +{ + if (text2Lenghth_ != nullptr) { + text2Lenghth_->Put(text, length); + return APP_ERR_OK; + } + return APP_ERR_COMM_FAILURE; +} + + +APP_ERROR CaptionPool::GetCaptionLength(std::string text, int& length) +{ + if (text2Lenghth_ != nullptr && text2Lenghth_->Get(text, length)) { + return APP_ERR_OK; + } + return APP_ERR_COMM_FAILURE; +} + +bool CaptionPool::IsCaptionLengthExist(std::string text) +{ + if (text2Lenghth_ != nullptr && text2Lenghth_->IsExist(text)) { + return true; + } + return false; } \ No newline at end of file diff --git a/mxVision/PutText/PutText/CaptionPool.h b/mxVision/PutText/PutText/CaptionPool.h index 71ad232d63289e94bcf462a35380e15bc9d24817..5c2a61c3bb303e09078e01bb88a4f2fc7a0d25c7 100644 --- a/mxVision/PutText/PutText/CaptionPool.h +++ b/mxVision/PutText/PutText/CaptionPool.h @@ -1,91 +1,92 @@ -/* - * Copyright(C) 2024. Huawei Technologies Co.,Ltd. All rights reserved. - * - * Licensed under the Apache License, Version 2.0 (the "License"); - * you may not use this file except in compliance with the License. - * You may obtain a copy of the License at - * - * http://www.apache.org/licenses/LICENSE-2.0 - * - * Unless required by applicable law or agreed to in writing, software - * distributed under the License is distributed on an "AS IS" BASIS, - * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - * See the License for the specific language governing permissions and - * limitations under the License. - */ -#ifndef CAPTIONPOOL_H -#define CAPTIONPOOL_H - -#include -#include -#include -#include "MxBase/MxBase.h" - -const int CAPTION_POOL_DEFAULT_SIZE = 10; - -template -class LimitedSizeMap { -public: - explicit LimitedSizeMap(size_t max_size) { - max_size_ = max_size; - } - - void put(const K& key, const V& value) { - if (map.find(key) == map.end()) { - if (order.size() >= max_size_) { - K oldest = order.front(); - order.pop_front(); - map.erase(oldest); - } - order.push_back(key); - } else { - order.remove(key); - order.push_back(key); - } - map[key] = value; - } - - bool get(const K& key, V& value) { - if (map.find(key) != map.end()) { - value = map[key]; - return true; - } - return false; - } - - bool isExist(const K& key) { - if (map.find(key) != map.end()) { - return true; - } - return false; - } - -private: - size_t max_size_; - std::list order; - std::unordered_map map; -}; - -class CaptionPool { -public: - explicit CaptionPool(size_t max_size = CAPTION_POOL_DEFAULT_SIZE); - - APP_ERROR putCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor caption, MxBase::Tensor mask); - - APP_ERROR getCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor& caption, MxBase::Tensor& mask); - - bool isCaptionExist(std::string text1, std::string text2); - - APP_ERROR putCaptionLength(std::string text, int length); - - APP_ERROR getCaptionLength(std::string text, int& length); - - bool isCaptionLengthExist(std::string text); - -private: - std::shared_ptr> text2CaptionMap_; - std::shared_ptr> text2MaskMap_; - std::shared_ptr> text2Lenghth_; -}; - +/* + * Copyright(C) 2024. Huawei Technologies Co.,Ltd. All rights reserved. + * + * Licensed under the Apache License, Version 2.0 (the "License"); + * you may not use this file except in compliance with the License. + * You may obtain a copy of the License at + * + * http://www.apache.org/licenses/LICENSE-2.0 + * + * Unless required by applicable law or agreed to in writing, software + * distributed under the License is distributed on an "AS IS" BASIS, + * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. + * See the License for the specific language governing permissions and + * limitations under the License. + */ +#ifndef CAPTIONPOOL_H +#define CAPTIONPOOL_H + +#include +#include +#include +#include "MxBase/MxBase.h" + +const int CAPTION_POOL_DEFAULT_SIZE = 10; + +template +class LimitedSizeMap { +public: + explicit LimitedSizeMap(size_t maxSize) : maxSize_(maxSize) {} + + void Put(const K& key, const V& value) + { + if (map.find(key) == map.end()) { + if (order.size() >= maxSize_) { + K oldest = order.front(); + order.pop_front(); + map.erase(oldest); + } + order.push_back(key); + } else { + order.remove(key); + order.push_back(key); + } + map[key] = value; + } + + bool Get(const K& key, V& value) + { + if (map.find(key) != map.end()) { + value = map[key]; + return true; + } + return false; + } + + bool IsExist(const K& key) + { + if (map.find(key) != map.end()) { + return true; + } + return false; + } + +private: + size_t maxSize_; + std::list order; + std::unordered_map map; +}; + +class CaptionPool { +public: + explicit CaptionPool(size_t maxSize = CAPTION_POOL_DEFAULT_SIZE); + + APP_ERROR PutCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor caption, MxBase::Tensor mask); + + APP_ERROR GetCaptionAndMask(std::string text1, std::string text2, MxBase::Tensor& caption, MxBase::Tensor& mask); + + bool IsCaptionExist(std::string text1, std::string text2); + + APP_ERROR PutCaptionLength(std::string text, int length); + + APP_ERROR GetCaptionLength(std::string text, int& length); + + bool IsCaptionLengthExist(std::string text); + +private: + std::shared_ptr> text2CaptionMap_; + std::shared_ptr> text2MaskMap_; + std::shared_ptr> text2Lenghth_; +}; + #endif \ No newline at end of file diff --git a/mxVision/PutText/PutText/readme.md b/mxVision/PutText/PutText/readme.md index 399f86947502113fc00d230aef106a1ec9c786b5..6a969f713bf2d420bf78f2cb35ecbd645dd782d5 100644 --- a/mxVision/PutText/PutText/readme.md +++ b/mxVision/PutText/PutText/readme.md @@ -22,9 +22,9 @@ -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +|Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |--------------- | ---------------------------------- | ----------| |6.0.RC2 | 8.0.RC2 | 24.1.RC2| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | diff --git a/mxVision/PutTextForMultiVideos/CMakeLists.txt b/mxVision/PutTextForMultiVideos/CMakeLists.txt index 0e4fddcb7d704fa9a9d2d5a70c623f3827bac88a..b8c0108c743e361bf6af7525348c613a1c57e44e 100644 --- a/mxVision/PutTextForMultiVideos/CMakeLists.txt +++ b/mxVision/PutTextForMultiVideos/CMakeLists.txt @@ -1,45 +1,45 @@ -# -# Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. -# Description: CMakeLists for this project. -# Author: MindX SDK -# Create: 2024 -# History: NA -# - -cmake_minimum_required(VERSION 3.5.2) -project(PutTextForMultiVideos) - -set(MX_SDK_HOME $ENV{MX_SDK_HOME}) -set(FFMPEG_PATH $ENV{FFMPEG_PATH}) -set(ASCEND_HOME_PATH $ENV{ASCEND_TOOLKIT_HOME}) -set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,--copy-dt-needed-entries") - -# Add compile options -add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0) -add_definitions(-Dgoogle=mindxsdk_private) -add_compile_options(-std=c++14 -fPIC -fstack-protector-all -Wall -g -O0) -set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,-z,relro,-z,now,-z,noexecstack -pie") - -# Add header path -include_directories( - ${MX_SDK_HOME}/include - ${MX_SDK_HOME}/opensource/include - ${MX_SDK_HOME}/opensource/include/opencv4 - ${FFMPEG_PATH}/include - ${ASCEND_HOME_PATH}/include -) - -# Add lib path -link_directories( - ${MX_SDK_HOME}/lib - ${MX_SDK_HOME}/opensource/lib - ${MX_SDK_HOME}/opensource/lib64 - ${FFMPEG_PATH}/lib - ${ASCEND_HOME_PATH}/lib64 -) - -add_executable(main main.cpp ConfigParser/ConfigParser.h ConfigParser/ConfigParser.cpp - PutText/CaptionGenManager.h PutText/CaptionGenManager.cpp PutText/CaptionGeneration.cpp - PutText/CaptionGeneration.h PutText/CaptionImpl.cpp PutText/CaptionImpl.h PutText/CaptionPool.h PutText/CaptionPool.cpp) - +# +# Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. +# Description: CMakeLists for this project. +# Author: Vision SDK +# Create: 2024 +# History: NA +# + +cmake_minimum_required(VERSION 3.5.2) +project(PutTextForMultiVideos) + +set(MX_SDK_HOME $ENV{MX_SDK_HOME}) +set(FFMPEG_PATH $ENV{FFMPEG_PATH}) +set(ASCEND_HOME_PATH $ENV{ASCEND_TOOLKIT_HOME}) +set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,--copy-dt-needed-entries") + +# Add compile options +add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0) +add_definitions(-Dgoogle=mindxsdk_private) +add_compile_options(-std=c++14 -fPIC -fstack-protector-all -Wall -g -O0) +set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -Wl,-z,relro,-z,now,-z,noexecstack -pie") + +# Add header path +include_directories( + ${MX_SDK_HOME}/include + ${MX_SDK_HOME}/opensource/include + ${MX_SDK_HOME}/opensource/include/opencv4 + ${FFMPEG_PATH}/include + ${ASCEND_HOME_PATH}/include +) + +# Add lib path +link_directories( + ${MX_SDK_HOME}/lib + ${MX_SDK_HOME}/opensource/lib + ${MX_SDK_HOME}/opensource/lib64 + ${FFMPEG_PATH}/lib + ${ASCEND_HOME_PATH}/lib64 +) + +add_executable(main main.cpp ConfigParser/ConfigParser.h ConfigParser/ConfigParser.cpp + PutText/CaptionGenManager.h PutText/CaptionGenManager.cpp PutText/CaptionGeneration.cpp + PutText/CaptionGeneration.h PutText/CaptionImpl.cpp PutText/CaptionImpl.h PutText/CaptionPool.h PutText/CaptionPool.cpp) + target_link_libraries(main mxbase -lpthread -lm avformat avcodec avdevice avutil swresample) \ No newline at end of file diff --git a/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.cpp b/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.cpp index 94251182df53a91f4a3f0b20af55563700e3c8e1..da5e939e9c7dffb836c4bcd8b9340cc71f200b66 100644 --- a/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.cpp +++ b/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.cpp @@ -1,82 +1,82 @@ -/* - * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. - * Description: ConfigParser implementation. - * Author: MindX SDK - * Create: 2024 - * History: NA - */ - -#include -#include -#include -#include "ConfigParser.h" - -namespace { - const char COMMENT_CHARATER = '#'; -} - -inline void ConfigParser::Trim(std::string &str) const -{ - str.erase(str.begin(), std::find_if(str.begin(), str.end(), std::not1(std::ptr_fun(::isspace)))); - str.erase(std::find_if(str.rbegin(), str.rend(), std::not1(std::ptr_fun(::isspace))).base(), str.end()); - return; -} - -APP_ERROR ConfigParser::ParseConfig(const std::string &fileName) -{ - std::ifstream inFile(fileName); - if (!inFile.is_open()) { - std::cout << "cannot read setup.config file!" << std::endl; - return APP_ERR_COMM_EXIST; - } - std::string line, newLine; - int startPos, endPos, pos; - - while (getline(inFile, line)) { - if (line.empty()) { - continue; - } - startPos = 0; - endPos = line.size() - 1; - pos = line.find(COMMENT_CHARATER); - if (pos != -1) { - if (pos == 0) { - continue; - } - endPos = pos - 1; - } - newLine = line.substr(startPos, (endPos - startPos) + 1); - pos = newLine.find('='); - if (pos == -1) { - continue; - } - std::string na = newLine.substr(0, pos); - Trim(na); - std::string value = newLine.substr(pos + 1, endPos + 1 - (pos + 1)); - Trim(value); - configData_.insert(std::make_pair(na, value)); - } - inFile.close(); - return APP_ERR_OK; -} - -APP_ERROR ConfigParser::GetStringValue(const std::string &name, std::string &value) const -{ - if (configData_.count(name) == 0) { - return APP_ERR_COMM_NO_EXIST; - } - value = configData_.find(name)->second; - return APP_ERR_OK; -} - -APP_ERROR ConfigParser::GetUnsignedIntValue(const std::string &name, unsigned int &value) const -{ - if (configData_.count(name) == 0) { - return APP_ERR_COMM_NO_EXIST; - } - std::string str = configData_.find(name)->second; - if (!(std::stringstream(str) >> value)) { - return APP_ERR_COMM_INVALID_PARAM; - } - return APP_ERR_OK; +/* + * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. + * Description: ConfigParser implementation. + * Author: MindX SDK + * Create: 2024 + * History: NA + */ + +#include +#include +#include +#include "ConfigParser.h" + +namespace { + const char COMMENT_CHARATER = '#'; +} + +inline void ConfigParser::Trim(std::string &str) const +{ + str.erase(str.begin(), std::find_if(str.begin(), str.end(), std::not1(std::ptr_fun(::isspace)))); + str.erase(std::find_if(str.rbegin(), str.rend(), std::not1(std::ptr_fun(::isspace))).base(), str.end()); + return; +} + +APP_ERROR ConfigParser::ParseConfig(const std::string &fileName) +{ + std::ifstream inFile(fileName); + if (!inFile.is_open()) { + std::cout << "cannot read setup.config file!" << std::endl; + return APP_ERR_COMM_EXIST; + } + std::string line, newLine; + int startPos, endPos, pos; + + while (getline(inFile, line)) { + if (line.empty()) { + continue; + } + startPos = 0; + endPos = line.size() - 1; + pos = line.find(COMMENT_CHARATER); + if (pos != -1) { + if (pos == 0) { + continue; + } + endPos = pos - 1; + } + newLine = line.substr(startPos, (endPos - startPos) + 1); + pos = newLine.find('='); + if (pos == -1) { + continue; + } + std::string na = newLine.substr(0, pos); + Trim(na); + std::string value = newLine.substr(pos + 1, endPos + 1 - (pos + 1)); + Trim(value); + configData_.insert(std::make_pair(na, value)); + } + inFile.close(); + return APP_ERR_OK; +} + +APP_ERROR ConfigParser::GetStringValue(const std::string &name, std::string &value) const +{ + if (configData_.count(name) == 0) { + return APP_ERR_COMM_NO_EXIST; + } + value = configData_.find(name)->second; + return APP_ERR_OK; +} + +APP_ERROR ConfigParser::GetUnsignedIntValue(const std::string &name, unsigned int &value) const +{ + if (configData_.count(name) == 0) { + return APP_ERR_COMM_NO_EXIST; + } + std::string str = configData_.find(name)->second; + if (!(std::stringstream(str) >> value)) { + return APP_ERR_COMM_INVALID_PARAM; + } + return APP_ERR_OK; } \ No newline at end of file diff --git a/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.h b/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.h index b1678dc40660f001929ee675835175caf8a58357..c38b1ba35c11687dd11847ddcea35e7512d8ebb7 100644 --- a/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.h +++ b/mxVision/PutTextForMultiVideos/ConfigParser/ConfigParser.h @@ -1,32 +1,32 @@ -/* - * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. - * Description: ConfigParser implementation. - * Author: MindX SDK - * Create: 2024 - * History: NA - */ - -#ifndef PUT_TEXT_FOR_MULTIVIDEOS_CONFIGPARSER_H -#define PUT_TEXT_FOR_MULTIVIDEOS_CONFIGPARSER_H - -#include -#include -#include -#include -#include "MxBase/MxBase.h" - - -class ConfigParser { -public: - APP_ERROR ParseConfig(const std::string &fileName); - - APP_ERROR GetStringValue(const std::string &name, std::string &value) const; - - APP_ERROR GetUnsignedIntValue(const std::string &name, unsigned int &value) const; - -private: - std::map configData_ = {}; - inline void Trim(std::string &str) const; -}; - +/* + * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. + * Description: ConfigParser implementation. + * Author: MindX SDK + * Create: 2024 + * History: NA + */ + +#ifndef PUT_TEXT_FOR_MULTIVIDEOS_CONFIGPARSER_H +#define PUT_TEXT_FOR_MULTIVIDEOS_CONFIGPARSER_H + +#include +#include +#include +#include +#include "MxBase/MxBase.h" + + +class ConfigParser { +public: + APP_ERROR ParseConfig(const std::string &fileName); + + APP_ERROR GetStringValue(const std::string &name, std::string &value) const; + + APP_ERROR GetUnsignedIntValue(const std::string &name, unsigned int &value) const; + +private: + std::map configData_ = {}; + inline void Trim(std::string &str) const; +}; + #endif \ No newline at end of file diff --git a/mxVision/PutTextForMultiVideos/README.md b/mxVision/PutTextForMultiVideos/README.md index 0510a58f5f17777094acdf4e172c5a5f17b74ed6..c65c5e7ac81f9a5b86516c526a0cb00baa56965d 100644 --- a/mxVision/PutTextForMultiVideos/README.md +++ b/mxVision/PutTextForMultiVideos/README.md @@ -1,125 +1,125 @@ -# 多卡多路高性能贴字用例 - -## 1 介绍 - -### 1.1 简介 -本开发样例用于演示多卡多路高性能贴字。本系统以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台，主要步骤为视频拉流、解码、贴字、编码和保存视频。视频拉流通过强大的多媒体处理工具ffmpeg实现；视频解码、编码通过mxVision SDK的VideoDecoder、VideoEncoder类实现；贴字通过同级目录下的PutText参考设计实现。 - -本开发样例中涉及两类常见视频分辨率：1080P分辨率（1920 * 1080）和CIF分辨率（352 * 288）。本样例要求rtsp流视频为H264格式，分辨率为1080P分辨率，帧率为25FPS。在完成贴字后，本样例会将贴字后的1080P分辨率视频帧缩放为CIF分辨率视频帧，一同进行编码和保存。 - -本开发样例默认从第0个NPU设备开始使用，并依次递增选取下一个NPU设备。每个NPU设备负责25路的1080P解码和贴字，25路的视频帧缩放（1080P分辨率缩放至CIF分辨率），以及50路的视频编码（25路1080P视频编码+25路CIF视频编码）。用户可以通过配置文件指定使用NPU设备的总数。 - -### 1.2 支持的产品 -本项目以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台。 - -### 1.3 支持的版本 - -| MxVision版本 | CANN版本 | Driver/Firmware版本 | - | --------- | ------------------ | -------------- | -| 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | - -### 1.4 三方依赖 - -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需额外依赖以下软件： - -| 软件名称 | 版本 | -|--------| ------ | -| ffmpeg | 3.4.11 | - -注意：ffmpeg需要用户自行到相关网站下载源码进行编译安装。 - -## 2 设置环境变量 - -在执行后续步骤前，需要设置环境变量： - -```bash -# 执行环境变量脚本使环境变量生效 -. ${ascend-toolkit-path}/set_env.sh -. ${mxVision-path}/set_env.sh -export FFMPEG_PATH=${ffmpeg-path} -export LD_LIBRARY_PATH=${ffmpeg-lib-path}:$LD_LIBRARY_PATH -# mxVision-path: mxVision安装路径 -# ascend-toolkit-path: CANN安装路径 -# ffmpeg-path: ffmpeg安装路径，通常为/usr/local/ffmpeg -# ffmpeg-lib-path: ffmpeg的lib库安装路径，通常为/usr/local/ffmpeg/lib -``` - -## 3 编译与运行 -**步骤1：下载贴字接口代码、和BlockingQueue.h文件** - -根据[链接](https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/mxVision/PutText)下载PutText参考设计，将PutText/PutText目录放在本项目根目录下。 - -根据[链接](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/contrib/FireDetection/c++/BlockingQueue/BlockingQueue.h)下载BlockingQueue.h文件，将BlockingQueue.h文件放在本项目根目录下。 - -**步骤2： 下载字库文件** - -根据[链接](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/mxVision/PutTextForMultiVideos/vocab.zip)下载贴字接口所需要的字库文件，解压缩后将其中的vocab目录放至在本项目根目录下。 - - -**步骤3： 设置配置项** - -在setup.config文件中设置配置项，配置项含义如下表所示： - -| 配置项字段 | 配置项含义 | -|:------------:|--------------| -| deviceNum | 指定执行业务占用的NPU数量 | -| saveVideo | 指定是否保存视频 | -| stream.ch{i} | 指定第i个rtsp流地址 | - - -注意： - -_1. deviceNum 需为整数，取值范围为 [1, min(NPU设备个数, 5)]。`npu-smi info` 命令可以查看NPU设备个数；考虑到性能资源上限，推荐deviceNum数值不超过5。_ - -_2. saveVideo 需为整数，取值范围为 [0, 1]，0代表不保存贴字后视频，1代表保存贴字后视频。_ - -_3. stream.ch{i} 用于指定第 i 个rtsp流地址。其中，i 的取值需要包含 [0, 25 * deviceNum -1] 区间的所有整数值；第 i 个rtsp流地址 stream.ch{i} 默认分配到第 i / 25 个NPU设备上进行处理；rtsp流视频格式需为H264，推流教程可参考[链接](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/参考资料/Live555离线视频转RTSP说明文档.md)。_ - -**步骤4： 编译** - -在项目根目录下创建cmakeBuild目录后，进入cmakeBuild目录，执行以下指令： -``` -cmake .. -make -j -``` -编译成功后会在当前文件夹输出main文件。 - -**步骤5： 运行** - -在cmakeBuild目录，执行以下指令： - -``` -./main -``` -注意： - -_1.由于本样例为多卡多路服务，因此服务的启动需要一些时间。用户可在标准输出中查看服务启动情况：_ - -_当第i个NPU设备的第j个视频通道相关线程初始化完成后，会在标准输出打印”Succeed to start working threads for device i, channelId j.”_ - -_当所有NPU设备的所有视频通道相关线程都初始化完成后，会在标准测输出打印"All working threads are started."。_ - -**步骤6：停止服务** - -命令行输入Ctrl+C组合键可手动停止服务。 - -注意： - -_1.考虑到保存视频会占用较大存储空间，当配置项中指定保存视频时，请用户合理控制服务运行时间，避免因为视频文件占用过多存储空间、影响服务器正常工作。_ - -_2.由于本样例为多卡多路业务，因此服务停止需要一些时间。用户可在标准输出中查看服务停止情况：_ - -_当第i个NPU设备的第j个视频通道相关线程销毁完成后，会在标准输出打印”Succeed to join working threads for device i, channelId j.”_ - -_当所有NPU设备的所有视频通道相关线程都销毁完成后，会在标准测输出打印"All working threads are joined."_ - -_当开始销毁全局NPU资源时，会在标准输出打印“Begin clear global NPU resources.”（销毁全局NPU资源耗时较长，请用户耐心等待）_ - -_当整个业务正常结束时，会在标准输出打印“PutTextForMultiVideos end.”。_ - -**步骤7： 查看结果** - -用户可通过`npu-smi info`指令查看NPU设备在运行前、运行时、运行后的NPU资源占用情况。 - -除此之外，当配置项中指定保存视频时，贴字后的视频会保存在项目根目录的output目录下。用户可打开相关视频文件查看结果。 - +# 多卡多路高性能贴字用例 + +## 1 介绍 + +### 1.1 简介 +本开发样例用于演示多卡多路高性能贴字。本系统以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台，主要步骤为视频拉流、解码、贴字、编码和保存视频。视频拉流通过强大的多媒体处理工具ffmpeg实现；视频解码、编码通过Vision SDK的VideoDecoder、VideoEncoder类实现；贴字通过同级目录下的PutText参考设计实现。 + +本开发样例中涉及两类常见视频分辨率：1080P分辨率（1920 * 1080）和CIF分辨率（352 * 288）。本样例要求rtsp流视频为H264格式，分辨率为1080P分辨率，帧率为25FPS。在完成贴字后，本样例会将贴字后的1080P分辨率视频帧缩放为CIF分辨率视频帧，一同进行编码和保存。 + +本开发样例默认从第0个NPU设备开始使用，并依次递增选取下一个NPU设备。每个NPU设备负责25路的1080P解码和贴字，25路的视频帧缩放（1080P分辨率缩放至CIF分辨率），以及50路的视频编码（25路1080P视频编码+25路CIF视频编码）。用户可以通过配置文件指定使用NPU设备的总数。 + +### 1.2 支持的产品 +本项目以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台。 + +### 1.3 支持的版本 + +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | + | --------- | ------------------ | -------------- | +| 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | + +### 1.4 三方依赖 + +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： + +| 软件名称 | 版本 | +|--------| ------ | +| ffmpeg | 3.4.11 | + +注意：ffmpeg需要用户自行到相关网站下载源码进行编译安装。 + +## 2 设置环境变量 + +在执行后续步骤前，需要设置环境变量： + +```bash +# 执行环境变量脚本使环境变量生效 +. ${ascend-toolkit-path}/set_env.sh +. ${Vision SDK-path}/set_env.sh +export FFMPEG_PATH=${ffmpeg-path} +export LD_LIBRARY_PATH=${ffmpeg-lib-path}:$LD_LIBRARY_PATH +# Vision SDK-path: Vision SDK安装路径 +# ascend-toolkit-path: CANN安装路径 +# ffmpeg-path: ffmpeg安装路径，通常为/usr/local/ffmpeg +# ffmpeg-lib-path: ffmpeg的lib库安装路径，通常为/usr/local/ffmpeg/lib +``` + +## 3 编译与运行 +**步骤1：下载贴字接口代码、和BlockingQueue.h文件** + +根据[链接](https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/VisionSDK/PutText)下载PutText参考设计，将PutText/PutText目录放在本项目根目录下。 + +根据[链接](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/contrib/FireDetection/c++/BlockingQueue/BlockingQueue.h)下载BlockingQueue.h文件，将BlockingQueue.h文件放在本项目根目录下。 + +**步骤2： 下载字库文件** + +根据[链接](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/mxVision/PutTextForMultiVideos/vocab.zip)下载贴字接口所需要的字库文件，解压缩后将其中的vocab目录放至在本项目根目录下。 + + +**步骤3： 设置配置项** + +在setup.config文件中设置配置项，配置项含义如下表所示： + +| 配置项字段 | 配置项含义 | +|:------------:|--------------| +| deviceNum | 指定执行业务占用的NPU数量 | +| saveVideo | 指定是否保存视频 | +| stream.ch{i} | 指定第i个rtsp流地址 | + + +注意： + +_1. deviceNum 需为整数，取值范围为 [1, min(NPU设备个数, 5)]。`npu-smi info` 命令可以查看NPU设备个数；考虑到性能资源上限，推荐deviceNum数值不超过5。_ + +_2. saveVideo 需为整数，取值范围为 [0, 1]，0代表不保存贴字后视频，1代表保存贴字后视频。_ + +_3. stream.ch{i} 用于指定第 i 个rtsp流地址。其中，i 的取值需要包含 [0, 25 * deviceNum -1] 区间的所有整数值；第 i 个rtsp流地址 stream.ch{i} 默认分配到第 i / 25 个NPU设备上进行处理；rtsp流视频格式需为H264，推流教程可参考[链接](https://gitee.com/ascend/mindxsdk-referenceapps/blob/master/docs/参考资料/Live555离线视频转RTSP说明文档.md)。_ + +**步骤4： 编译** + +在项目根目录下创建cmakeBuild目录后，进入cmakeBuild目录，执行以下指令： +``` +cmake .. +make -j +``` +编译成功后会在当前文件夹输出main文件。 + +**步骤5： 运行** + +在cmakeBuild目录，执行以下指令： + +``` +./main +``` +注意： + +_1.由于本样例为多卡多路服务，因此服务的启动需要一些时间。用户可在标准输出中查看服务启动情况：_ + +_当第i个NPU设备的第j个视频通道相关线程初始化完成后，会在标准输出打印”Succeed to start working threads for device i, channelId j.”_ + +_当所有NPU设备的所有视频通道相关线程都初始化完成后，会在标准测输出打印"All working threads are started."。_ + +**步骤6：停止服务** + +命令行输入Ctrl+C组合键可手动停止服务。 + +注意： + +_1.考虑到保存视频会占用较大存储空间，当配置项中指定保存视频时，请用户合理控制服务运行时间，避免因为视频文件占用过多存储空间、影响服务器正常工作。_ + +_2.由于本样例为多卡多路业务，因此服务停止需要一些时间。用户可在标准输出中查看服务停止情况：_ + +_当第i个NPU设备的第j个视频通道相关线程销毁完成后，会在标准输出打印”Succeed to join working threads for device i, channelId j.”_ + +_当所有NPU设备的所有视频通道相关线程都销毁完成后，会在标准测输出打印"All working threads are joined."_ + +_当开始销毁全局NPU资源时，会在标准输出打印“Begin clear global NPU resources.”（销毁全局NPU资源耗时较长，请用户耐心等待）_ + +_当整个业务正常结束时，会在标准输出打印“PutTextForMultiVideos end.”。_ + +**步骤7： 查看结果** + +用户可通过`npu-smi info`指令查看NPU设备在运行前、运行时、运行后的NPU资源占用情况。 + +除此之外，当配置项中指定保存视频时，贴字后的视频会保存在项目根目录的output目录下。用户可打开相关视频文件查看结果。 + diff --git a/mxVision/PutTextForMultiVideos/main.cpp b/mxVision/PutTextForMultiVideos/main.cpp index 0284ee1654639f87dca1c48246cadce105ed1ec3..bfe2ea46f725561031fd75e9ef9b7f2d079da59a 100644 --- a/mxVision/PutTextForMultiVideos/main.cpp +++ b/mxVision/PutTextForMultiVideos/main.cpp @@ -1,727 +1,727 @@ -/* - * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. - * Description: Put text for 1080P videos. - * Author: MindX SDK - * Create: 2024 - * History: NA - */ - -#include -#include -#include -#include -#include -#include -#include -#include -#include -#include -#include -#include -#include -#include "unistd.h" -#include "acl/acl.h" -#include "acl/acl_rt.h" -#include "MxBase/Log/Log.h" -#include "MxBase/DeviceManager/DeviceManager.h" -#include "boost/filesystem.hpp" -#include "MxBase/E2eInfer/VideoDecoder/VideoDecoder.h" -#include "MxBase/E2eInfer/VideoEncoder/VideoEncoder.h" -#include "MxBase/MxBase.h" -#include "ConfigParser/ConfigParser.h" -#include "BlockingQueue.h" -#include "PutText/CaptionImpl.h" -extern "C" { -#include -} - -namespace { - using namespace chrono; - using namespace std; - using namespace MxBase; - bool g_saveVIDEO = true; - static bool g_signalReceived = false; - const int QUEUE_SIZE = 1000; - const float YUV420_RATIO = 1.5; - const float DEFAULT_OPACITY = 0.3; - const int TIME_OUT = 3000; - const int INIT_INTERVAL = 100; - const int DEFAULT_SRC_RATE = 25; - const int DEFAULT_MAX_BIT_RATE = 30000; - const uint32_t CHANNEL_COUNT = 25; - const int YEAR_OFFSET = 1900; - const int MONTH_OFFSET = 1; - const int FULL_HD_WIDTH = 1920; - const int FULL_HD_HEIGHT = 1080; - const int CIF_WIDTH = 352; - const int CIF_HEIGHT = 288; - const int SIGNAL_CHECK_TIMESTEP = 1000; - const std::string CONFIG_FILE_NAME = "../setup.config"; - const MxBase::Size CIF_IMAGE_SIZE(CIF_WIDTH, CIF_HEIGHT); - const MxBase::Size RESIZE_MIDDLE_IMAGE_SIZE(960, 540); - const MxBase::Point leftTop{60, 60}; - const MxBase::Point rightTop{1400, 60};; - const MxBase::Point leftButtom{60, 850}; - - - struct DecodedFrame { - MxBase::Image image; - uint32_t frameId = 0; - uint32_t channelId = 0; - }; - - struct EncodedFrame { - std::shared_ptr data; - uint32_t dataSize = 0; - uint32_t frameId = 0; - uint32_t channelId = 0; - }; - - struct ThreadPools { - std::map> threadStreamPullerPool; - std::map> threadVdecPool; - std::map> threadFrameProcessPool; - std::map> threadVenc1080PPool; - std::map> threadVencCIFPool; - std::map> threadCIFSavePool; - std::map> thread1080PSavePool; - }; - - std::map>> g_imageProcessorMap = {}; - std::map>>> g_pullerToVdecQueueMap = {}; - std::map>>> g_vdecToCaptionQueueMap = {}; - std::map>>>> - g_captionToVencQueueMap = {}; - std::map>>>> - g_vencToFileQueueMap = {}; - std::map>> g_captionImplVecForTimeMap = {}; - std::map>> g_captionImplVecForTextMap = {}; - std::map>> g_videoDecoderMap = {}; - std::map>>> g_videoEncoderMap = {}; -} - -AVFormatContext* CreateFormatContext(const std::string &filePath) -{ - AVFormatContext *formatContext = nullptr; - AVDictionary *options = nullptr; - - av_dict_set(&options, "rtsp_transport", "tcp", 0); - av_dict_set(&options, "stimeout", "3000000", 0); - int ret = avformat_open_input(&formatContext, filePath.c_str(), nullptr, &options); - if (options != nullptr) { - av_dict_free(&options); - } - if (ret != 0) { - LogError << "Couldn't open input stream " << filePath.c_str() << " ret=" << ret; - return nullptr; - } - ret = avformat_find_stream_info(formatContext, nullptr); - if (ret != 0) { - LogError << "Couldn't find stream information"; - return nullptr; - } - return formatContext; -} - -void GetFrame(AVPacket& pkt, EncodedFrame& encodedFrame, AVFormatContext* pFormatCtx) -{ - av_init_packet(&pkt); - int avRet = av_read_frame(pFormatCtx, &pkt); - if (avRet != 0) { - LogError << "[StreamPuller] Channel read frame failed, continue!"; - if (avRet == AVERROR_EOF) { - LogError << "[StreamPuller] Channel streamPuller is EOF, over!"; - } - return; - } else { - if (pkt.size <= 0) { - LogError << "Invalid pkt.size: " << pkt.size; - return; - } - auto hostDeleter = [](void *dataPtr) -> void {aclrtFreeHost(dataPtr);}; - MemoryData data(pkt.size, MemoryData::MEMORY_HOST); - MemoryData src((void *)(pkt.data), pkt.size, MemoryData::MEMORY_HOST_MALLOC); - APP_ERROR ret = MemoryHelper::MxbsMallocAndCopy(data, src); - if (ret != APP_ERR_OK) { - LogError << "MxbsMallocAndCopy failed!" << std::endl; - } - std::shared_ptr imageData((uint8_t*)data.ptrData, hostDeleter); - encodedFrame.data = imageData; - encodedFrame.dataSize = pkt.size; - av_packet_unref(&pkt); - } -} - -// 拉流线程 -void StreamPullerThread(const std::string filePath, AVFormatContext* pFormatCtx, int deviceId, int channelId) -{ - uint32_t streamHeight = 0; - uint32_t streamWidth = 0; - AVPacket pkt; - uint32_t frameId = 0; - pFormatCtx = avformat_alloc_context(); - pFormatCtx = CreateFormatContext(filePath); - if (pFormatCtx == nullptr) { - return; - } - av_dump_format(pFormatCtx, 0, filePath.c_str(), 0); - DeviceContext context = {}; - context.devId = deviceId; - DeviceManager::GetInstance()->SetDevice(context); - // 获取视频流真实宽高并检查是否符合要求 - for (unsigned int i = 0; i < pFormatCtx->nb_streams; ++i) { - AVStream *inStream = pFormatCtx->streams[i]; - if (inStream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { - streamHeight = inStream->codecpar->height; - streamWidth = inStream->codecpar->width; - break; - } - } - if (streamWidth != FULL_HD_WIDTH || streamHeight != FULL_HD_HEIGHT) { - LogError << "VideoDecoder[" << "deviceId: " << deviceId << " channelId: " << channelId - << "]: Video size is not 1080P."; - return; - } - // 循环拉流 - while (!g_signalReceived) { - EncodedFrame encodedFrame; - encodedFrame.channelId = channelId; - encodedFrame.frameId = frameId; - GetFrame(pkt, encodedFrame, pFormatCtx); - g_pullerToVdecQueueMap[deviceId][channelId]->Push(encodedFrame, true); - frameId += 1; - } -} - -// 视频帧处理线程 -void FrameProcessThread(const uint32_t deviceId, const int &channelId) -{ - while (!g_signalReceived) { - DecodedFrame decodedFrame; - APP_ERROR ret = g_vdecToCaptionQueueMap[deviceId][channelId]->Pop(decodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - continue; - } - MxBase::Image imageRGB; - ret = g_imageProcessorMap[deviceId][channelId]->ConvertFormat( - decodedFrame.image, MxBase::ImageFormat::RGB_888, imageRGB); - if (ret != 0) { - LogError << "Fail to convert format for decoded image into RGB format"; - } - auto imageTensor = imageRGB.ConvertToTensor(true, false); - ret = g_captionImplVecForTextMap[deviceId][channelId]->putText(imageTensor, "位置信息1", "位置信息2", - leftTop, DEFAULT_OPACITY); - if (ret != APP_ERR_OK) { - LogError << "Fail to put the address text in the top left corner."; - } - // 获取当前时间 - std::time_t now = std::time(nullptr); - std::tm* t = std::localtime(&now); - // 将信息输出到字符串流 - std::stringstream ss; - ss << t->tm_year + YEAR_OFFSET << "." << t->tm_mon + MONTH_OFFSET << "." << t->tm_mday - << " " << t->tm_hour << ":" << t->tm_min << ":" << t->tm_sec; - ret = g_captionImplVecForTimeMap[deviceId][channelId]->putText(imageTensor, ss.str(), "", - rightTop, DEFAULT_OPACITY); - if (ret != APP_ERR_OK) { - LogError << "Fail to put the time text in the top right corner."; - } - ret = g_captionImplVecForTextMap[deviceId][channelId]->putText(imageTensor, "", "预留信息", - leftButtom, DEFAULT_OPACITY); - if (ret != APP_ERR_OK) { - LogError << "Fail to put the reserved text in the left button corner."; - } - - MxBase::Image imageYuv; - ret = g_imageProcessorMap[deviceId][channelId]->ConvertFormat(imageRGB, - MxBase::ImageFormat::YUV_SP_420, imageYuv); - if (ret != 0) { - LogError << "Fail to convert format for image"; - } - decodedFrame.image = imageYuv; - - // 一路变两路 - ret = g_captionToVencQueueMap["CIF"][deviceId][channelId]->Push(decodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - std::cout << "Fail to push frame into vencQueue"; - } - ret = g_captionToVencQueueMap["1080P"][deviceId][channelId]->Push(decodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - std::cout << "Fail to push frame into vencQueue"; - } - } -} - -// 视频帧解码线程 -void VdecThread(std::shared_ptr videoDecoder, int deviceId, int channelId) -{ - uint32_t frameId = 0; - MxBase::DeviceContext context = {}; - context.devId = deviceId; - APP_ERROR ret = MxBase::DeviceManager::GetInstance()->SetDevice(context); - if (ret != 0) { - LogError << "Fail to set device for vdecThread."; - return; - } - MxBase::MemoryData imgData(FULL_HD_WIDTH * FULL_HD_HEIGHT * YUV420_RATIO, - MxBase::MemoryData::MemoryType::MEMORY_DVPP, deviceId); - ret = MxBase::MemoryHelper::Malloc(imgData); - if (ret != 0) { - LogError << "malloc error" << std::endl; - return; - } - std::shared_ptr pastedData((uint8_t*)imgData.ptrData, imgData.free); - MxBase::Size imgSize(FULL_HD_WIDTH, FULL_HD_HEIGHT); - MxBase::Image psatedImgTmp(pastedData, FULL_HD_WIDTH * FULL_HD_HEIGHT * YUV420_RATIO, - deviceId, imgSize, MxBase::ImageFormat::YUV_SP_420); - - while (!g_signalReceived) { - EncodedFrame encodedFrame; - ret = g_pullerToVdecQueueMap[deviceId][channelId]->Pop(encodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - continue; - } - ret = videoDecoder->Decode(encodedFrame.data, encodedFrame.dataSize, frameId, psatedImgTmp, - (void*)&(*g_vdecToCaptionQueueMap[deviceId][channelId])); - if (ret != APP_ERR_OK) { - LogError << "VideoDecoder decode failed. Ret is: " << ret; - } - frameId += 1; - } -} - - -APP_ERROR SetConfigValue(ConfigParser &configParser, uint32_t &deviceNum, std::vector &streamNames) -{ - APP_ERROR ret = configParser.ParseConfig(CONFIG_FILE_NAME); - if (ret != APP_ERR_OK) { - LogError << "Cannot parse file."; - return APP_ERR_COMM_FAILURE; - } - - ret = configParser.GetUnsignedIntValue("deviceNum", deviceNum); - if (ret != APP_ERR_OK) { - LogError << "Fail to get config variable named deviceNum."; - return APP_ERR_COMM_FAILURE; - } - - unsigned int saveVideo = 0; - ret = configParser.GetUnsignedIntValue("saveVideo", saveVideo); - if (ret != APP_ERR_OK) { - LogError << "Fail to get config variable named saveVideo."; - return APP_ERR_COMM_FAILURE; - } - if (saveVideo != 0 && saveVideo != 1) { - LogError << "saveVideo must be set in the range [0, 1]."; - return APP_ERR_COMM_FAILURE; - } - if (saveVideo == 0) { - g_saveVIDEO = false; - } - streamNames = std::vector(CHANNEL_COUNT * deviceNum); - for (unsigned int i = 0; i < deviceNum * CHANNEL_COUNT; i++) { - std::string itemCfgStr = std::string("stream.ch") + std::to_string(i); - ret = configParser.GetStringValue(itemCfgStr, streamNames[i]); - if (ret != APP_ERR_OK) { - LogError << "Get StreamNames from config file fail."; - return ret; - } - } - return APP_ERR_OK; -} - -APP_ERROR VencCallBack(std::shared_ptr& outDataPtr, uint32_t& outDataSize, - uint32_t& channelId, uint32_t& frameId, void* userData) -{ - EncodedFrame encodedFrame {outDataPtr, outDataSize, channelId, frameId}; - auto encodedQueue = static_cast*>(userData); - if (encodedQueue == nullptr) { - LogError << "EncodedQueue has been released." << std::endl; - return APP_ERR_DVPP_INVALID_FORMAT; - } - if (g_saveVIDEO) { - encodedQueue->Push(encodedFrame); - } - return APP_ERR_OK; -} - - -// 视频帧编码线程 -void VencThread(std::shared_ptr videoEncoder, std::shared_ptr imageProcessor, - int deviceId, int channelId, std::string videoType) -{ - uint32_t frameId = 0; - while (!g_signalReceived) { - if (videoType == "CIF") { - DecodedFrame decodedFrame; - APP_ERROR ret = g_captionToVencQueueMap[videoType][deviceId][channelId]->Pop(decodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - continue; - } - Image resizedImage; - Image resizedMidImage; - ret = g_imageProcessorMap[deviceId][channelId]->Resize(decodedFrame.image, RESIZE_MIDDLE_IMAGE_SIZE, - resizedMidImage, MxBase::Interpolation::HUAWEI_HIGH_ORDER_FILTER); - if (ret != APP_ERR_OK) { - LogError << "Fail to resize middle image." << " [DeviceId: " << deviceId - << " channelId: " << channelId << "]."; - } - - ret = g_imageProcessorMap[deviceId][channelId]->Resize( - resizedMidImage, CIF_IMAGE_SIZE, resizedImage, (MxBase::Interpolation)0); - if (ret != APP_ERR_OK) { - LogError << "Fail to resize final image" << " [DeviceId: " << deviceId - << " channelId: " << channelId << "]."; - } - decodedFrame.image = resizedImage; - ret = videoEncoder->Encode(decodedFrame.image, decodedFrame.frameId, - static_cast(&(*g_vencToFileQueueMap[videoType][deviceId][channelId]))); - if (ret != APP_ERR_OK) { - LogError << "Fail to encode 1080P image." << " [DeviceId: " << deviceId - << " channelId: " << channelId << "]."; - } - } else { - DecodedFrame decodedFrame; - APP_ERROR ret = g_captionToVencQueueMap[videoType][deviceId][channelId]->Pop(decodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - continue; - } - ret = videoEncoder->Encode(decodedFrame.image, decodedFrame.frameId, - static_cast(&(*g_vencToFileQueueMap[videoType][deviceId][channelId]))); - if (ret != APP_ERR_OK) { - LogError << "Fail to encode 1080P image." << " [DeviceId: " << deviceId - << " channelId: " << channelId << "]."; - } - } - frameId += 1; - } -} - -// 编码后视频帧保存线程 -void SaveFrameThread(int deviceId, int channelId, std::string videoType) -{ - string savePath = "../output/deviceId_" + to_string(deviceId) + " _channelId_" + - to_string(channelId) + "_" + videoType + ".h264"; - FILE *fp = fopen(savePath.c_str(), "wb"); - if (fp == nullptr) { - LogError << "Failed to open file."; - return; - } - - bool mbFoundFirstIDR = false; - bool bIsIDR = false; - while (!g_signalReceived) { - EncodedFrame encodedFrame; - APP_ERROR ret = g_vencToFileQueueMap[videoType][deviceId][channelId]->Pop(encodedFrame, TIME_OUT); - if (ret != APP_ERR_OK) { - continue; - } - bIsIDR = (encodedFrame.dataSize > 1); - if (!mbFoundFirstIDR) { - if (!bIsIDR) { - LogWarn << "Not bIsIDR!!!"; - continue; - } else { - mbFoundFirstIDR = true; - } - } - if (fwrite(encodedFrame.data.get(), encodedFrame.dataSize, 1, fp) != 1) { - LogError << "write frame to file fail" << std::endl; - } - } - if (fclose(fp) != 0) { - LogError << "Failed to close file for device " << deviceId << " channel " << channelId << "."; - }; -} - - -APP_ERROR InitCaptionResource(CaptionImpl &captionImpl, int deviceId) -{ - std::string fontSize = "60px"; - float fontScale = 1; - MxBase::Color textColor = MxBase::Color(255, 255, 255); - MxBase::Color backgroundColor = MxBase::Color(0, 0, 0); - APP_ERROR ret = captionImpl.init("simsun", fontSize, "times", fontSize, deviceId); - if (ret != APP_ERR_OK) { - LogError << "Fail to init captionImpl."; - return APP_ERR_COMM_FAILURE; - } - auto length = captionImpl.getLength("位置信息，时间信息，预留信息"); - ret = captionImpl.initRectAndColor(textColor, backgroundColor, fontScale, length); - if (ret != APP_ERR_OK) { - LogError << "Fail to init the intermediate tensor of captionImpl1."; - return APP_ERR_COMM_FAILURE; - } - return APP_ERR_OK; -} - -APP_ERROR VdecCallBack(MxBase::Image &decodedImage, uint32_t channelId, uint32_t frameId, - void *userData) -{ - DecodedFrame decodedFrame{decodedImage, channelId, frameId}; - BlockingQueue* decodedVec = static_cast*>(userData); - if (decodedVec == nullptr) { - LogError << "VideoDecoderCallback: decodedVec has been released."; - return APP_ERR_DVPP_INVALID_FORMAT; - } - - decodedVec->Push(decodedFrame, true); - return APP_ERR_OK; -} - -APP_ERROR GeneratePairEncoderAndDecoder(int deviceId, int channelId) -{ - VideoDecodeConfig vDecodeConfig; - vDecodeConfig.width = FULL_HD_WIDTH; - vDecodeConfig.height = FULL_HD_HEIGHT; - vDecodeConfig.callbackFunc = VdecCallBack; - std::shared_ptr videoDecoder = std::make_shared(vDecodeConfig, deviceId, channelId); - g_videoDecoderMap[deviceId].push_back(videoDecoder); - - VideoEncodeConfig vEncodeConfig; - vEncodeConfig.callbackFunc = VencCallBack; - vEncodeConfig.height = FULL_HD_HEIGHT; - vEncodeConfig.width = FULL_HD_WIDTH; - vEncodeConfig.keyFrameInterval = 1; - vEncodeConfig.srcRate = DEFAULT_SRC_RATE; - vEncodeConfig.maxBitRate = DEFAULT_MAX_BIT_RATE; - vEncodeConfig.maxPicHeight = FULL_HD_HEIGHT; - vEncodeConfig.maxPicWidth = FULL_HD_WIDTH; - std::shared_ptr videoEncoder1080p = - std::make_shared(vEncodeConfig, deviceId, channelId); - g_videoEncoderMap["1080P"][deviceId].push_back(videoEncoder1080p); - - vEncodeConfig.height = CIF_HEIGHT; - vEncodeConfig.width = CIF_WIDTH; - vEncodeConfig.maxPicHeight = CIF_HEIGHT; - vEncodeConfig.maxPicWidth = CIF_WIDTH; - std::shared_ptr videoEncoderCIF = std::make_shared(vEncodeConfig, deviceId, channelId); - g_videoEncoderMap["CIF"][deviceId].push_back(videoEncoderCIF); -} - -APP_ERROR GenerateResourcesForDevices(int deviceNum, int channelCount, const ConfigParser &configParser) -{ - for (int deviceId = 0; deviceId < deviceNum; deviceId++) { - // 初始化线程通信队列 - for (int channelId = 0; channelId < channelCount; channelId++) { - g_pullerToVdecQueueMap[deviceId].push_back(std::make_shared>(QUEUE_SIZE)); - g_vdecToCaptionQueueMap[deviceId].push_back(std::make_shared>(QUEUE_SIZE)); - g_captionToVencQueueMap["CIF"][deviceId].push_back( - std::make_shared>(QUEUE_SIZE)); - g_captionToVencQueueMap["1080P"][deviceId].push_back( - std::make_shared>(QUEUE_SIZE)); - g_vencToFileQueueMap["CIF"][deviceId].push_back(std::make_shared>(QUEUE_SIZE)); - g_vencToFileQueueMap["1080P"][deviceId].push_back( - std::make_shared>(QUEUE_SIZE)); - } - - // 初始化字幕贴图相关资源 - for (int channelId = 0; channelId < channelCount; channelId++) { - g_imageProcessorMap[deviceId].push_back(std::make_shared(deviceId)); - auto captionImplForTime = std::make_shared(); - auto captionImplForText = std::make_shared(); - APP_ERROR ret = InitCaptionResource(*captionImplForTime, deviceId); - if (ret != APP_ERR_OK) { - LogError << "Fail to init caption resource for time"; - return APP_ERR_COMM_FAILURE; - } - ret = InitCaptionResource(*captionImplForText, deviceId); - if (ret != APP_ERR_OK) { - LogError << "Fail to init caption resource for text"; - return APP_ERR_COMM_FAILURE; - } - g_captionImplVecForTimeMap[deviceId].push_back(captionImplForTime); - g_captionImplVecForTextMap[deviceId].push_back(captionImplForText); - } - - // 初始化视频编解码器资源 - for (int channelId = 0; channelId < channelCount; channelId++) { - APP_ERROR ret = GeneratePairEncoderAndDecoder(deviceId, channelId); - if (ret != APP_ERR_OK) { - LogError << "Fail to init videoDecoder and resource for text"; - return APP_ERR_COMM_FAILURE; - } - } - } - return APP_ERR_OK; -} - -void InitializeThreadPools(ThreadPools &threadPools, int deviceNum, int channelCount) -{ - for (int deviceId = 0; deviceId < deviceNum; deviceId++) { - std::vector pFormatCtxs(channelCount, nullptr); - std::vector threadStreamPuller(channelCount); - std::vector threadVdec(channelCount); - std::vector threadFrameProcess(channelCount); - std::vector threadVenc1080P(channelCount); - std::vector threadVencCIF(channelCount); - std::vector threadCIFSave(channelCount); - std::vector thread1080PSave(channelCount); - threadPools.threadStreamPullerPool.emplace(deviceId, std::move(threadStreamPuller)); - threadPools.threadVdecPool.emplace(deviceId, std::move(threadVdec)); - threadPools.threadFrameProcessPool.emplace(deviceId, std::move(threadFrameProcess)); - threadPools.threadVenc1080PPool.emplace(deviceId, std::move(threadVenc1080P)); - threadPools.threadVencCIFPool.emplace(deviceId, std::move(threadVencCIF)); - if (g_saveVIDEO) { - threadPools.threadCIFSavePool.emplace(deviceId, std::move(threadCIFSave)); - threadPools.thread1080PSavePool.emplace(deviceId, std::move(thread1080PSave)); - } - } -} - -void StartThreads(ThreadPools &threadPools, std::map> &pFormatCtxsMap, - std::vector &streamNames, int deviceNum, int channelCount) -{ - for (int deviceId = 0; deviceId < deviceNum; deviceId++) { - for (int channelId = 0; channelId < channelCount; channelId++) { - // 启动拉流线程 - threadPools.threadStreamPullerPool[deviceId][channelId] = - std::thread(StreamPullerThread, streamNames[deviceId * channelCount + channelId], - pFormatCtxsMap[deviceId][channelId], deviceId, channelId); - // 启动解码线程 - threadPools.threadVdecPool[deviceId][channelId] = - std::thread(VdecThread, g_videoDecoderMap[deviceId][channelId], - deviceId, channelId); - // 启动视频帧处理线程 - threadPools.threadFrameProcessPool[deviceId][channelId] = - std::thread(FrameProcessThread, deviceId, channelId); - // 启动CIF视频编码线程 - threadPools.threadVencCIFPool[deviceId][channelId] = - std::thread(VencThread, g_videoEncoderMap["CIF"][deviceId][channelId], - g_imageProcessorMap[deviceId][channelId], - deviceId, channelId, "CIF"); - // 启动1080P视频编码线程 - threadPools.threadVenc1080PPool[deviceId][channelId] = - std::thread(VencThread, g_videoEncoderMap["1080P"][deviceId][channelId], - g_imageProcessorMap[deviceId][channelId], deviceId, channelId, "1080P"); - if (g_saveVIDEO) { - // 启动CIF视频保存线程 - threadPools.threadCIFSavePool[deviceId][channelId] = - std::thread(SaveFrameThread, deviceId, channelId, "CIF"); - // 启动1080P视频保存线程 - threadPools.thread1080PSavePool[deviceId][channelId] = - std::thread(SaveFrameThread, deviceId, channelId, "1080P"); - } - std::this_thread::sleep_for(std::chrono::milliseconds(INIT_INTERVAL)); - std::cout << "Succeed to start working threads for device " << deviceId - << ", channelId " << channelId << std::endl; - } - } -} - -void JoinThreads(ThreadPools &threadPools, int deviceNum, int channelCount) -{ - for (int deviceId = 0; deviceId < deviceNum; deviceId++) { - for (int channelId = 0; channelId < channelCount; channelId++) { - threadPools.threadStreamPullerPool[deviceId][channelId].join(); - threadPools.threadVdecPool[deviceId][channelId].join(); - threadPools.threadFrameProcessPool[deviceId][channelId].join(); - threadPools.threadVencCIFPool[deviceId][channelId].join(); - threadPools.threadVenc1080PPool[deviceId][channelId].join(); - if (g_saveVIDEO) { - threadPools.threadCIFSavePool[deviceId][channelId].join(); - threadPools.thread1080PSavePool[deviceId][channelId].join(); - } - std::cout << "Succeed to join working threads for device " << deviceId << ", channelId " - << channelId << "." << std::endl; - } - } -} -APP_ERROR StartServices(int deviceNum, int channelCount, std::vector &streamNames) -{ - // 创建线程池 - ThreadPools threadPools; - InitializeThreadPools(threadPools, deviceNum, channelCount); - std::map> pFormatCtxsMap; - for (int deviceId = 0; deviceId < deviceNum; deviceId++) { - std::vector pFormatCtxs(channelCount, nullptr); - pFormatCtxsMap.emplace(deviceId, std::move(pFormatCtxs)); - } - - // 启动线程 - StartThreads(threadPools, pFormatCtxsMap, streamNames, deviceNum, channelCount); - std::cout << "**************All working threads are started.**************" << std::endl; - - // 循环等待 - while (!g_signalReceived) { - usleep(SIGNAL_CHECK_TIMESTEP); - } - - // 销毁线程 - JoinThreads(threadPools, deviceNum, channelCount); - std::cout << "**************All working threads are joined.**************" << std::endl; - return APP_ERR_OK; -} - -static void SignalHandler(int signal) -{ - if (signal == SIGINT) { - g_signalReceived = true; - } -} - -void ClearGlobalContainers() -{ - g_imageProcessorMap.clear(); - g_pullerToVdecQueueMap.clear(); - g_vdecToCaptionQueueMap.clear(); - g_captionToVencQueueMap.clear(); - g_vencToFileQueueMap.clear(); - g_captionImplVecForTimeMap.clear(); - g_captionImplVecForTextMap.clear(); - g_videoDecoderMap.clear(); - g_videoEncoderMap.clear(); -} - -int main(int argc, char *argv[]) -{ - // 初始化全局资源 - avformat_network_init(); - if (MxInit() != APP_ERR_OK) { - LogError << "Fail to conduct MxInit."; - return APP_ERR_COMM_FAILURE; - } - if (!CaptionGenManager::getInstance().Init()) { - LogError << "Fail to init CaptionGenManager."; - return APP_ERR_COMM_FAILURE; - } - if (signal(SIGINT, SignalHandler) == SIG_ERR) { - LogError << "Fail to register SignalHandler."; - return APP_ERR_COMM_FAILURE; - } - - { - // 解析配置文件 - uint32_t deviceNum = 0; - std::vector streamNames; - ConfigParser configParser; - APP_ERROR ret = SetConfigValue(configParser, deviceNum, streamNames); - if (ret != APP_ERR_OK) { - LogError << "Fail to parse config file"; - return APP_ERR_COMM_FAILURE; - } - - // 生成设备资源 - ret = GenerateResourcesForDevices(deviceNum, CHANNEL_COUNT, configParser); - if (ret != APP_ERR_OK) { - LogError << "Fail to generate resources for devices"; - return APP_ERR_COMM_FAILURE; - } - - // 拉起服务 - ret = StartServices(deviceNum, CHANNEL_COUNT, streamNames); - if (ret != APP_ERR_OK) { - LogError << "Fail to start services"; - return APP_ERR_COMM_FAILURE; - } - // 清理全局容器资源 - std::cout << "**************Begin clear global NPU resources.**************" << std::endl; - ClearGlobalContainers(); - } - // 销毁资源 - CaptionGenManager::getInstance().DeInit(); - CaptionGeneration::getAscendStream().DestroyAscendStream(); - MxDeInit(); - std::cout << "**************PutTextForMultiVideos end.**************" << std::endl; - return 0; -} +/* + * Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. + * Description: Put text for 1080P videos. + * Author: MindX SDK + * Create: 2024 + * History: NA + */ + +#include +#include +#include +#include +#include +#include +#include +#include +#include +#include +#include +#include +#include +#include "unistd.h" +#include "acl/acl.h" +#include "acl/acl_rt.h" +#include "MxBase/Log/Log.h" +#include "MxBase/DeviceManager/DeviceManager.h" +#include "boost/filesystem.hpp" +#include "MxBase/E2eInfer/VideoDecoder/VideoDecoder.h" +#include "MxBase/E2eInfer/VideoEncoder/VideoEncoder.h" +#include "MxBase/MxBase.h" +#include "ConfigParser/ConfigParser.h" +#include "BlockingQueue.h" +#include "PutText/CaptionImpl.h" +extern "C" { +#include +} + +namespace { + using namespace chrono; + using namespace std; + using namespace MxBase; + bool g_saveVIDEO = true; + static bool g_signalReceived = false; + const int QUEUE_SIZE = 1000; + const float YUV420_RATIO = 1.5; + const float DEFAULT_OPACITY = 0.3; + const int TIME_OUT = 3000; + const int INIT_INTERVAL = 100; + const int DEFAULT_SRC_RATE = 25; + const int DEFAULT_MAX_BIT_RATE = 30000; + const uint32_t CHANNEL_COUNT = 25; + const int YEAR_OFFSET = 1900; + const int MONTH_OFFSET = 1; + const int FULL_HD_WIDTH = 1920; + const int FULL_HD_HEIGHT = 1080; + const int CIF_WIDTH = 352; + const int CIF_HEIGHT = 288; + const int SIGNAL_CHECK_TIMESTEP = 1000; + const std::string CONFIG_FILE_NAME = "../setup.config"; + const MxBase::Size CIF_IMAGE_SIZE(CIF_WIDTH, CIF_HEIGHT); + const MxBase::Size RESIZE_MIDDLE_IMAGE_SIZE(960, 540); + const MxBase::Point leftTop{60, 60}; + const MxBase::Point rightTop{1400, 60};; + const MxBase::Point leftButtom{60, 850}; + + + struct DecodedFrame { + MxBase::Image image; + uint32_t frameId = 0; + uint32_t channelId = 0; + }; + + struct EncodedFrame { + std::shared_ptr data; + uint32_t dataSize = 0; + uint32_t frameId = 0; + uint32_t channelId = 0; + }; + + struct ThreadPools { + std::map> threadStreamPullerPool; + std::map> threadVdecPool; + std::map> threadFrameProcessPool; + std::map> threadVenc1080PPool; + std::map> threadVencCIFPool; + std::map> threadCIFSavePool; + std::map> thread1080PSavePool; + }; + + std::map>> g_imageProcessorMap = {}; + std::map>>> g_pullerToVdecQueueMap = {}; + std::map>>> g_vdecToCaptionQueueMap = {}; + std::map>>>> + g_captionToVencQueueMap = {}; + std::map>>>> + g_vencToFileQueueMap = {}; + std::map>> g_captionImplVecForTimeMap = {}; + std::map>> g_captionImplVecForTextMap = {}; + std::map>> g_videoDecoderMap = {}; + std::map>>> g_videoEncoderMap = {}; +} + +AVFormatContext* CreateFormatContext(const std::string &filePath) +{ + AVFormatContext *formatContext = nullptr; + AVDictionary *options = nullptr; + + av_dict_set(&options, "rtsp_transport", "tcp", 0); + av_dict_set(&options, "stimeout", "3000000", 0); + int ret = avformat_open_input(&formatContext, filePath.c_str(), nullptr, &options); + if (options != nullptr) { + av_dict_free(&options); + } + if (ret != 0) { + LogError << "Couldn't open input stream " << filePath.c_str() << " ret=" << ret; + return nullptr; + } + ret = avformat_find_stream_info(formatContext, nullptr); + if (ret != 0) { + LogError << "Couldn't find stream information"; + return nullptr; + } + return formatContext; +} + +void GetFrame(AVPacket& pkt, EncodedFrame& encodedFrame, AVFormatContext* pFormatCtx) +{ + av_init_packet(&pkt); + int avRet = av_read_frame(pFormatCtx, &pkt); + if (avRet != 0) { + LogError << "[StreamPuller] Channel read frame failed, continue!"; + if (avRet == AVERROR_EOF) { + LogError << "[StreamPuller] Channel streamPuller is EOF, over!"; + } + return; + } else { + if (pkt.size <= 0) { + LogError << "Invalid pkt.size: " << pkt.size; + return; + } + auto hostDeleter = [](void *dataPtr) -> void {aclrtFreeHost(dataPtr);}; + MemoryData data(pkt.size, MemoryData::MEMORY_HOST); + MemoryData src((void *)(pkt.data), pkt.size, MemoryData::MEMORY_HOST_MALLOC); + APP_ERROR ret = MemoryHelper::MxbsMallocAndCopy(data, src); + if (ret != APP_ERR_OK) { + LogError << "MxbsMallocAndCopy failed!" << std::endl; + } + std::shared_ptr imageData((uint8_t*)data.ptrData, hostDeleter); + encodedFrame.data = imageData; + encodedFrame.dataSize = pkt.size; + av_packet_unref(&pkt); + } +} + +// 拉流线程 +void StreamPullerThread(const std::string filePath, AVFormatContext* pFormatCtx, int deviceId, int channelId) +{ + uint32_t streamHeight = 0; + uint32_t streamWidth = 0; + AVPacket pkt; + uint32_t frameId = 0; + pFormatCtx = avformat_alloc_context(); + pFormatCtx = CreateFormatContext(filePath); + if (pFormatCtx == nullptr) { + return; + } + av_dump_format(pFormatCtx, 0, filePath.c_str(), 0); + DeviceContext context = {}; + context.devId = deviceId; + DeviceManager::GetInstance()->SetDevice(context); + // 获取视频流真实宽高并检查是否符合要求 + for (unsigned int i = 0; i < pFormatCtx->nb_streams; ++i) { + AVStream *inStream = pFormatCtx->streams[i]; + if (inStream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO) { + streamHeight = inStream->codecpar->height; + streamWidth = inStream->codecpar->width; + break; + } + } + if (streamWidth != FULL_HD_WIDTH || streamHeight != FULL_HD_HEIGHT) { + LogError << "VideoDecoder[" << "deviceId: " << deviceId << " channelId: " << channelId + << "]: Video size is not 1080P."; + return; + } + // 循环拉流 + while (!g_signalReceived) { + EncodedFrame encodedFrame; + encodedFrame.channelId = channelId; + encodedFrame.frameId = frameId; + GetFrame(pkt, encodedFrame, pFormatCtx); + g_pullerToVdecQueueMap[deviceId][channelId]->Push(encodedFrame, true); + frameId += 1; + } +} + +// 视频帧处理线程 +void FrameProcessThread(const uint32_t deviceId, const int &channelId) +{ + while (!g_signalReceived) { + DecodedFrame decodedFrame; + APP_ERROR ret = g_vdecToCaptionQueueMap[deviceId][channelId]->Pop(decodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + continue; + } + MxBase::Image imageRGB; + ret = g_imageProcessorMap[deviceId][channelId]->ConvertFormat( + decodedFrame.image, MxBase::ImageFormat::RGB_888, imageRGB); + if (ret != 0) { + LogError << "Fail to convert format for decoded image into RGB format"; + } + auto imageTensor = imageRGB.ConvertToTensor(true, false); + ret = g_captionImplVecForTextMap[deviceId][channelId]->putText(imageTensor, "位置信息1", "位置信息2", + leftTop, DEFAULT_OPACITY); + if (ret != APP_ERR_OK) { + LogError << "Fail to put the address text in the top left corner."; + } + // 获取当前时间 + std::time_t now = std::time(nullptr); + std::tm* t = std::localtime(&now); + // 将信息输出到字符串流 + std::stringstream ss; + ss << t->tm_year + YEAR_OFFSET << "." << t->tm_mon + MONTH_OFFSET << "." << t->tm_mday + << " " << t->tm_hour << ":" << t->tm_min << ":" << t->tm_sec; + ret = g_captionImplVecForTimeMap[deviceId][channelId]->putText(imageTensor, ss.str(), "", + rightTop, DEFAULT_OPACITY); + if (ret != APP_ERR_OK) { + LogError << "Fail to put the time text in the top right corner."; + } + ret = g_captionImplVecForTextMap[deviceId][channelId]->putText(imageTensor, "", "预留信息", + leftButtom, DEFAULT_OPACITY); + if (ret != APP_ERR_OK) { + LogError << "Fail to put the reserved text in the left button corner."; + } + + MxBase::Image imageYuv; + ret = g_imageProcessorMap[deviceId][channelId]->ConvertFormat(imageRGB, + MxBase::ImageFormat::YUV_SP_420, imageYuv); + if (ret != 0) { + LogError << "Fail to convert format for image"; + } + decodedFrame.image = imageYuv; + + // 一路变两路 + ret = g_captionToVencQueueMap["CIF"][deviceId][channelId]->Push(decodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + std::cout << "Fail to push frame into vencQueue"; + } + ret = g_captionToVencQueueMap["1080P"][deviceId][channelId]->Push(decodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + std::cout << "Fail to push frame into vencQueue"; + } + } +} + +// 视频帧解码线程 +void VdecThread(std::shared_ptr videoDecoder, int deviceId, int channelId) +{ + uint32_t frameId = 0; + MxBase::DeviceContext context = {}; + context.devId = deviceId; + APP_ERROR ret = MxBase::DeviceManager::GetInstance()->SetDevice(context); + if (ret != 0) { + LogError << "Fail to set device for vdecThread."; + return; + } + MxBase::MemoryData imgData(FULL_HD_WIDTH * FULL_HD_HEIGHT * YUV420_RATIO, + MxBase::MemoryData::MemoryType::MEMORY_DVPP, deviceId); + ret = MxBase::MemoryHelper::Malloc(imgData); + if (ret != 0) { + LogError << "malloc error" << std::endl; + return; + } + std::shared_ptr pastedData((uint8_t*)imgData.ptrData, imgData.free); + MxBase::Size imgSize(FULL_HD_WIDTH, FULL_HD_HEIGHT); + MxBase::Image psatedImgTmp(pastedData, FULL_HD_WIDTH * FULL_HD_HEIGHT * YUV420_RATIO, + deviceId, imgSize, MxBase::ImageFormat::YUV_SP_420); + + while (!g_signalReceived) { + EncodedFrame encodedFrame; + ret = g_pullerToVdecQueueMap[deviceId][channelId]->Pop(encodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + continue; + } + ret = videoDecoder->Decode(encodedFrame.data, encodedFrame.dataSize, frameId, psatedImgTmp, + (void*)&(*g_vdecToCaptionQueueMap[deviceId][channelId])); + if (ret != APP_ERR_OK) { + LogError << "VideoDecoder decode failed. Ret is: " << ret; + } + frameId += 1; + } +} + + +APP_ERROR SetConfigValue(ConfigParser &configParser, uint32_t &deviceNum, std::vector &streamNames) +{ + APP_ERROR ret = configParser.ParseConfig(CONFIG_FILE_NAME); + if (ret != APP_ERR_OK) { + LogError << "Cannot parse file."; + return APP_ERR_COMM_FAILURE; + } + + ret = configParser.GetUnsignedIntValue("deviceNum", deviceNum); + if (ret != APP_ERR_OK) { + LogError << "Fail to get config variable named deviceNum."; + return APP_ERR_COMM_FAILURE; + } + + unsigned int saveVideo = 0; + ret = configParser.GetUnsignedIntValue("saveVideo", saveVideo); + if (ret != APP_ERR_OK) { + LogError << "Fail to get config variable named saveVideo."; + return APP_ERR_COMM_FAILURE; + } + if (saveVideo != 0 && saveVideo != 1) { + LogError << "saveVideo must be set in the range [0, 1]."; + return APP_ERR_COMM_FAILURE; + } + if (saveVideo == 0) { + g_saveVIDEO = false; + } + streamNames = std::vector(CHANNEL_COUNT * deviceNum); + for (unsigned int i = 0; i < deviceNum * CHANNEL_COUNT; i++) { + std::string itemCfgStr = std::string("stream.ch") + std::to_string(i); + ret = configParser.GetStringValue(itemCfgStr, streamNames[i]); + if (ret != APP_ERR_OK) { + LogError << "Get StreamNames from config file fail."; + return ret; + } + } + return APP_ERR_OK; +} + +APP_ERROR VencCallBack(std::shared_ptr& outDataPtr, uint32_t& outDataSize, + uint32_t& channelId, uint32_t& frameId, void* userData) +{ + EncodedFrame encodedFrame {outDataPtr, outDataSize, channelId, frameId}; + auto encodedQueue = static_cast*>(userData); + if (encodedQueue == nullptr) { + LogError << "EncodedQueue has been released." << std::endl; + return APP_ERR_DVPP_INVALID_FORMAT; + } + if (g_saveVIDEO) { + encodedQueue->Push(encodedFrame); + } + return APP_ERR_OK; +} + + +// 视频帧编码线程 +void VencThread(std::shared_ptr videoEncoder, std::shared_ptr imageProcessor, + int deviceId, int channelId, std::string videoType) +{ + uint32_t frameId = 0; + while (!g_signalReceived) { + if (videoType == "CIF") { + DecodedFrame decodedFrame; + APP_ERROR ret = g_captionToVencQueueMap[videoType][deviceId][channelId]->Pop(decodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + continue; + } + Image resizedImage; + Image resizedMidImage; + ret = g_imageProcessorMap[deviceId][channelId]->Resize(decodedFrame.image, RESIZE_MIDDLE_IMAGE_SIZE, + resizedMidImage, MxBase::Interpolation::HUAWEI_HIGH_ORDER_FILTER); + if (ret != APP_ERR_OK) { + LogError << "Fail to resize middle image." << " [DeviceId: " << deviceId + << " channelId: " << channelId << "]."; + } + + ret = g_imageProcessorMap[deviceId][channelId]->Resize( + resizedMidImage, CIF_IMAGE_SIZE, resizedImage, (MxBase::Interpolation)0); + if (ret != APP_ERR_OK) { + LogError << "Fail to resize final image" << " [DeviceId: " << deviceId + << " channelId: " << channelId << "]."; + } + decodedFrame.image = resizedImage; + ret = videoEncoder->Encode(decodedFrame.image, decodedFrame.frameId, + static_cast(&(*g_vencToFileQueueMap[videoType][deviceId][channelId]))); + if (ret != APP_ERR_OK) { + LogError << "Fail to encode 1080P image." << " [DeviceId: " << deviceId + << " channelId: " << channelId << "]."; + } + } else { + DecodedFrame decodedFrame; + APP_ERROR ret = g_captionToVencQueueMap[videoType][deviceId][channelId]->Pop(decodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + continue; + } + ret = videoEncoder->Encode(decodedFrame.image, decodedFrame.frameId, + static_cast(&(*g_vencToFileQueueMap[videoType][deviceId][channelId]))); + if (ret != APP_ERR_OK) { + LogError << "Fail to encode 1080P image." << " [DeviceId: " << deviceId + << " channelId: " << channelId << "]."; + } + } + frameId += 1; + } +} + +// 编码后视频帧保存线程 +void SaveFrameThread(int deviceId, int channelId, std::string videoType) +{ + string savePath = "../output/deviceId_" + to_string(deviceId) + " _channelId_" + + to_string(channelId) + "_" + videoType + ".h264"; + FILE *fp = fopen(savePath.c_str(), "wb"); + if (fp == nullptr) { + LogError << "Failed to open file."; + return; + } + + bool mbFoundFirstIDR = false; + bool bIsIDR = false; + while (!g_signalReceived) { + EncodedFrame encodedFrame; + APP_ERROR ret = g_vencToFileQueueMap[videoType][deviceId][channelId]->Pop(encodedFrame, TIME_OUT); + if (ret != APP_ERR_OK) { + continue; + } + bIsIDR = (encodedFrame.dataSize > 1); + if (!mbFoundFirstIDR) { + if (!bIsIDR) { + LogWarn << "Not bIsIDR!!!"; + continue; + } else { + mbFoundFirstIDR = true; + } + } + if (fwrite(encodedFrame.data.get(), encodedFrame.dataSize, 1, fp) != 1) { + LogError << "write frame to file fail" << std::endl; + } + } + if (fclose(fp) != 0) { + LogError << "Failed to close file for device " << deviceId << " channel " << channelId << "."; + }; +} + + +APP_ERROR InitCaptionResource(CaptionImpl &captionImpl, int deviceId) +{ + std::string fontSize = "60px"; + float fontScale = 1; + MxBase::Color textColor = MxBase::Color(255, 255, 255); + MxBase::Color backgroundColor = MxBase::Color(0, 0, 0); + APP_ERROR ret = captionImpl.init("simsun", fontSize, "times", fontSize, deviceId); + if (ret != APP_ERR_OK) { + LogError << "Fail to init captionImpl."; + return APP_ERR_COMM_FAILURE; + } + auto length = captionImpl.getLength("位置信息，时间信息，预留信息"); + ret = captionImpl.initRectAndColor(textColor, backgroundColor, fontScale, length); + if (ret != APP_ERR_OK) { + LogError << "Fail to init the intermediate tensor of captionImpl1."; + return APP_ERR_COMM_FAILURE; + } + return APP_ERR_OK; +} + +APP_ERROR VdecCallBack(MxBase::Image &decodedImage, uint32_t channelId, uint32_t frameId, + void *userData) +{ + DecodedFrame decodedFrame{decodedImage, channelId, frameId}; + BlockingQueue* decodedVec = static_cast*>(userData); + if (decodedVec == nullptr) { + LogError << "VideoDecoderCallback: decodedVec has been released."; + return APP_ERR_DVPP_INVALID_FORMAT; + } + + decodedVec->Push(decodedFrame, true); + return APP_ERR_OK; +} + +APP_ERROR GeneratePairEncoderAndDecoder(int deviceId, int channelId) +{ + VideoDecodeConfig vDecodeConfig; + vDecodeConfig.width = FULL_HD_WIDTH; + vDecodeConfig.height = FULL_HD_HEIGHT; + vDecodeConfig.callbackFunc = VdecCallBack; + std::shared_ptr videoDecoder = std::make_shared(vDecodeConfig, deviceId, channelId); + g_videoDecoderMap[deviceId].push_back(videoDecoder); + + VideoEncodeConfig vEncodeConfig; + vEncodeConfig.callbackFunc = VencCallBack; + vEncodeConfig.height = FULL_HD_HEIGHT; + vEncodeConfig.width = FULL_HD_WIDTH; + vEncodeConfig.keyFrameInterval = 1; + vEncodeConfig.srcRate = DEFAULT_SRC_RATE; + vEncodeConfig.maxBitRate = DEFAULT_MAX_BIT_RATE; + vEncodeConfig.maxPicHeight = FULL_HD_HEIGHT; + vEncodeConfig.maxPicWidth = FULL_HD_WIDTH; + std::shared_ptr videoEncoder1080p = + std::make_shared(vEncodeConfig, deviceId, channelId); + g_videoEncoderMap["1080P"][deviceId].push_back(videoEncoder1080p); + + vEncodeConfig.height = CIF_HEIGHT; + vEncodeConfig.width = CIF_WIDTH; + vEncodeConfig.maxPicHeight = CIF_HEIGHT; + vEncodeConfig.maxPicWidth = CIF_WIDTH; + std::shared_ptr videoEncoderCIF = std::make_shared(vEncodeConfig, deviceId, channelId); + g_videoEncoderMap["CIF"][deviceId].push_back(videoEncoderCIF); +} + +APP_ERROR GenerateResourcesForDevices(int deviceNum, int channelCount, const ConfigParser &configParser) +{ + for (int deviceId = 0; deviceId < deviceNum; deviceId++) { + // 初始化线程通信队列 + for (int channelId = 0; channelId < channelCount; channelId++) { + g_pullerToVdecQueueMap[deviceId].push_back(std::make_shared>(QUEUE_SIZE)); + g_vdecToCaptionQueueMap[deviceId].push_back(std::make_shared>(QUEUE_SIZE)); + g_captionToVencQueueMap["CIF"][deviceId].push_back( + std::make_shared>(QUEUE_SIZE)); + g_captionToVencQueueMap["1080P"][deviceId].push_back( + std::make_shared>(QUEUE_SIZE)); + g_vencToFileQueueMap["CIF"][deviceId].push_back(std::make_shared>(QUEUE_SIZE)); + g_vencToFileQueueMap["1080P"][deviceId].push_back( + std::make_shared>(QUEUE_SIZE)); + } + + // 初始化字幕贴图相关资源 + for (int channelId = 0; channelId < channelCount; channelId++) { + g_imageProcessorMap[deviceId].push_back(std::make_shared(deviceId)); + auto captionImplForTime = std::make_shared(); + auto captionImplForText = std::make_shared(); + APP_ERROR ret = InitCaptionResource(*captionImplForTime, deviceId); + if (ret != APP_ERR_OK) { + LogError << "Fail to init caption resource for time"; + return APP_ERR_COMM_FAILURE; + } + ret = InitCaptionResource(*captionImplForText, deviceId); + if (ret != APP_ERR_OK) { + LogError << "Fail to init caption resource for text"; + return APP_ERR_COMM_FAILURE; + } + g_captionImplVecForTimeMap[deviceId].push_back(captionImplForTime); + g_captionImplVecForTextMap[deviceId].push_back(captionImplForText); + } + + // 初始化视频编解码器资源 + for (int channelId = 0; channelId < channelCount; channelId++) { + APP_ERROR ret = GeneratePairEncoderAndDecoder(deviceId, channelId); + if (ret != APP_ERR_OK) { + LogError << "Fail to init videoDecoder and resource for text"; + return APP_ERR_COMM_FAILURE; + } + } + } + return APP_ERR_OK; +} + +void InitializeThreadPools(ThreadPools &threadPools, int deviceNum, int channelCount) +{ + for (int deviceId = 0; deviceId < deviceNum; deviceId++) { + std::vector pFormatCtxs(channelCount, nullptr); + std::vector threadStreamPuller(channelCount); + std::vector threadVdec(channelCount); + std::vector threadFrameProcess(channelCount); + std::vector threadVenc1080P(channelCount); + std::vector threadVencCIF(channelCount); + std::vector threadCIFSave(channelCount); + std::vector thread1080PSave(channelCount); + threadPools.threadStreamPullerPool.emplace(deviceId, std::move(threadStreamPuller)); + threadPools.threadVdecPool.emplace(deviceId, std::move(threadVdec)); + threadPools.threadFrameProcessPool.emplace(deviceId, std::move(threadFrameProcess)); + threadPools.threadVenc1080PPool.emplace(deviceId, std::move(threadVenc1080P)); + threadPools.threadVencCIFPool.emplace(deviceId, std::move(threadVencCIF)); + if (g_saveVIDEO) { + threadPools.threadCIFSavePool.emplace(deviceId, std::move(threadCIFSave)); + threadPools.thread1080PSavePool.emplace(deviceId, std::move(thread1080PSave)); + } + } +} + +void StartThreads(ThreadPools &threadPools, std::map> &pFormatCtxsMap, + std::vector &streamNames, int deviceNum, int channelCount) +{ + for (int deviceId = 0; deviceId < deviceNum; deviceId++) { + for (int channelId = 0; channelId < channelCount; channelId++) { + // 启动拉流线程 + threadPools.threadStreamPullerPool[deviceId][channelId] = + std::thread(StreamPullerThread, streamNames[deviceId * channelCount + channelId], + pFormatCtxsMap[deviceId][channelId], deviceId, channelId); + // 启动解码线程 + threadPools.threadVdecPool[deviceId][channelId] = + std::thread(VdecThread, g_videoDecoderMap[deviceId][channelId], + deviceId, channelId); + // 启动视频帧处理线程 + threadPools.threadFrameProcessPool[deviceId][channelId] = + std::thread(FrameProcessThread, deviceId, channelId); + // 启动CIF视频编码线程 + threadPools.threadVencCIFPool[deviceId][channelId] = + std::thread(VencThread, g_videoEncoderMap["CIF"][deviceId][channelId], + g_imageProcessorMap[deviceId][channelId], + deviceId, channelId, "CIF"); + // 启动1080P视频编码线程 + threadPools.threadVenc1080PPool[deviceId][channelId] = + std::thread(VencThread, g_videoEncoderMap["1080P"][deviceId][channelId], + g_imageProcessorMap[deviceId][channelId], deviceId, channelId, "1080P"); + if (g_saveVIDEO) { + // 启动CIF视频保存线程 + threadPools.threadCIFSavePool[deviceId][channelId] = + std::thread(SaveFrameThread, deviceId, channelId, "CIF"); + // 启动1080P视频保存线程 + threadPools.thread1080PSavePool[deviceId][channelId] = + std::thread(SaveFrameThread, deviceId, channelId, "1080P"); + } + std::this_thread::sleep_for(std::chrono::milliseconds(INIT_INTERVAL)); + std::cout << "Succeed to start working threads for device " << deviceId + << ", channelId " << channelId << std::endl; + } + } +} + +void JoinThreads(ThreadPools &threadPools, int deviceNum, int channelCount) +{ + for (int deviceId = 0; deviceId < deviceNum; deviceId++) { + for (int channelId = 0; channelId < channelCount; channelId++) { + threadPools.threadStreamPullerPool[deviceId][channelId].join(); + threadPools.threadVdecPool[deviceId][channelId].join(); + threadPools.threadFrameProcessPool[deviceId][channelId].join(); + threadPools.threadVencCIFPool[deviceId][channelId].join(); + threadPools.threadVenc1080PPool[deviceId][channelId].join(); + if (g_saveVIDEO) { + threadPools.threadCIFSavePool[deviceId][channelId].join(); + threadPools.thread1080PSavePool[deviceId][channelId].join(); + } + std::cout << "Succeed to join working threads for device " << deviceId << ", channelId " + << channelId << "." << std::endl; + } + } +} +APP_ERROR StartServices(int deviceNum, int channelCount, std::vector &streamNames) +{ + // 创建线程池 + ThreadPools threadPools; + InitializeThreadPools(threadPools, deviceNum, channelCount); + std::map> pFormatCtxsMap; + for (int deviceId = 0; deviceId < deviceNum; deviceId++) { + std::vector pFormatCtxs(channelCount, nullptr); + pFormatCtxsMap.emplace(deviceId, std::move(pFormatCtxs)); + } + + // 启动线程 + StartThreads(threadPools, pFormatCtxsMap, streamNames, deviceNum, channelCount); + std::cout << "**************All working threads are started.**************" << std::endl; + + // 循环等待 + while (!g_signalReceived) { + usleep(SIGNAL_CHECK_TIMESTEP); + } + + // 销毁线程 + JoinThreads(threadPools, deviceNum, channelCount); + std::cout << "**************All working threads are joined.**************" << std::endl; + return APP_ERR_OK; +} + +static void SignalHandler(int signal) +{ + if (signal == SIGINT) { + g_signalReceived = true; + } +} + +void ClearGlobalContainers() +{ + g_imageProcessorMap.clear(); + g_pullerToVdecQueueMap.clear(); + g_vdecToCaptionQueueMap.clear(); + g_captionToVencQueueMap.clear(); + g_vencToFileQueueMap.clear(); + g_captionImplVecForTimeMap.clear(); + g_captionImplVecForTextMap.clear(); + g_videoDecoderMap.clear(); + g_videoEncoderMap.clear(); +} + +int main(int argc, char *argv[]) +{ + // 初始化全局资源 + avformat_network_init(); + if (MxInit() != APP_ERR_OK) { + LogError << "Fail to conduct MxInit."; + return APP_ERR_COMM_FAILURE; + } + if (!CaptionGenManager::getInstance().Init()) { + LogError << "Fail to init CaptionGenManager."; + return APP_ERR_COMM_FAILURE; + } + if (signal(SIGINT, SignalHandler) == SIG_ERR) { + LogError << "Fail to register SignalHandler."; + return APP_ERR_COMM_FAILURE; + } + + { + // 解析配置文件 + uint32_t deviceNum = 0; + std::vector streamNames; + ConfigParser configParser; + APP_ERROR ret = SetConfigValue(configParser, deviceNum, streamNames); + if (ret != APP_ERR_OK) { + LogError << "Fail to parse config file"; + return APP_ERR_COMM_FAILURE; + } + + // 生成设备资源 + ret = GenerateResourcesForDevices(deviceNum, CHANNEL_COUNT, configParser); + if (ret != APP_ERR_OK) { + LogError << "Fail to generate resources for devices"; + return APP_ERR_COMM_FAILURE; + } + + // 拉起服务 + ret = StartServices(deviceNum, CHANNEL_COUNT, streamNames); + if (ret != APP_ERR_OK) { + LogError << "Fail to start services"; + return APP_ERR_COMM_FAILURE; + } + // 清理全局容器资源 + std::cout << "**************Begin clear global NPU resources.**************" << std::endl; + ClearGlobalContainers(); + } + // 销毁资源 + CaptionGenManager::getInstance().DeInit(); + CaptionGeneration::getAscendStream().DestroyAscendStream(); + MxDeInit(); + std::cout << "**************PutTextForMultiVideos end.**************" << std::endl; + return 0; +} diff --git a/mxVision/PutTextForMultiVideos/setup.config b/mxVision/PutTextForMultiVideos/setup.config index fb86c9ba684adadfa8e1f6aa3af767a813bcb55e..0709aeb2d17a82dc093828a2d8f0af4a83cfa034 100644 --- a/mxVision/PutTextForMultiVideos/setup.config +++ b/mxVision/PutTextForMultiVideos/setup.config @@ -1,132 +1,132 @@ -#卡数（指定执行业务占用的NPU数量；用于执行业务的NPU默认从0卡开始选取，按照deviceNum的值依次递增） -deviceNum = 5 - -#是否保存视频（指定是否保存视频；1表示保存贴字后的视频， 0表示不保存贴字后的视频） -saveVideo = 1 - -# rtsp流地址（${rtspURL}需替换为实际的rtsp流地址；rtsp流地址会按照通道数由小到大，依次分配到各个NPU上；每个NPU会处理25个rtsp流的数据） -stream.ch0 = ${rtspURL} -stream.ch1 = ${rtspURL} -stream.ch2 = ${rtspURL} -stream.ch3 = ${rtspURL} -stream.ch4 = ${rtspURL} -stream.ch5 = ${rtspURL} -stream.ch6 = ${rtspURL} -stream.ch7 = ${rtspURL} -stream.ch8 = ${rtspURL} -stream.ch9 = ${rtspURL} -stream.ch10 = ${rtspURL} -stream.ch11 = ${rtspURL} -stream.ch12 = ${rtspURL} -stream.ch13 = ${rtspURL} -stream.ch14 = ${rtspURL} -stream.ch15 = ${rtspURL} -stream.ch16 = ${rtspURL} -stream.ch17 = ${rtspURL} -stream.ch18 = ${rtspURL} -stream.ch19 = ${rtspURL} -stream.ch20 = ${rtspURL} -stream.ch21 = ${rtspURL} -stream.ch22 = ${rtspURL} -stream.ch23 = ${rtspURL} -stream.ch24 = ${rtspURL} -stream.ch25 = ${rtspURL} -stream.ch26 = ${rtspURL} -stream.ch27 = ${rtspURL} -stream.ch28 = ${rtspURL} -stream.ch29 = ${rtspURL} -stream.ch30 = ${rtspURL} -stream.ch31 = ${rtspURL} -stream.ch32 = ${rtspURL} -stream.ch33 = ${rtspURL} -stream.ch34 = ${rtspURL} -stream.ch35 = ${rtspURL} -stream.ch36 = ${rtspURL} -stream.ch37 = ${rtspURL} -stream.ch38 = ${rtspURL} -stream.ch39 = ${rtspURL} -stream.ch40 = ${rtspURL} -stream.ch41 = ${rtspURL} -stream.ch42 = ${rtspURL} -stream.ch43 = ${rtspURL} -stream.ch44 = ${rtspURL} -stream.ch45 = ${rtspURL} -stream.ch46 = ${rtspURL} -stream.ch47 = ${rtspURL} -stream.ch48 = ${rtspURL} -stream.ch49 = ${rtspURL} -stream.ch50 = ${rtspURL} -stream.ch51 = ${rtspURL} -stream.ch52 = ${rtspURL} -stream.ch53 = ${rtspURL} -stream.ch54 = ${rtspURL} -stream.ch55 = ${rtspURL} -stream.ch56 = ${rtspURL} -stream.ch57 = ${rtspURL} -stream.ch58 = ${rtspURL} -stream.ch59 = ${rtspURL} -stream.ch60 = ${rtspURL} -stream.ch61 = ${rtspURL} -stream.ch62 = ${rtspURL} -stream.ch63 = ${rtspURL} -stream.ch64 = ${rtspURL} -stream.ch65 = ${rtspURL} -stream.ch66 = ${rtspURL} -stream.ch67 = ${rtspURL} -stream.ch68 = ${rtspURL} -stream.ch69 = ${rtspURL} -stream.ch70 = ${rtspURL} -stream.ch71 = ${rtspURL} -stream.ch72 = ${rtspURL} -stream.ch73 = ${rtspURL} -stream.ch74 = ${rtspURL} -stream.ch75 = ${rtspURL} -stream.ch76 = ${rtspURL} -stream.ch77 = ${rtspURL} -stream.ch78 = ${rtspURL} -stream.ch79 = ${rtspURL} -stream.ch80 = ${rtspURL} -stream.ch81 = ${rtspURL} -stream.ch82 = ${rtspURL} -stream.ch83 = ${rtspURL} -stream.ch84 = ${rtspURL} -stream.ch85 = ${rtspURL} -stream.ch86 = ${rtspURL} -stream.ch87 = ${rtspURL} -stream.ch88 = ${rtspURL} -stream.ch89 = ${rtspURL} -stream.ch90 = ${rtspURL} -stream.ch91 = ${rtspURL} -stream.ch92 = ${rtspURL} -stream.ch93 = ${rtspURL} -stream.ch94 = ${rtspURL} -stream.ch95 = ${rtspURL} -stream.ch96 = ${rtspURL} -stream.ch97 = ${rtspURL} -stream.ch98 = ${rtspURL} -stream.ch99 = ${rtspURL} -stream.ch100 = ${rtspURL} -stream.ch101 = ${rtspURL} -stream.ch102 = ${rtspURL} -stream.ch103 = ${rtspURL} -stream.ch104 = ${rtspURL} -stream.ch105 = ${rtspURL} -stream.ch106 = ${rtspURL} -stream.ch107 = ${rtspURL} -stream.ch108 = ${rtspURL} -stream.ch109 = ${rtspURL} -stream.ch110 = ${rtspURL} -stream.ch111 = ${rtspURL} -stream.ch112 = ${rtspURL} -stream.ch113 = ${rtspURL} -stream.ch114 = ${rtspURL} -stream.ch115 = ${rtspURL} -stream.ch116 = ${rtspURL} -stream.ch117 = ${rtspURL} -stream.ch118 = ${rtspURL} -stream.ch119 = ${rtspURL} -stream.ch120 = ${rtspURL} -stream.ch121 = ${rtspURL} -stream.ch122 = ${rtspURL} -stream.ch123 = ${rtspURL} +#卡数（指定执行业务占用的NPU数量；用于执行业务的NPU默认从0卡开始选取，按照deviceNum的值依次递增） +deviceNum = 5 + +#是否保存视频（指定是否保存视频；1表示保存贴字后的视频， 0表示不保存贴字后的视频） +saveVideo = 1 + +# rtsp流地址（${rtspURL}需替换为实际的rtsp流地址；rtsp流地址会按照通道数由小到大，依次分配到各个NPU上；每个NPU会处理25个rtsp流的数据） +stream.ch0 = ${rtspURL} +stream.ch1 = ${rtspURL} +stream.ch2 = ${rtspURL} +stream.ch3 = ${rtspURL} +stream.ch4 = ${rtspURL} +stream.ch5 = ${rtspURL} +stream.ch6 = ${rtspURL} +stream.ch7 = ${rtspURL} +stream.ch8 = ${rtspURL} +stream.ch9 = ${rtspURL} +stream.ch10 = ${rtspURL} +stream.ch11 = ${rtspURL} +stream.ch12 = ${rtspURL} +stream.ch13 = ${rtspURL} +stream.ch14 = ${rtspURL} +stream.ch15 = ${rtspURL} +stream.ch16 = ${rtspURL} +stream.ch17 = ${rtspURL} +stream.ch18 = ${rtspURL} +stream.ch19 = ${rtspURL} +stream.ch20 = ${rtspURL} +stream.ch21 = ${rtspURL} +stream.ch22 = ${rtspURL} +stream.ch23 = ${rtspURL} +stream.ch24 = ${rtspURL} +stream.ch25 = ${rtspURL} +stream.ch26 = ${rtspURL} +stream.ch27 = ${rtspURL} +stream.ch28 = ${rtspURL} +stream.ch29 = ${rtspURL} +stream.ch30 = ${rtspURL} +stream.ch31 = ${rtspURL} +stream.ch32 = ${rtspURL} +stream.ch33 = ${rtspURL} +stream.ch34 = ${rtspURL} +stream.ch35 = ${rtspURL} +stream.ch36 = ${rtspURL} +stream.ch37 = ${rtspURL} +stream.ch38 = ${rtspURL} +stream.ch39 = ${rtspURL} +stream.ch40 = ${rtspURL} +stream.ch41 = ${rtspURL} +stream.ch42 = ${rtspURL} +stream.ch43 = ${rtspURL} +stream.ch44 = ${rtspURL} +stream.ch45 = ${rtspURL} +stream.ch46 = ${rtspURL} +stream.ch47 = ${rtspURL} +stream.ch48 = ${rtspURL} +stream.ch49 = ${rtspURL} +stream.ch50 = ${rtspURL} +stream.ch51 = ${rtspURL} +stream.ch52 = ${rtspURL} +stream.ch53 = ${rtspURL} +stream.ch54 = ${rtspURL} +stream.ch55 = ${rtspURL} +stream.ch56 = ${rtspURL} +stream.ch57 = ${rtspURL} +stream.ch58 = ${rtspURL} +stream.ch59 = ${rtspURL} +stream.ch60 = ${rtspURL} +stream.ch61 = ${rtspURL} +stream.ch62 = ${rtspURL} +stream.ch63 = ${rtspURL} +stream.ch64 = ${rtspURL} +stream.ch65 = ${rtspURL} +stream.ch66 = ${rtspURL} +stream.ch67 = ${rtspURL} +stream.ch68 = ${rtspURL} +stream.ch69 = ${rtspURL} +stream.ch70 = ${rtspURL} +stream.ch71 = ${rtspURL} +stream.ch72 = ${rtspURL} +stream.ch73 = ${rtspURL} +stream.ch74 = ${rtspURL} +stream.ch75 = ${rtspURL} +stream.ch76 = ${rtspURL} +stream.ch77 = ${rtspURL} +stream.ch78 = ${rtspURL} +stream.ch79 = ${rtspURL} +stream.ch80 = ${rtspURL} +stream.ch81 = ${rtspURL} +stream.ch82 = ${rtspURL} +stream.ch83 = ${rtspURL} +stream.ch84 = ${rtspURL} +stream.ch85 = ${rtspURL} +stream.ch86 = ${rtspURL} +stream.ch87 = ${rtspURL} +stream.ch88 = ${rtspURL} +stream.ch89 = ${rtspURL} +stream.ch90 = ${rtspURL} +stream.ch91 = ${rtspURL} +stream.ch92 = ${rtspURL} +stream.ch93 = ${rtspURL} +stream.ch94 = ${rtspURL} +stream.ch95 = ${rtspURL} +stream.ch96 = ${rtspURL} +stream.ch97 = ${rtspURL} +stream.ch98 = ${rtspURL} +stream.ch99 = ${rtspURL} +stream.ch100 = ${rtspURL} +stream.ch101 = ${rtspURL} +stream.ch102 = ${rtspURL} +stream.ch103 = ${rtspURL} +stream.ch104 = ${rtspURL} +stream.ch105 = ${rtspURL} +stream.ch106 = ${rtspURL} +stream.ch107 = ${rtspURL} +stream.ch108 = ${rtspURL} +stream.ch109 = ${rtspURL} +stream.ch110 = ${rtspURL} +stream.ch111 = ${rtspURL} +stream.ch112 = ${rtspURL} +stream.ch113 = ${rtspURL} +stream.ch114 = ${rtspURL} +stream.ch115 = ${rtspURL} +stream.ch116 = ${rtspURL} +stream.ch117 = ${rtspURL} +stream.ch118 = ${rtspURL} +stream.ch119 = ${rtspURL} +stream.ch120 = ${rtspURL} +stream.ch121 = ${rtspURL} +stream.ch122 = ${rtspURL} +stream.ch123 = ${rtspURL} stream.ch124 = ${rtspURL} \ No newline at end of file diff --git a/mxVision/RtspServer/README.zh.md b/mxVision/RtspServer/README.zh.md index e428df378cf611d548662d77eb41eb0a384cebb0..a94e873a616534fc65299e2ff8b74fe9394410c4 100644 --- a/mxVision/RtspServer/README.zh.md +++ b/mxVision/RtspServer/README.zh.md @@ -20,7 +20,7 @@ | 软件名称 | 版本 | | -------- | ------ | | cmake | 3.5.1+ | -| mxVision | 2.0.3+ | +| Vision SDK | 2.0.3+ | ## 3.编译 diff --git a/mxVision/TrustedAudit/README.md b/mxVision/TrustedAudit/README.md index 6179d9d6d7ce0af1fa729457c572d10c4df115f9..2ad8b08a6497e4ecc60ab20a2eab8012973eebf5 100644 --- a/mxVision/TrustedAudit/README.md +++ b/mxVision/TrustedAudit/README.md @@ -4,8 +4,8 @@ 随着各种AI应用加速“嵌入”到各行各业，AI算力已经成为现代文明的重要基础设施，并成为“新基建”的重要方向。但任何有望变革人类社会的新技术都必然会带来广泛的关注，只有确保AI是安全的、可信的，人们才能信任它的决策建议，AI才能得到更广泛的应用。 2021年，随着欧盟《人工智能法规（AI Regulation）》草案的发布，揭开了世界各国对AI可信监管的序幕。在《人工智能法案》中，对高风险AI系统明确提出了数据治理，责任追溯，准确性、健壮性和网络完全方面的要求。其中，在AI整个生命周期中实现日志记录与责任追溯，成为推动可信AI相关各方明确责任的重要抓手。但AI在训练、部署、运行过程中产生的日志数量巨大，并且往往涉及到不同的利益相关方，如何保障海量的训练、推理日志不被篡改而丧失责任追溯的能力，成果为了一个重要的技术挑战。 -为解决该问题，本开发样例基于Mindx SDK实现了面向AI监管要求的可信日志（完整性保护）。核心思想是允许将海量的日志原文存储于普通数据库，但在接收日志的过程中同步生成日志的完整性证据，而将日志的密码学（完整性）证据存储到高安数据库。具体而言，是基于用户行为产生的日志，采用区块链中的Merkle tree机制，生成其对应的密码学完整性证据，将日志原文和Merkle存储于低安全区数据库（如elasticsearch数据库）；而将作为完整性证据的Merkle树树根存储于高安全区数据库（如Gauss数据库）。平台管理员可通过比较低安全区的原始日志、验证路径，和高安全区的Merkle树树根，判断原始日志是否被篡改。本样例以昇腾Atlas310卡为主要的硬件平台，主要支持以下功能： -1）MindX日志管理与处理：管理MindX日志文件，发送给可信审计服务端 +为解决该问题，本开发样例基于Vision SDK实现了面向AI监管要求的可信日志（完整性保护）。核心思想是允许将海量的日志原文存储于普通数据库，但在接收日志的过程中同步生成日志的完整性证据，而将日志的密码学（完整性）证据存储到高安数据库。具体而言，是基于用户行为产生的日志，采用区块链中的Merkle tree机制，生成其对应的密码学完整性证据，将日志原文和Merkle存储于低安全区数据库（如elasticsearch数据库）；而将作为完整性证据的Merkle树树根存储于高安全区数据库（如Gauss数据库）。平台管理员可通过比较低安全区的原始日志、验证路径，和高安全区的Merkle树树根，判断原始日志是否被篡改。本样例以昇腾Atlas310卡为主要的硬件平台，主要支持以下功能： +1）Vision SDK日志管理与处理：管理Vision SDK日志文件，发送给可信审计服务端 2）其他日志源（如网关）处理：支持其他日志源日志发送给可信审计服务端 3）日志可信存储与审计：可信审计服务端为日志构造Merkle树，分别存储原始日志、对应的完整性证据至低、高安全区数据库 @@ -22,7 +22,7 @@ | 软件名称 | 版本 | | --------------------------- | ---------| -| MindX SDK | 3.0RC2 | +| Vision SDK | 3.0RC2 | | docker | 20.10.12 | | Python | 3.7.2 | | python扩展包psutil | 5.8.0 | @@ -38,7 +38,7 @@ 本代码仓名称为mxSdkReferenceApps，工程目录如下图所示： ``` -├── mxVision +├── VisionSDK │   ├── TrustedAudit │   | ├── docker │   | │   ├── docker_run.sh @@ -77,9 +77,9 @@ ## 4 配置 -**步骤1：** 参考安装教程《mxVision 用户指南》安装 mxVision SDK。 +**步骤1：** 参考安装教程《Vision SDK 用户指南》安装 Vision SDK。 -**步骤2：** 配置 mxVision SDK 环境变量。 +**步骤2：** 配置 Vision SDK 环境变量。 ``` vi ~/.bashrc @@ -91,12 +91,12 @@ export GST_PULGIN_PATH="${MX_SDK_HOME}/opensource/lib/gstreamer-1.0:${MX_SDK_HOM source ~/.bashrc ``` -注：本例中mxVision SDK安装路径为 /work/MindX_SDK。环境变量介绍： +注：本例中Vision SDK安装路径为 /work/MindX_SDK。环境变量介绍： - MX_SDK_HOME为SDK安装路径 - LD_LIBRARY_PATH为lib库路径 - PYTHONPATH为python环境路径 -***步骤3***:确保mindx的日志层级为Info +***步骤3***:确保Vision SDK的日志层级为Info 修改${MX_SDK_HOME}/config/logging.conf文件的global_level变量为0 @@ -128,7 +128,7 @@ bash build.sh （编译脚本会自动复制编译好的libmxpi_trustedauditplugin.so文件到${MX_SDK_HOME}/lib/plugins/路径） ### 5.3 插件配置 -用户可根据Mindx安装路径更改Mindx源日志输出路径，配置文件为：项目所在目录/trusted_audit/TrustedAudit.pipeline +用户可根据Vision SDK安装路径更改Vision SDK源日志输出路径，配置文件为：项目所在目录/trusted_audit/TrustedAudit.pipeline ``` "mxpi_trustedauditplugin":{ "props":{ @@ -137,7 +137,7 @@ bash build.sh } } ``` -originalLogsPath字段表示mindx源日志文件所在位置，默认为/root/log/mindxsdk/logs +originalLogsPath字段表示Vision SDK源日志文件所在位置，默认为/root/log/mindxsdk/logs 同时修改，项目所在目录/trusted_audit/mindx/mindx_watcher_and_sender.py，全局变量FOLDER_NAME，默认为"/root/log/mindxsdk/logs" @@ -149,7 +149,7 @@ originalLogsPath字段表示mindx源日志文件所在位置，默认为/root/lo cd 项目所在目录/trusted_audit/ python main_trusted_audit.py ``` -（该程序会启动gauss数据库、elastic数据库、python环境所在的三个docker环境；启动python环境中的可信日志主服务；启动watcher管理mindx源日志文件夹；该文件的命令行输出类似下述内容后**暂停**，注意每条输出之间有若干秒延迟，等待各组件初始化完毕，最终输出Creates streams successfully） +（该程序会启动gauss数据库、elastic数据库、python环境所在的三个docker环境；启动python环境中的可信日志主服务；启动watcher管理Vision SDK源日志文件夹；该文件的命令行输出类似下述内容后**暂停**，注意每条输出之间有若干秒延迟，等待各组件初始化完毕，最终输出Creates streams successfully） ``` MxpiTrustedAuditPlugin::Init start. @@ -282,7 +282,7 @@ python test_c.py 2021-12-17 15:09:17.364057 2021-12-17 15:09:41.364057 1 10 ``` Destroys the stream successfully. ``` -主程序停止插件时会自动关闭watcher管理mindx源日志的程序，并清空mindx源日志文件夹；可如下检查管理器关闭情况；执行 +主程序停止插件时会自动关闭watcher管理Vision SDK源日志的程序，并清空Vision SDK源日志文件夹；可如下检查管理器关闭情况；执行 ``` cat /tmp/kill_watcher.log ``` diff --git a/mxVision/YOLOv7Detection/README.md b/mxVision/YOLOv7Detection/README.md index 89eeb006a6b894d86302b1d580be6fb5a1768f59..56359602b2505fe502a1190e47cf1bfe20d551cd 100644 --- a/mxVision/YOLOv7Detection/README.md +++ b/mxVision/YOLOv7Detection/README.md @@ -1,7 +1,7 @@ # YOLOv7 模型推理参考样例 ## 1. 介绍 -YOLOv7 目标检测后处理插件基于 MindX SDK 开发，对图片中的不同类目标进行检测。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案基于 pytorch 版本原始 yolo7x.pt 模型所转换的 om 模型进行目标检测，默认模型包含 80 个目标类。 +YOLOv7 目标检测后处理插件基于 Vision SDK 开发，对图片中的不同类目标进行检测。输入一幅图像，可以检测得到图像中大部分类别目标的位置。本方案基于 pytorch 版本原始 yolo7x.pt 模型所转换的 om 模型进行目标检测，默认模型包含 80 个目标类。 ### 1.1 支持的产品 @@ -34,7 +34,7 @@ Pytorch框架对yolov7模型推理时，前处理方案包括解码为BGR->等 │ └── CMakeLists.txt # 用于编译后处理插件 ├── model │ ├── coco.names # 需要下载，下载链接在下方 -│ └── yolov7.cfg # 模型后处理配置文件，配置说明参考《mxVision用户指南》中已有模型支持->模型后处理配置参数->YOLOv5模型后处理配置参数 +│ └── yolov7.cfg # 模型后处理配置文件，配置说明参考《Vision SDK用户指南》中已有模型支持->模型后处理配置参数->YOLOv5模型后处理配置参数 ├── pipeline │ ├── Sample.pipeline # 参考pipeline文件，用于配置bgr模型，用户需要根据自己需求和模型输入类型进行修改 │ └── SampleYuv.pipeline # 参考pipeline文件，用于配置yuv模型，用户需要根据自己需求和模型输入类型进行修改 @@ -55,7 +55,7 @@ SampleYuv.pipeline中resize插件需要选用双线性插值的方式，需要 在编译运行项目前，需要设置环境变量： -MindSDK 环境变量: +Vision SDK 环境变量: ``` . ${SDK-path}/set_env.sh @@ -70,7 +70,7 @@ CANN 环境变量： - 环境变量介绍 ``` -SDK-path: mxVision SDK 安装路径 +SDK-path: Vision SDK 安装路径 ascend-toolkit-path: CANN 安装路径。 ``` @@ -147,7 +147,7 @@ atc --framework=5 --model=${onnx_model} --output={output_name} --input_format=NC **步骤1** 编译后处理插件so： -后处理插件编译步骤参考《mxVision用户指南》中 深入开发->推理模型后处理开发介绍->新框架模型后处理->编译，其中"samplepostprocess"和"SamplePostProcess.cpp"分别代表生成的后处理动态库名和生成后处理的目标文件，对应到yolov7则yolov7postprocess和Yolov7PostProcess.cpp， +后处理插件编译步骤参考《Vision SDK用户指南》中 深入开发->推理模型后处理开发介绍->新框架模型后处理->编译，其中"samplepostprocess"和"SamplePostProcess.cpp"分别代表生成的后处理动态库名和生成后处理的目标文件，对应到yolov7则yolov7postprocess和Yolov7PostProcess.cpp， 注意： 修改CMakeLists.txt中 ```set(PLUGIN_NAME "samplepostprocess")``` 一行中插件名称，为 ```set(PLUGIN_NAME "yolov7postprocess")``` @@ -168,4 +168,4 @@ bash run.sh -m model_path -c model_config_path -l model_label_path -i image_path ``` ### 4.2 pipeline推理业务流程 -请参考《mxVision用户指南》中 使用命令行开发->样例介绍->C++运行步骤 章节，使用senddata和getresult方式进行推理，请配置样例中pipeline路径为当前项目下pipeline/Sample.pipeline文件，并对该pipeline文件中的模型及其配置文件路径进行合理配置。 +请参考《Vision SDK用户指南》中 使用命令行开发->样例介绍->C++运行步骤 章节，使用senddata和getresult方式进行推理，请配置样例中pipeline路径为当前项目下pipeline/Sample.pipeline文件，并对该pipeline文件中的模型及其配置文件路径进行合理配置。 diff --git a/mxVision/YoloV3Infer/README.md b/mxVision/YoloV3Infer/README.md index 194618b2ebacac0493588113bcda5fbba86533ff..ada16228dcff2ce91da5f6bf73dac6b693e83f21 100644 --- a/mxVision/YoloV3Infer/README.md +++ b/mxVision/YoloV3Infer/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了基于C++ V2接口的yoloV3推理样例，主要支持以下功能： +本开发样例基于Vision SDK实现了基于C++ V2接口的yoloV3推理样例，主要支持以下功能： 1. 图片读取解码：本样例支持JPG格式图片，使用图像处理单元进行解码。 2. 图片缩放/保存：使用图像处理单元相关接口进行图片的缩放，并输出一份缩放后的副本保存。 @@ -14,9 +14,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -47,7 +47,7 @@ #设置CANN环境变量 . ${install_path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK环境变量，SDK-path为Vision SDK安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/tutorials/ImageAndTensor/README.md b/tutorials/ImageAndTensor/README.md index 46103b63f5a88909d87ac03772476adba6c8179d..d5cded3fd6d0dc49f3cac32abc3b291386ab6a1b 100644 --- a/tutorials/ImageAndTensor/README.md +++ b/tutorials/ImageAndTensor/README.md @@ -1,4 +1,4 @@ -# MxVision快速入门——Image类与Tensor类基本使用教程 +# Vision SDK快速入门——Image类与Tensor类基本使用教程 ## 1 介绍 @@ -10,7 +10,7 @@ Tensor数据类，作为模型推理的输入与输出的数据结构。 本教程支持昇腾Atlas 300I Pro、Atlas 300V Pro。 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +|Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |----|----|----| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -19,7 +19,7 @@ Tensor数据类，作为模型推理的输入与输出的数据结构。 # 设置CANN环境变量 . ${install_path}/set_env.sh -# 设置MindX SDK 环境变量，sdk_path为mxVision SDK 安装路径 +# 设置Vision SDK环境变量，sdk_path为Vision SDK安装路径 . ${sdk_path}/set_env.sh ``` diff --git a/tutorials/ImageDetectionSample/C++/README.md b/tutorials/ImageDetectionSample/C++/README.md index 9dc33ae1d12f45424d21cc335041acb8cfd65db3..ca3c30780ecca1fcfba235082a80f7bbf0cbf06b 100644 --- a/tutorials/ImageDetectionSample/C++/README.md +++ b/tutorials/ImageDetectionSample/C++/README.md @@ -2,16 +2,16 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了对本地图片进行YOLOv3目标检测，生成可视化结果。 +本开发样例基于Vision SDK实现了对本地图片进行YOLOv3目标检测，生成可视化结果。 ### 1.2 支持的产品 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -24,7 +24,7 @@ #设置CANN环境变量 . ${install_path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/tutorials/ImageDetectionSample/python/README.md b/tutorials/ImageDetectionSample/python/README.md index 5896e95a22b6019fa0538d411227cf0fe53cd892..b3e63dd567a36b906112f9262fbfb0dbec2aa8d6 100644 --- a/tutorials/ImageDetectionSample/python/README.md +++ b/tutorials/ImageDetectionSample/python/README.md @@ -2,7 +2,7 @@ ## 1 介绍 ### 1.1 简介 -本开发样例基于MindX SDK实现了对本地图片进行YOLOv3目标检测，生成可视化结果。 +本开发样例基于Vision SDK实现了对本地图片进行YOLOv3目标检测，生成可视化结果。 ### 1.2 支持的产品 @@ -10,9 +10,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -32,7 +32,7 @@ #设置CANN环境变量 . ${install_path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` ## 3. 准备模型 diff --git a/tutorials/ModleSample/README.md b/tutorials/ModleSample/README.md index c8c310206415b84aee0bc8ad0d600657a7bcb474..40110840f9b25af4776578ae2b1d3bea2e1fdd12 100644 --- a/tutorials/ModleSample/README.md +++ b/tutorials/ModleSample/README.md @@ -1,4 +1,4 @@ -## MxVision快速入门--Model接口基本使用教程 +## Vision SDK快速入门--Model接口基本使用教程 ## 1、 介绍 @@ -31,8 +31,8 @@ infer(tensorList: List) # 通过输入Tensor列表进行模型推理 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -69,7 +69,7 @@ infer(tensorList: List) # 通过输入Tensor列表进行模型推理 **步骤1**：模型文件下载 -本项目意在为开发者介绍使用mxVision软件包中Model相关的C++、python接口使用样例。使用的模型为[RGB图像的夜间增强参考设计](https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/contrib/IAT)中用到的模型。 +本项目意在为开发者介绍使用Vision SDK软件包中Model相关的C++、python接口使用样例。使用的模型为[RGB图像的夜间增强参考设计](https://gitee.com/ascend/mindxsdk-referenceapps/tree/master/contrib/IAT)中用到的模型。 原始pth模型源码[地址](https://github.com/cuiziteng/illumination-adaptive-transformer) 本文提供已从pth模型转换好的onnx模型直接使用：[IAT_lol-sim.onnx](https://mindx.sdk.obs.cn-north-4.myhuaweicloud.com/mindxsdk-referenceapps%20/contrib/IAT/IAT_lol-sim.onnx) 下载后放到项目根目录的model文件夹下。 diff --git a/tutorials/OsdSample/README.md b/tutorials/OsdSample/README.md index 6d3e97bb5e0ff29208b57520fb95c80f39dd9764..56aa5adcbca15c08fd0904d0cdd7160fd55c35fd 100644 --- a/tutorials/OsdSample/README.md +++ b/tutorials/OsdSample/README.md @@ -10,9 +10,9 @@ 本项目以昇腾Atlas 300I Pro, Atlas 300V Pro和Atlas 500 A2为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | @@ -48,7 +48,7 @@ ``` ## 3 准备模型 -使用mxpi_opencvosd插件前，需要使用osd相关的模型文件，请执行mxVision安装目录下operators/opencvosd/generate_osd_om.sh脚本并生成所需的模型文件 +使用mxpi_opencvosd插件前，需要使用osd相关的模型文件，请执行Vision SDK安装目录下operators/opencvosd/generate_osd_om.sh脚本并生成所需的模型文件 ```bash # 执行脚本之前需要进入到运行目录下 cd ${SDK_INSTALL_PATH}/mxVision/operators/opencvosd diff --git a/tutorials/PipelineInputOutputSample/C++/README.md b/tutorials/PipelineInputOutputSample/C++/README.md index 8e3b433a3c9e384ba7724f530abcc2c67ab959b4..77bbd59c1b447ac8fb92db7fa5f88f0a800c3d46 100644 --- a/tutorials/PipelineInputOutputSample/C++/README.md +++ b/tutorials/PipelineInputOutputSample/C++/README.md @@ -4,14 +4,14 @@ ### 1.1 简介 -本样例基于mxVision SDK，实现pipeline不同方式的输入输出操作。 +本样例基于Vision SDK，实现pipeline不同方式的输入输出操作。 ### 1.2 支持的产品 本项目以昇腾Atlas 300I pro、Atlas 300V pro为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/tutorials/PipelineInputOutputSample/python/README.md b/tutorials/PipelineInputOutputSample/python/README.md index a3088e3b9000f9e0bc238349294d00f757916263..394a39170f7cbcce80a99966e2023fa41d0fec70 100644 --- a/tutorials/PipelineInputOutputSample/python/README.md +++ b/tutorials/PipelineInputOutputSample/python/README.md @@ -4,14 +4,14 @@ ### 1.1 简介 -本样例基于mxVision SDK，实现pipeline不同方式的输入输出操作。 +本样例基于Vision SDK，实现pipeline不同方式的输入输出操作。 ### 1.2 支持的产品 本项目以昇腾Atlas 300I pro、Atlas 300V pro为主要的硬件平台。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | diff --git a/tutorials/SamplePostProcess/README.md b/tutorials/SamplePostProcess/README.md index 599a63db11da992f0221643c8a9dc1596bb76afd..9fd1f6ee81a021b5b166c7e1d80a071d03544100 100644 --- a/tutorials/SamplePostProcess/README.md +++ b/tutorials/SamplePostProcess/README.md @@ -10,9 +10,9 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 5.0.0 | 7.0.0 | 23.0.0 | @@ -24,8 +24,8 @@ x86_64 Atlas 300I（型号3010）和arm Atlas 300I（型号3000）。 ```bash # 执行环境变量脚本使环境变量生效 . ${ascend-toolkit-path}/set_env.sh -. ${mxVision-path}/set_env.sh -# mxVision: mxVision安装路径 +. ${Vision SDK-path}/set_env.sh +# Vision SDK-path: Vision SDK安装路径 # ascend-toolkit-path: CANN安装路径 ``` diff --git a/tutorials/TensorOperationsProcessor/README.md b/tutorials/TensorOperationsProcessor/README.md index fc076e7dbd776a5c1bf4a7edcdfc0e30473cffd7..30085219307522e89081faa6951935485f2a2dc0 100644 --- a/tutorials/TensorOperationsProcessor/README.md +++ b/tutorials/TensorOperationsProcessor/README.md @@ -1,4 +1,4 @@ -# MxVision快速入门——TensorOperations接口基本使用教程 +# Vision SDK快速入门——TensorOperations接口基本使用教程 ## 1 介绍 @@ -48,7 +48,7 @@ TensorOperations接口，主要开放四则运算、指对数、绝对值、值 本教程支持昇腾Atlas 300I Pro、Atlas 300V Pro。 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |----|----|----| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -58,7 +58,7 @@ TensorOperations接口，主要开放四则运算、指对数、绝对值、值 # 设置CANN环境变量 . ${install_path}/set_env.sh -# 设置MindX SDK 环境变量，sdk_path为mxVision SDK 安装路径 +# 设置Vision SDK 环境变量，sdk_path为Vision SDK 安装路径 . ${sdk_path}/set_env.sh ``` diff --git a/tutorials/VideoEncoder&VideoDecoder/C++/CMakeLists.txt b/tutorials/VideoEncoder&VideoDecoder/C++/CMakeLists.txt index cc678669c7cf9e6048afb8b70da50d9339a6b7ab..96129a00362560ea469bc8cc3d741beb7f906be9 100644 --- a/tutorials/VideoEncoder&VideoDecoder/C++/CMakeLists.txt +++ b/tutorials/VideoEncoder&VideoDecoder/C++/CMakeLists.txt @@ -1,7 +1,7 @@ # # Copyright (c) Huawei Technologies Co., Ltd. 2024-2024. All rights reserved. # Description: CMakeLists for this project. -# Author: MindX SDK +# Author: Vision SDK # Create: 2024 # History: NA # diff --git a/tutorials/VideoEncoder&VideoDecoder/README.md b/tutorials/VideoEncoder&VideoDecoder/README.md index 099673e41e1170fe8ad7d7efe20257b33bbf296b..309e29ca1f5e1cb57bb009d83a1ba70928523b57 100644 --- a/tutorials/VideoEncoder&VideoDecoder/README.md +++ b/tutorials/VideoEncoder&VideoDecoder/README.md @@ -1,9 +1,9 @@ -# MxVision快速入门——mxBaseV2视频编解码接口使用 +# Vision SDK快速入门——mxBaseV2视频编解码接口使用 ## 1 介绍 ### 1.1 简介 -本样例属于mxVision快速入门样例，用于向用户介绍mxBaseV2系列视频编解码接口的基本使用。本系统以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台。 +本样例属于Vision SDK快速入门样例，用于向用户介绍mxBaseV2系列视频编解码接口的基本使用。本系统以昇腾Atlas 300V，Atlas 300I pro和 Atlas300V pro为主要的硬件平台。 本样例以本地视频拉流、解码、编码、编码结果保存为例子，着重介绍解码接口VideoDecoder和编码接口VideoEncoder的实例化和功能接口（Decode接口、Encode接口）使用。 @@ -14,13 +14,13 @@ ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | ### 1.4 三方依赖 -本项目除了依赖昇腾Driver、Firmware、CANN和MxVision及其要求的配套软件外，还需额外依赖以下软件： +本项目除了依赖昇腾Driver、Firmware、CANN和Vision SDK及其要求的配套软件外，还需额外依赖以下软件： | 软件名称 | 版本 | |--------| ------ | @@ -36,10 +36,10 @@ ```bash # 执行环境变量脚本使环境变量生效 . ${ascend-toolkit-path}/set_env.sh -. ${mxVision-path}/set_env.sh +. ${Vision SDK-path}/set_env.sh export FFMPEG_PATH=${ffmpeg-path} export LD_LIBRARY_PATH=${ffmpeg-lib-path}:$LD_LIBRARY_PATH -# mxVision-path: mxVision安装路径 +# Vision SDK-path: Vision SDK安装路径 # ascend-toolkit-path: CANN安装路径 # ffmpeg-path: ffmpeg安装路径，通常为/usr/local/ffmpeg # ffmpeg-lib-path: ffmpeg的lib库安装路径，通常为/usr/local/ffmpeg/lib diff --git a/tutorials/mindx_sdk_plugin/README.md b/tutorials/mindx_sdk_plugin/README.md index 3d62946bd8700592383e15f33304613af5586c90..8e1955f55c6469cabd2a612a34ce50a1f9d718d0 100644 --- a/tutorials/mindx_sdk_plugin/README.md +++ b/tutorials/mindx_sdk_plugin/README.md @@ -12,7 +12,7 @@ Atlas 300I pro、Atlas 300V pro ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |------------|---------|-------------------| | 6.0.RC2 | 8.0.RC2 | 24.1.RC2 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -32,14 +32,14 @@ Atlas 300I pro、Atlas 300V pro ## 2 设置环境变量 ``` -# MindX SDK环境变量: +# Vision SDK环境变量: .${SDK-path}/set_env.sh # CANN环境变量: .${ascend-toolkit-path}/set_env.sh # 环境变量介绍 -SDK-path:SDK mxVision安装路径 +SDK-path:SDK Vision SDK安装路径 ascend-toolkit-path:CANN安装路径 ``` 将主目录下的`CMakeLists.txt`文件中第七行`set(MX_SDK_HOME "/usr/local/Ascend/mindx_sdk/mxVision/")`中`/usr/local/Ascend/mindx_sdk/mxVision/`内容替换为上述SDK安装路径。 diff --git a/tutorials/mxBaseSample/README.md b/tutorials/mxBaseSample/README.md index f7a1603921398d1e2dd8da1d514aced11d2fb3fb..0575b4e9795aa83b8916f12a611b02c552a04068 100644 --- a/tutorials/mxBaseSample/README.md +++ b/tutorials/mxBaseSample/README.md @@ -14,9 +14,9 @@ Init > ReadImage >Resize > Inference >PostProcess >DeInit 本项目支持昇腾Atlas 500 A2。 ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本如下所示： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本如下所示： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +|Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- |---------| -------------- | | 5.0.0 |7.0.0 | 23.0.0 | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -29,7 +29,7 @@ Init > ReadImage >Resize > Inference >PostProcess >DeInit #设置CANN环境变量（请确认install_path路径是否正确） . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ``` diff --git a/tutorials/mxStreamlSample/Stream_Sequential/README.md b/tutorials/mxStreamlSample/Stream_Sequential/README.md index eeadad5b7f9dad639033e3524cd21d8bbb4411ac..3cf4f3d95b81e19cb6628138394539d23231da7c 100644 --- a/tutorials/mxStreamlSample/Stream_Sequential/README.md +++ b/tutorials/mxStreamlSample/Stream_Sequential/README.md @@ -19,7 +19,7 @@ | 软件名称 | 版本 | |----------------- | ------| -| mxVision | 3.0.0 | +| Vision SDK | 3.0.0 | | ascend-toolkit | 5.0.4 | ### 依赖文件获取 diff --git a/tutorials/mxpi_plugin_cvnorm/README.md b/tutorials/mxpi_plugin_cvnorm/README.md index 88eae8a34f8a26e35b0859800fc643ac65159f81..63447ece70c35609c30eac732f6340cbfa0c7b68 100644 --- a/tutorials/mxpi_plugin_cvnorm/README.md +++ b/tutorials/mxpi_plugin_cvnorm/README.md @@ -1,7 +1,7 @@ -# MxVision快速入门——开发opencv的均一化插件 +# Vision SDK快速入门——开发opencv的均一化插件 ## 1 介绍 @@ -15,7 +15,7 @@ opencv的均一化插件开发样例基于c++代码，生成SDK插件，以用 ### 1.3 支持的版本 -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | |------------|---------|-------------------| | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -23,14 +23,14 @@ opencv的均一化插件开发样例基于c++代码，生成SDK插件，以用 ## 2 设置环境变量 ``` -# MindX SDK环境变量: +# Vision SDK环境变量: .${SDK-path}/set_env.sh # CANN环境变量: .${ascend-toolkit-path}/set_env.sh # 环境变量介绍 -SDK-path:SDK mxVision安装路径 +SDK-path:Vision SDK安装路径 ascend-toolkit-path:CANN安装路径 ``` diff --git a/tutorials/protocolSample/README.md b/tutorials/protocolSample/README.md index 4bba172ec97a8d48245da4220f19d0c3913238ee..9eec411296ae9a8bb79289cb57984ff94b250f7b 100644 --- a/tutorials/protocolSample/README.md +++ b/tutorials/protocolSample/README.md @@ -8,9 +8,9 @@ 本项目支持昇腾Atlas 300I pro、 Atlas 300V pro ### 1.3 支持的版本 -本样例配套的MxVision版本、CANN版本、Driver/Firmware版本： +本样例配套的Vision SDK版本、CANN版本、Driver/Firmware版本： -| MxVision版本 | CANN版本 | Driver/Firmware版本 | +| Vision SDK版本 | CANN版本 | Driver/Firmware版本 | | --------- | ------------------ | -------------- | | 6.0.RC3 | 8.0.RC3 | 24.1.RC3 | @@ -40,7 +40,7 @@ #设置CANN环境变量，ascend-toolkit-path为cann安装路径 . ${ascend-toolkit-path}/set_env.sh -#设置MindX SDK 环境变量，SDK-path为mxVision SDK 安装路径 +#设置Vision SDK 环境变量，SDK-path为Vision SDK 安装路径 . ${SDK-path}/set_env.sh ```