From 2cb6f6cfaee05eada40098cca0542da0f0d2f8ed Mon Sep 17 00:00:00 2001 From: "mingjiang.li" Date: Mon, 2 Sep 2024 17:11:13 +0800 Subject: [PATCH] Add DeepSparkInference 24.09 release notes Signed-off-by: mingjiang.li --- RELEASE.md | 88 +++++++++++++++++++++++++++++++++++++++++++++++++++++- 1 file changed, 87 insertions(+), 1 deletion(-) diff --git a/RELEASE.md b/RELEASE.md index a691d696..31721ad4 100644 --- a/RELEASE.md +++ b/RELEASE.md @@ -1,10 +1,96 @@ # DeepSparkInference Release Notes +## 24.09 Release Notes + +### 模型与算法 + +* 新增了29个推理小模型示例,其中支持IGIE推理引擎的15个,支持IxRT推理引擎的14个。 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
IGIE
ATSSConvNeXt-SmallCSPDarkNet50DeiT-tiny
DenseNet169EfficientNet-B2EfficientNetV2-MFCOS
FSAFRepVGGRetinaFaceRTMDet
RTMPoseSEResNet50ShuffleNet_V2_X1_0
IxRT
ALBERTConformerDeBERTaFaceNet
RoBERTaRoFormerSwin Transformer LargeTransformer ASR
VideoBERTWide_ResNet50Wide&DeepYOLOv4
YOLOv6YOLOv8
+ +* 新增了5个大语言模型的推理示例。 + * Llama3-70B (TensorRT-LLM) + * Qwen1.5-7B (Text Generation Inference) + * Qwen1.5-7B (vLLM) + * Qwen1.5-14B (vLLM) + * Qwen1.5-72B (vLLM) + +### 问题修复 + +* 修复了BERT Base SQUAD模型在NV环境上int8精度异常的问题。 +* 修复了Mask RCNN模型在NV 24.04环境上运行编译报错的问题。 +* 完善了IxRT部分模型的end2end推理时间打印。 + +### 版本关联 + +DeepSparkInference 24.09对应天数软件栈4.1.2版本。 + +### 感谢以下社区贡献者 + +YoungPeng,majorli,xinchi.tian,xiaomei.wang,wenfeng.zhang,haoyanlong,qiang.zhang。 + +--- + ## 24.06 Release Notes ### 模型与算法 -* 新增了31个推理小模型示例,其中支持IGIE推理引擎的16个,支持IxRT推理引擎的15个。 +* 新增了33个推理小模型示例,其中支持IGIE推理引擎的16个,支持IxRT推理引擎的15个。 -- Gitee