From 092e117dbad88f0a90b10c57d8491e6b35ffcbc1 Mon Sep 17 00:00:00 2001 From: Jeaniowang <1104133197@qq.com> Date: Mon, 14 Jul 2025 14:39:32 +0800 Subject: [PATCH 1/2] =?UTF-8?q?=E6=B7=BB=E5=8A=A0=E5=AE=89=E5=85=A8?= =?UTF-8?q?=E8=AF=B4=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- RAGSDK/MainRepo/Dockerfile/ubuntu/Dockerfile | 2 +- RAGSDK/MainRepo/langgraph/README.md | 6 ++--- RAGSDK/MainRepo/langgraph/langgraph_demo.py | 6 ++--- ...able_diffusion_pipeline_parallel_web.patch | 2 +- .../stable_diffusion_pipeline_web.patch | 2 +- RAGSDK/PocValidation/chat_with_ascend/app.py | 2 +- RAGSDK/PocValidation/dify/dify_demo.py | 2 +- .../embedding_finetune/finetune.py | 2 +- RAGSDK/README.md | 24 ++++++++++++++++++- 9 files changed, 35 insertions(+), 13 deletions(-) diff --git a/RAGSDK/MainRepo/Dockerfile/ubuntu/Dockerfile b/RAGSDK/MainRepo/Dockerfile/ubuntu/Dockerfile index d82193946..bfc7f0346 100644 --- a/RAGSDK/MainRepo/Dockerfile/ubuntu/Dockerfile +++ b/RAGSDK/MainRepo/Dockerfile/ubuntu/Dockerfile @@ -13,7 +13,7 @@ RUN apt-get update && apt-get install -y vim tar zip unzip git curl wget dos2uni RUN apt-get update && apt-get install -y build-essential ${PYTHON_VERSION} ${PYTHON_VERSION}-dev ${PYTHON_VERSION}-distutils ${PYTHON_VERSION}-venv COPY ./package/urls.conf /tmp/urls.conf -RUN . /tmp/urls.conf && curl -k $PYPI_URL | ${PYTHON_VERSION} && update-alternatives --install /usr/bin/python3 python3 /usr/bin/${PYTHON_VERSION} 1 +RUN . /tmp/urls.conf && curl $PYPI_URL | ${PYTHON_VERSION} && update-alternatives --install /usr/bin/python3 python3 /usr/bin/${PYTHON_VERSION} 1 #配置 python3-config RUN ln -sf /usr/bin/${PYTHON_VERSION}-config /usr/local/bin/python3-config diff --git a/RAGSDK/MainRepo/langgraph/README.md b/RAGSDK/MainRepo/langgraph/README.md index 612b0977d..417369cec 100644 --- a/RAGSDK/MainRepo/langgraph/README.md +++ b/RAGSDK/MainRepo/langgraph/README.md @@ -562,12 +562,12 @@ if __name__ == "__main__": mxrag_component: Dict[str, Any] = {} # mis tei rerank - mis_tei_reranker_url = "http://ip:port/rerank" + mis_tei_reranker_url = "http://127.0.0.1:port/rerank" # mis tei embed - mis_tei_embedding_url = "http://ip:port/embed" + mis_tei_embedding_url = "http://127.0.0.1:port/embed" # mindie llm server - llm_url = "http://ip:port/v1/chat/completions" + llm_url = "http://127.0.0.1:port/v1/chat/completions" # llm model name like Llama3-8B-Chinese-Chat etc llm_model_name = "Llama3-8B-Chinese-Chat" diff --git a/RAGSDK/MainRepo/langgraph/langgraph_demo.py b/RAGSDK/MainRepo/langgraph/langgraph_demo.py index 9ff984276..6baf1d307 100644 --- a/RAGSDK/MainRepo/langgraph/langgraph_demo.py +++ b/RAGSDK/MainRepo/langgraph/langgraph_demo.py @@ -454,12 +454,12 @@ if __name__ == "__main__": mxrag_component: Dict[str, Any] = {} # mis tei rerank - mis_tei_reranker_url = "http://ip:port/rerank" + mis_tei_reranker_url = "http://127.0.0.1:port/rerank" # mis tei embed - mis_tei_embedding_url = "http://ip:port/embed" + mis_tei_embedding_url = "http://127.0.0.1:port/embed" # mindie llm server - llm_url = "http://ip:port/v1/chat/completions" + llm_url = "http://127.0.0.1:port/v1/chat/completions" # llm model name like Llama3-8B-Chinese-Chat etc llm_model_name = "Llama3-8B-Chinese-Chat" diff --git a/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_parallel_web.patch b/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_parallel_web.patch index e932c72c9..b66d0822d 100644 --- a/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_parallel_web.patch +++ b/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_parallel_web.patch @@ -273,5 +273,5 @@ index 76c7e606c..7a07a3793 100644 if __name__ == "__main__": main() -+ uvicorn.run(app, host="0.0.0.0", port=args.port) ++ uvicorn.run(app, host="127.0.0.1", port=args.port) \ No newline at end of file diff --git a/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_web.patch b/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_web.patch index 70264e1c1..0207e3377 100644 --- a/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_web.patch +++ b/RAGSDK/MainRepo/sd_samples/stable_diffusion_pipeline_web.patch @@ -275,5 +275,5 @@ index a953ae480..b470ffdec 100644 if __name__ == "__main__": main() -+ uvicorn.run(app, host="0.0.0.0", port=args.port) ++ uvicorn.run(app, host="127.0.0.1", port=args.port) \ No newline at end of file diff --git a/RAGSDK/PocValidation/chat_with_ascend/app.py b/RAGSDK/PocValidation/chat_with_ascend/app.py index 1ab773228..30dbb0df6 100644 --- a/RAGSDK/PocValidation/chat_with_ascend/app.py +++ b/RAGSDK/PocValidation/chat_with_ascend/app.py @@ -675,7 +675,7 @@ if __name__ == '__main__': def create_gradio(ports): demo = build_demo() demo.queue() - demo.launch(share=True, server_name="0.0.0.0", server_port=ports) + demo.launch(share=True, server_name="127.0.0.1", server_port=ports) # 启动gradio diff --git a/RAGSDK/PocValidation/dify/dify_demo.py b/RAGSDK/PocValidation/dify/dify_demo.py index 391a5afd2..9e5313dd3 100644 --- a/RAGSDK/PocValidation/dify/dify_demo.py +++ b/RAGSDK/PocValidation/dify/dify_demo.py @@ -670,7 +670,7 @@ def main(): help="vlm大模型服务base url地址") parser.add_argument("--llm_model_name", type=str, default="Qwen2.5-32B-Instruct", help="llm大模型名") parser.add_argument("--vlm_model_name", type=str, default="Qwen2.5-VL-7B-Instruct", help="vlm大模型名") - parser.add_argument("--host", type=str, default="0.0.0.0", help="服务host") + parser.add_argument("--host", type=str, default="127.0.0.1", help="服务host") parser.add_argument("--port", type=int, default="9098", help="服务端口") parser.add_argument("--white_path", type=str, nargs='+', default=["/home", "/mnt"], help="知识文档入库时所在目录白名单") diff --git a/RAGSDK/PocValidation/embedding_finetune/finetune.py b/RAGSDK/PocValidation/embedding_finetune/finetune.py index 4e29625bf..7dab74837 100644 --- a/RAGSDK/PocValidation/embedding_finetune/finetune.py +++ b/RAGSDK/PocValidation/embedding_finetune/finetune.py @@ -189,7 +189,7 @@ if __name__ == '__main__': parser = argparse.ArgumentParser(formatter_class=CustomFormatter) parser.add_argument("--document_path", type=str, default="", help="语料文档路径,支持doc、txt、md格式") parser.add_argument("--generate_dataset_path", type=str, default="", help="生成数据保存路径") - parser.add_argument("--llm_url", type=str, default="", help="大模型推理服务地址") + parser.add_argument("--llm_url", type=str, default="http://127.0.0.1/v1/chat/completions", help="大模型推理服务地址") parser.add_argument("--llm_model_name", type=str, default="", help="大模型推理服务对应的模型名称") parser.add_argument("--use_http", type=bool, default=False, help="是否是http") parser.add_argument("--embedding_model_path", type=str, default="", help="embedding模型路径") diff --git a/RAGSDK/README.md b/RAGSDK/README.md index 75db8ccbb..0c7981fd5 100644 --- a/RAGSDK/README.md +++ b/RAGSDK/README.md @@ -1,4 +1,26 @@ -## 目录结构与说明 +## 功能说明 +RAGSDK提供了一系列检索增强示例代码，这些示例旨在帮助开发者快速上手并调用RAG SDK进行应用开发，请勿直接将示例代码用于生产环境。 + +## 安全说明 +在使用RAG SDK示例过程中，包含并不限于以下安全注意事项： + +### 1）网络安全风险 +模型训练过程中，可能会生成临时文件，这些文件可能会保存敏感信息，如训练数据集。请务必对临时文件进行权限控制，并定期清理。 +样例中涉及的网络监听地址和网络端口仅为参考配置，默认配置为本机ip(127.0.0.1)，请根据实际需求进行修改，必要时请保证传输通道安全，避免暴露在公网中。 +### 2）文件读取安全 +在执行文件操作前检查文件是否存在及是否可读。 +对于从网络或其他不可信来源获取的数据文件，在加载前应进行合法性校验。 +使用pickle模块进行加载时可能存在恶意构造文件的风险，在反序列化时请确保文件是可信的。 +### 3）参数合法性检查 +所有输入参数必须进行有效性验证，包括但不限于类型、范围和格式。 +特别是在处理来自外部的配置值时，应确保它们不会超过物理限制。 +### 4）敏感信息存储于访问 +对敏感数据访问要有认证、授权、或加密机制，敏感信息应加密保存。 +### 5) 异常捕获规范 +不要捕获通用异常（Exception），而应该明确捕获特定异常类型（如ValueError或TypeError）。 +文件操作需增加权限检查和异常处理逻辑。 + +## 目录结构说明 | 目录 | 说明 | |---------------|-----------| -- Gitee From 7eaa7fbc1dfb22bc8443363bb814edd373574dda Mon Sep 17 00:00:00 2001 From: Jeaniowang <1104133197@qq.com> Date: Mon, 14 Jul 2025 15:22:48 +0800 Subject: [PATCH 2/2] =?UTF-8?q?=E8=A1=A5=E5=85=85=E8=AF=B4=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- RAGSDK/PocValidation/dify/README.md | 2 +- RAGSDK/README.md | 4 ++-- 2 files changed, 3 insertions(+), 3 deletions(-) diff --git a/RAGSDK/PocValidation/dify/README.md b/RAGSDK/PocValidation/dify/README.md index e2c72a03a..ecea536ac 100644 --- a/RAGSDK/PocValidation/dify/README.md +++ b/RAGSDK/PocValidation/dify/README.md @@ -62,5 +62,5 @@ render_markdown_with_images(markdown_text) WEB服务启动命令： ``` -streamlit run st.py --server.address "服务IP" --server.port 服务端口 +streamlit run st.py --server.address "127.0.0.1" --server.port 服务端口 ``` \ No newline at end of file diff --git a/RAGSDK/README.md b/RAGSDK/README.md index 0c7981fd5..6648ae639 100644 --- a/RAGSDK/README.md +++ b/RAGSDK/README.md @@ -2,7 +2,7 @@ RAGSDK提供了一系列检索增强示例代码，这些示例旨在帮助开发者快速上手并调用RAG SDK进行应用开发，请勿直接将示例代码用于生产环境。 ## 安全说明 -在使用RAG SDK示例过程中，包含并不限于以下安全注意事项： +在使用RAG SDK示例过程中，请注意包含并不限于以下安全注意事项： ### 1）网络安全风险 模型训练过程中，可能会生成临时文件，这些文件可能会保存敏感信息，如训练数据集。请务必对临时文件进行权限控制，并定期清理。 @@ -14,7 +14,7 @@ RAGSDK提供了一系列检索增强示例代码，这些示例旨在帮助开 ### 3）参数合法性检查 所有输入参数必须进行有效性验证，包括但不限于类型、范围和格式。 特别是在处理来自外部的配置值时，应确保它们不会超过物理限制。 -### 4）敏感信息存储于访问 +### 4）敏感信息存储与访问 对敏感数据访问要有认证、授权、或加密机制，敏感信息应加密保存。 ### 5) 异常捕获规范 不要捕获通用异常（Exception），而应该明确捕获特定异常类型（如ValueError或TypeError）。 -- Gitee