From 93e5d6e8594c538fe2f500c2c67a9bd82a31b3ca Mon Sep 17 00:00:00 2001 From: xiexing Date: Wed, 6 Jul 2022 02:03:16 +0000 Subject: [PATCH] update README.md. --- README.md | 14 +++++++++++++- 1 file changed, 13 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 96ed89d..f0372aa 100644 --- a/README.md +++ b/README.md @@ -1,12 +1,24 @@ # livy #### 介绍 -Apache Livy is an open source REST interface for interacting with Apache Spark from anywhere. +Livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能： + +- 提交Scala、Python或是R代码片段到远端的Spark集群上执行; +- 提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行; +- 提交批处理应用在集群中运行。 + +从Livy所提供的基本功能可以看到Livy涵盖了原生Spark所提供的两种处理交互方式。与原生Spark不同的是，所有操作都是通过REST的方式提交到Livy服务端上，再由Livy服务端发送到不同的Spark集群上去执行 #### 软件架构 软件架构说明 +Livy是一个典型的REST服务架构，它一方面接受并解析用户的REST请求，转换成相应的操作;另一方面它管理着用户所启动的所有Spark集群。 +用户可以以REST请求的方式通过Livy启动一个新的Spark集群，Livy将每一个启动的Spark集群称之为一个会话(session)，一个会话是由一个完整的Spark集群所构成的，并且通过RPC协议在Spark集群和Livy服务端之间进行通信。根据处理交互方式的不同，Livy将会话分成了两种类型： + +- 交互式会话(interactive session)，这与Spark中的交互式处理相同，交互式会话在其启动后可以接收用户所提交的代码片段，在远端的Spark集群上编译并执行; +- 批处理会话(batch session)，用户可以通过Livy以批处理的方式启动Spark应用，这样的一个方式在Livy中称之为批处理会话，这与Spark中的批处理是相同的。 +可以看到，Livy所提供的核心功能与原生Spark是相同的，它提供了两种不同的会话类型来代替Spark中两类不同的处理交互方式。 #### 安装教程 1. xxxx -- Gitee