# Spark Structured Streaming demo

**Repository Path**: cch-bigdata/spark-structured-streaming-demo

## Basic Information

- **Project Name**: Spark Structured Streaming demo
- **Description**: ## 编程作业

实时轨迹场景中使用Redis存储了当前车辆的实时经纬度数据，请使用Mysql替换Redis来存储实时经纬度数据。

需要开发代码，使用Spark Structured Streaming把实时经纬度数据写入Mysql.


- **Primary Language**: Unknown
- **License**: AGPL-3.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 1
- **Created**: 2021-09-28
- **Last Updated**: 2022-01-25

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Spark Structured Streaming demo

#### 介绍
## 编程作业

实时轨迹场景中使用Redis存储了当前车辆的实时经纬度数据，请使用Mysql替换Redis来存储实时经纬度数据。

需要开发代码，使用Spark Structured Streaming把实时经纬度数据写入Mysql.



## 常用
- 监听端口接收到的数据
```nc -lk 9999 ```
- 向本机指定端口发送数据
```nc 127.0.0.1 9999```



## 目录
- data 使用文件方式读取数据demo
- sql 建表语句
- com/cch/spark/structured/streaming/demo 课程提供源码
- com/cch/spark/structured/streaming/sinks 作业部分

## sinks包文件
- BusInfo 数据对象传输类
- KafkaProducer 生产样例数据类
- MySQLForeachSink 自定义ForeachWriter类
- MysqlWriteDemo 主类，运行得到结果