# lagou_learning_6_2

**Repository Path**: mozovw/lagou_learning_6_2

## Basic Information

- **Project Name**: lagou_learning_6_2
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-10-03
- **Last Updated**: 2020-12-18

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# lagou_learning_6_2

#### 介绍
拉钩学习第六阶段模块二作业

#### 作业要求
使用Kafka做日志收集。

一、需要收集的信息：

1、用户ID（user_id）

2、时间（act_time）

3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload）

4、对方企业编码（job_code）

 

二、工作流程：

 



 

1、HTML可以理解为拉勾的职位浏览页面

2、用户的操作会由Web服务器进行响应。

3、同时用户的操作也会使用ajax向Nginx发送请求，nginx用于收集用户的点击数据流。

4、Nginx收集的日志数据使用ngx_kafka_module将数据发送到Kafka集群的主题中。

5、只要数据保存到Kafka集群主题，后续就可以使用大数据组件进行实时计算或其他的处理了，比如职位推荐，统计报表等。

 

三、架构：

HTML+Nginx+ngx_kafka_module+Kafka

ngx_kafka_module网址：https://github.com/brg-liuwei/ngx_kafka_module

 

注意问题：由于使用ngx_kafka_module，只能接收POST请求，同时一般Web服务器不会和数据收集的Nginx在同一个域名，会涉及到使用ajax发送请求的跨域问题，可以在nginx中配置跨域来解决。

 

四、实战步骤：

1.     安装Kafka

2.     安装Nginx

3.     配置ngx_kafka_module，注意跨域配置

4.     开发HTML页面