# OperationOne

**Repository Path**: tzitiam/operation-one

## Basic Information

- **Project Name**: OperationOne
- **Description**: The first line of graduation project
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-12-30
- **Last Updated**: 2024-01-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Python, Spark, hive, Scala

## README

# OperationOne

## 项目介绍

**OperationOne** 是一个旨在深入分析中欧地理标志产品的毕业设计项目。项目的核心目标是通过对商务部官网上550个中欧双方地理标志产品(其中包括中国的275个产品和欧盟的275个产品)数据的爬取、筛选、处理和可视化，来揭示这些产品的地理位置分布和产品类别特点。通过这一过程，我们希望能够为相关领域的研究和决策提供有价值的见解。

## 项目流程

1. **数据爬取**：首先，我们将从商务部官网收集中欧双方的地理标志产品数据。
2. **数据筛选与处理**：对收集到的数据进行筛选，确保数据的质量和相关性，然后进行必要的清洗和转换。
3. **数据存储**：将处理后的数据存入数据仓库（DWS）层，以便进一步分析。
4. **数据可视化**：将DWS层的数据划分为不同的业务分支，并存储在应用数据存储（ADS）层。这些数据将被导出到MongoDB数据库，以便直接用于可视化分析。
5. **可视化分析**：利用MongoDB的高可扩展性、高可用性和高安全性，直接从数据库中读取数据，进行地理位置分布和产品类别的深入分析。

## 项目目标

我们的目标是通过以下两个主要分析来实现对中欧地理标志产品的全面理解：

- **地理位置分布分析**：研究产品在地理上的分布情况，揭示不同地区的特色和优势。
- **产品类别分析**：对产品进行分类，分析各类产品的特点和市场表现。

## 项目应用及版本
- Hive:3.1.2
- python:3.12
- conda:3
- pymongo:latest

## 安装教程
1. 安装Hadoop和Hive:请参考官方文档进行安装。
2. 安装Python和相关库：请使用pip命令或conda命令进行安装。


## 文件夹说明

- **HiveUpdate**：包含用于数据预处理的SQL脚本。
- **NewData**：用于存放预处理过程中生成的数据表。
- **ToMongo**：包含将数据存储到MongoDB的Python代码。
- **TransformData**：存放从ADS数仓层下载下来的JSON格式数据文件。

## 参与贡献

我们欢迎任何形式的贡献，无论是代码、文档还是建议。请通过以下方式参与：

- 提交Pull Request
- 在Issues中提出建议或报告问题
- 加入我们的开发社区，共同讨论项目进展

---