# crawl_spider

**Repository Path**: yuejiee/crawl_spider

## Basic Information

- **Project Name**: crawl_spider
- **Description**: 存放主流网站的普通爬虫程序以及js逆向爬虫程序
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 1
- **Created**: 2024-06-23
- **Last Updated**: 2025-11-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

### 不可视他人之得为我之失，学会在自己的世界收获幸福！

## python爬虫集合
    涵盖大量主流网站，包括普通网站数据获取（cose&tasd）以及js逆向（reverse_js）

&仅为爱好，有空就更&

### 框架
- scrapy

### 自动化
- selenium
- pyppeter
  
### 逆向
- md5
- aes
- rea
- base64
- 逆向demo

### 数据库
- mysql
- mongodb
- redis

### 数据分析
- pandas

### 可视化
- pyecharts

### 异步
- 进程
- 线程
- 协程