# ICExpertCrawler
**Repository Path**: HTMLgtMK/icexpert-crawler
## Basic Information
- **Project Name**: ICExpertCrawler
- **Description**: 集成电路领域专家信息爬虫
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-04-29
- **Last Updated**: 2021-06-18
## Categories & Tags
**Categories**: Uncategorized
**Tags**: None
## README
# 集成电路领域专家信息爬虫
---
## 国内高校 信息爬虫
985 工程学校名单：
- [x] 北京大学
- [ ] 中国人民大学：没有集成电路/微电子相关的院系
- [x] 清华大学
- [x] 北京航空航天大学
- [ ] 北京理工大学：禁止校外访问。
- [ ] 中国农业大学：电子与信息系，非集成电路、微电子相关。
- [ ] 北京师范大学：新材料研究院，不能访问。
- [ ] 中央民族大学：信息工程学院
- [x] 南开大学
- [x] 天津大学
- [x] 大连理工大学
- [ ] 东北大学
- [ ] 吉林大学
- [x] 哈尔滨工业大学
- [x] 复旦大学
- [x] 同济大学
- [x] 上海交通大学
- [ ] 华东师范大学
- [x] 南京大学
- [ ] 东南大学
- [x] 浙江大学
- [x] 中国科学技术大学
- [ ] 厦门大学
- [ ] 山东大学
- [ ] 中国海洋大学
- [ ] 武汉大学
- [ ] 华中科技大学
- [ ] 湖南大学
- [ ] 中南大学
- [ ] 国防科学技术大学
- [ ] 中山大学
- [ ] 华南理工大学
- [ ] 四川大学
- [ ] 电子科技大学
- [ ] 重庆大学
- [ ] 西安交通大学
- [ ] 西北工业大学
- [ ] 西北农林科技大学
- [ ] 兰州大学
---
2021.05.12
南开, 天津, 大连理工, 哈工大（深圳）, 复旦, 同济, 上海交大, 南京, 浙江, 中科大
---
2021.05.09
南京大学教师信息基本完成，未写入数据库。
---
2021.05.08
清华大学教授信息基本完成，未写入数据库。
北京航空航天大学教授信息基本完成，未写入数据库。
中国人民大学，没有集成电路/微电子相关的院系。
北京理工大学，禁止校外访问。。
---
2021.05.06
北京大学教授信息基本完成，未写入数据库。
---
## Aminer 信息爬虫
2021.04.27
1. 创建项目
2. 完成了 列表(iclr) 信息的抓取
3. 完成了 专家(expert) 信息的抓取
2021.04.28
1. 翻页
2. 不同查询词查询，对已查询的查询词不再查询
3. 存储数据到数据库
TODO list:
- [x] 对专家列表抓取
- [x] 对专家详情页面抓取
- [x] 对相同的关键词，进行翻页处理
- [x] 对不同的关键词，依次查询
- [x] 存储抓取的专家信息到数据库
- [ ] 专家论文信息接口：
```
https://apiv2.aminer.cn/magic?a=GetPersonPubs__person.GetPersonPubs___
Request Method: POST
Content-Type: application/json; charset=utf-8
Authorization: eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJzdWIiOiIyLWhNS3NqTUVqa1ZGYTJZNnRcL3JmcW9QV2FEK0ErUGdyTW1Hb0FKRlZzSFp0QllkbnRqczRtMEZiOEhuZ2lZa3BWN1hMV3c5eFwvbEEySExMeDh3OGxDY1FRN3FQRWVVT3l5M0tJS0NJQ2NoU0hMIiwidWlkIjoiNjA4Nzc3OWM0Yzc3NWUwNDk3ZjdiYTgzIiwic3JjIjoiYW1pbmVyIiwicm9sZXMiOltdLCJpc3MiOiJhcGkuYW1pbmVyLm9yZyIsImV4cCI6MTYyMjA4MzUyMSwiaWF0IjoxNjE5NDkxNTIxLCJqdGkiOiIyNDIzM2ZmZDY2MDIwNjE0MWFlYjk1YTYwY2QyMzI3YmI2MDc4M2IxNDdlOTdlNzhlYzI3ODM5MDg2ODJhMDQxNmEzYzBjZWQ5NDYxZWY3NGQ2ZmMzYTE0YTc2NmJkOGRkYzUwN2M5NmNjNDIzMWU3ZDQ3YjcyNDhlNDJiNDNiY2MyOWRjZTcyYjI5OGQzY2FiMzE2MDEzNzY1ZmVkZDUwMDI2NjBlNjU4NjBjNjY4NGI2ZWM0YzU2NGMyNmUzYWIxYTNhYmZkYjkwYTEzMjJlNmMxYWI3MjE0NjJlYWQ0OTc5NjlkZGIyZjkxZDllMjNhZTYwOTFhNmRjMGI1ZWVjIiwiZW1haWwiOiJHVF9HYW1lRW1haWxAMTYzLmNvbSJ9.foWRRi2348H0G8tFkLWkR9VGF00gxZlFvVXizEgrE24
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36 Edg/90.0.818.46
parameters: [{"action":"person.GetPersonPubs","parameters":{"offset":40,"size":20,"sorts":["!year"],"ids":["53f426c4dabfaec09f0d5401"],"searchType":"all"},"schema":{"publication":["id","year","title","title_zh","authors._id","authors.name","authors.name_zh","num_citation","venue.info.name","venue.volume","venue.info.name_zh","venue.issue","pages.start","pages.end","lang","pdf","doi","urls","versions"]}}]
```