登录 注册
开源 企业版 高校版 私有云 模力方舟
WEB应用开发
/
Web爬虫
开源许可
MulanPSL-2.0 0BSD AFL-3.0 AGPL-3.0 Apache-2.0 Artistic-2.0 BSD-2-Clause BSD-3-Clause BSD-3-Clause-Clear BSD-4-Clause BSL-1.0 CC-BY-4.0 CC-BY-SA-4.0 CC0-1.0 CECILL-2.1 CERN-OHL-P-2.0 CERN-OHL-S-2.0 CERN-OHL-W-2.0 ECL-2.0 EPL-1.0 EPL-2.0 EUPL-1.1 EUPL-1.2 GFDL-1.3 GPL-2.0 GPL-3.0 ISC LGPL-2.1 LGPL-3.0 LPPL-1.3c MIT MIT-0 MPL-2.0 MS-PL MS-RL MulanPSL-1.0 MulanPubL-1.0 MulanPubL-2.0 NCSA ODbL-1.0 OFL-1.1 OSL-3.0 PostgreSQL UPL-1.0 Unlicense Vim WTFPL Zlib
全部语言
Java JavaScript HTML CSS Python C Shell C++ TypeScript PHP C# Go Objective-C Android Kotlin Ruby Assembly Swift NodeJS Perl Dart Lua Rust Matlab 其他 PowerShell HTML/CSS Scala 微信 Groovy C/C++ XSLT Verilog R QML Pascal Docker CoffeeScript FORTRAN Erlang Emacs Lisp ActionScript SQL Smalltalk VHDL M Delphi TeX/LaTeX ASP Visual Basic Common Lisp Clojure LiveScript Awk Scheme Haskell Elixir Julia 易语言 Pawn YAML AutoHotkey OCaml Ada Puppet D Standard ML Logos XML Arduino Prolog VimL Coq 汇编 Haxe ColdFusion Vala Scilab Crystal Racket Lisp Slash Eiffel eC DOT Zephir Nemerle
Stars
Stars 最新推荐 最近更新
22570 chenrh 1652061357

红杉/node-joke

2
偿试使用node做一些事情，本项目主要有抓取互联网笑话网站内容
Nodejs
JavaScript
Web Sipder
|
over 10 years ago

yibandfeng/pandatv_danmu_spider

2
熊猫TV弹幕爬虫，爬虫结果存入kafka
Python
Web爬虫
|
接近8年前
12 mirrors 1578989292

Gitee 极速下载/nspider

2
nspider A lightweight crawling/scraping package for Node. Features: server-side DOM & auto
JavaScript
Web爬虫
|
6天前
1596251 xinxin93666 1578955520

温良恭俭让/爬虫_百度贴吧

2
爬取百度贴吧指定的信息并保存；
Python
Web爬虫
|
6年多前

诠释这低调/s-sloud-train

1
2020年最新全各大（12306、携程、去哪儿）官网爬取/解析全路客运车站/车次、时刻表信息及数据实时同步
Java
Web爬虫
|
4年多前
5065992 qicreate 1578979511

乐耀智数/auto_download_link

1
自动抓取网页中的下载地址或者种子连接保存
Python
Web Sipder
|
almost 6 years ago
1560263 peacexie 1613534436

PeaceXie/Wepy

1
Python开源 | 生活是艰难的：甚至需要爬…… 但是，微爬(Wepy)，却尽量让您轻松愉快的爬知识，爬价值，爬乐趣！
Python
Web爬虫
|
2年多前

小小懒羊羊/crawler

1
A simple and flexible web crawler framework for java. https://github.com/xbynet/crawler
Java
Web爬虫
|
接近8年前

李皇/BreeCracker

1
JavaScript
Web爬虫
|
3年多前
1215849 wildidea 1610771529

makeit.vip/miitvip-official-regions

1
根据官方权威站点，获取省 / 市 / 县 / 镇 / 街道等全面的地域数据，采用 Python 抓取，但西祠代理似乎不能使用了，可尝试修改其它代理进行处理。
Python
Web爬虫
|
4年前

irisroyalty/zeus

1
zeus采集器是一款免费的数据采集发布爬虫软件
Java
Web Sipder
|
almost 5 years ago
762135 neverusedname 1578932260

bigloser/harvester

1
爬虫框架，希望实现多线程、分布式、可监控、能够登录爬取数据的爬虫
Java
Web爬虫
|
8年前
36 ld 1578913711

红薯/NobelSpider

0
This project is used to parse the details of all the winners on the Nobel website.
Web爬虫
|
8个月前
7979379 daileyet 1598444172

daileyet/goldeneye

0
Precious metal price spider and provider service to look up
Java
Web爬虫
|
4年多前
1321049 liarmaiq 1578948874

LiarMaiq/SpiderCxx

0
A simple Net Spider with C++, using "Google Gumbo" for HTML parser and "LibCurl" for network.
Web爬虫
|
6年前
今日热门
本周热门
AJay13/ECommerceCrawlers
5K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
鬼画符/templatespider
3.4K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
calvinwilliams/simspider
119
C语言接口的网络爬虫函数库
zorlan/蓝天采集器
867
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
Vanishi/DS
337
一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。
鬼画符/templatespider
3.4K
扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！
AJay13/ECommerceCrawlers
5K
实战多种网站、电商数据爬虫。包含：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目:
kanasimi/work_crawler
96
小说漫画下载工具:腾讯漫画 大角虫漫画 有妖气 知音漫客 咪咕 SF漫画 哦漫画 看漫画 漫画柜 漫画160 汗汗酷漫 動漫伊甸園 网易漫画 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 動漫狂 卡推漫画 动漫之家 动漫屋 土豪漫画 古风漫画网 36漫画网 亲亲漫画网 360漫画 乙女漫画 comico webtoons 咚漫 OVERLAP MAGCOMI ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 卡提諾論壇 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub. Download online novels, comics. 小說漫畫下載
coderhxl/x-crawl
19
x-crawl 是一个灵活的 Node.js AI 辅助爬虫库。使爬虫工作变得更加高效、智能和便捷。
xiaominger/StockCrawler
11
股票数据采集器
calvinwilliams/simspider
119
C语言接口的网络爬虫函数库
zorlan/蓝天采集器
867
蓝天采集器是一款开源免费的爬虫系统，仅需点选编辑规则即可采集数据，可运行在本地、虚拟主机或云服务器中，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统
朱平齐/RuiJi.Net
136
RuiJi.Net是一个.net分布式抓取、提取框架。支持分布式下载，分布式提取及cookie自管理。RuiJi.Net可以通过轮询使用服务器上IP地址和代理服务器的形式进行抓取操作
tikazyq/crawlab
801
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
ecitlm/Node-SpliderApi
558
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
点此查找更多帮助

搜索帮助

Git 命令在线学习 如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大，如何减小？
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release（发行版）
将 PHP 项目自动发布到 packagist.org
回到顶部