简介
BaiduyunSpider,是基于轻量级的PHP框架Codeigniter+Python开发的一套百度百度云盘搜索引擎爬虫程序。包含百度云网盘爬虫、网站前后端、搜索,整套服务。
这是一套非常不错的程序,可以用来采集百度云盘分享的种子、文档、电影、音乐、小说、教程等等。在这里我就不多说了,你们懂的……更多功能大家可以看演示网站。
- 网站: PHP Codeigniter
- 爬虫:Python
- 搜索引擎:Xunsearch
- 数据库:MySql
主要功能介绍:
- 分布式爬虫
- 爬虫IP代理
- Web 控制面板
- 死链检测
- 重构爬虫 => 采用Node.js
- 使用 elasticsearch 搜索引擎