注意: 为支持中国VY开源社区的许可证, 1.0.3版本开始blackspider从BSD许可证更换为VY通用许可证

环境搭建

Blackspider 是由python3构建的网站关键词抓取工具, 可以通过获取源码后直接执行, 其中Blackspider使用到第三方库如下:

• urllib3

• beautifulsoup

• colorama (主要对windows的色彩环境进行初始化, 可选安装)

• lxml (xml文件解析器, 设置get_tag函数变量feature="xml"时需要该库支持, 可选安装)

以下为windows与linux的环境搭建方式:

windows搭建

• 请确认电脑上已经配置好python环境与pip工具包

  • 在终端(例如:powershell)中输入python --version以检验python环境是否安装成功;

  • 在终端(例如:powershell)中输入pip --version以检验可以正常使用python的工具包管理工具.

• 安装所需第三方库

  • 在终端(例如:powershell)输入pip install urllib3 bs4以安装urllib3库与beautifulsoup库

  • 在终端(例如:powershell)输入pip list检查urllib3库与beautifulsoup库是否正常安装

• 下载代码压缩包并解压

• 在解压的文件夹中找到make.py文件, 在当前目录下运行该文件:python make.py, 按脚本进行配置.

• 使用blackspider

  • 可以直接运行blackspider.py文件

  • 或者在终端(例如:powershell)输入blackspider -f blackarch -t tr -a text -k python,xss(后缀请参见wiki:网站与参数)

  • main.py文件中大量调用了blackspider.py与Manage.py中的函数, 可仿照方法进行函数调用

linux搭建

不同linux发行版的包管理器会有部分区别, 以下主要以archlinux与debian两个主流发行版进行举例:

archlinux

• 使用前保证已经安装以下工具(使用pacman包进行安装):

  • git

  • python

  • python-beautifulsoup4

  • python-urllib3

  若还未安装可以使用以下命令安装: sudo pacman -S git python python-beautifulsoup4 python-urllib3

• git clone https://gitee.com/cryingn/blackspider.git

• python make.py

• 使用blackspider

  • 可以直接运行blackspider.py文件

  • 或者在终端(例如:powershell)输入blackspider -f blackarch -t tr -a text -k python,xss(后缀请参见wiki:网站与参数)

  • main.py文件中大量调用了blackspider.py与Manage.py中的函数, 可仿照方法进行函数调用

debian

• 使用前保证已经安装了以下工具:

  • git

  • python3

  • beautifulsoup4

  • urllib3

• git clone https://gitee.com/cryingn/blackspider.git

• python3 make.py

• 使用blackspider

  • 可以直接运行blackspider.py文件

  • 或者在终端(例如:powershell)输入blackspider -f blackarch -t tr -a text -k python,xss(后缀请参见wiki:网站与参数)

  • main.py文件中大量调用了blackspider.py与Manage.py中的函数, 可仿照方法进行函数调用

=========================================================================
'||'''|,'||`            '||     .|'''|.            ..     ||`            
 ||   || ||              ||     ||                 ''     ||             
 ||;;;;  ||  '''|. .|'', || //` `|'''|,'||''|,'||''|| .|''|| .|''|,'||''|
 ||   || || .|''|| ||    ||\{   ..   || ||  || ||  || ||  || ||..|| ||
.||...|'.||.`|..||.`|..'.|| \\. '|...|' ||..|'.||..||.`|..||.`|... .||.
                                        ||
                                       .||
地  址：https://github.com/CryingN/blackspider
        https://gitee.com/cryingn/blackspider
版本号：[当前版本号]
邮  箱：CryingNights7v@gmail.com
=========================================================================

文件描述

VY许可证说明

在不进行个人补充的情况下VY许可证又称为VY通用许可证, 公开使用时只需标注社(VYCMa.png)标或声明源码来自VYCMa, 便可以免费修改和商用素材. 对于分发问题, 为方便更多人理解, 在VY许可证中有重新定义”版权转移”概念: 他人修改源码后可以闭源, 每个修改过的文件需放置版权说明, 如果要进行公开展示需标注作者个人的标志,若作者无特殊说明需标注社标(VYCMa.png)标或声明源码来自VYCMa.

Recommended citation: 作者: CryingN
Download Paper | Download Slides