AIL-Framework:潜在信息泄露分析框架

摘要

AIL-Framework:潜在信息泄露分析框架

AIL是一个用于分析潜在的信息泄露的模块化框架,主要针对非结构化的数据资源,如Pastebin网站的粘贴数据等。AIL-Framework十分灵活,可以支持采集敏感数据的其他功能。

AIL-Framework:潜在信息泄露分析框架

图一 AIL-Framework截图展示

AIL-Framework:潜在信息泄露分析框架

图二 AIL-Framework截图展示

功能

处理结构化或非结构化数据流的模块结构

 默认支持外部ZMQ feeds,例如CIRCL或其他供应商提供的feeds

每个模块都可以再处理AIL已经处理过的数据

检测和提取URL,包括地理位置(如IP地址)

提取和验证潜在的信用卡号的泄露

提取和验证邮箱地址泄露,包括DNS MX验证

提取Tor的.onion地址(用于进一步分析)

提取和验证潜在的域名

全局索引模块用于索引非结构化信息

多个用于提取电话号码、证书及其他信息的模块

安装

在命令行中输入以下命令,AIL-Framework就可以自动安装并启动:

git clonehttps://github.com/CIRCL/AIL-framework.git

cd AIL-framework

./installing_deps.sh

cd var/www/

./update_thirdparty.sh

cd~/AIL-framework/

../AILENV/bin/activate

cd bin/

./LAUNCH.sh

默认的installing_deps.sh文件是基于Debian和Ubuntu的,针对Archlinux,只需使用installing_deps_archlinux.sh将其替换即可。另外,Travis文件支持AIL在其他系统的自动化安装。

启动AIL网站界面

启动网站界面,首先需要获取Javascript/CSS文件:

cd $AILENV

cd var/www/

bashupdate_thirdparty.sh

然后启动python脚本:

cd $AILENV

cd var/www/

Flask_server.py

最后,用户便可以在下面的URL中查看AIL-Framework网站的状态

如何创建新模块

如果用户想要创建新的进程或分析模块,以下为简单的创建步骤:

1、在./bin/packages/modules.cfg文件中添加模块名称,将‘subscribe’值设为Redis_Global;

2、使用./bin/template.py作为样板模块,使用modules.cfg配置中的新模块名在bin/目录下创建文件。

Redis和LevelDB数据库概览

Redis on TCP port 6379 – DB 1 – Paste meta-data

DB 0 – Cache hostname/dns

Redis on TCP port 6380 – Redis Pub-Sub only

Redis on TCP port 6381 – DB 0 – Queue and Paste content LRU cache

LevelDB on TCP port – Lines duplicate

LICENSE

Copyright (C) 2014 Jules Debra

Copyright (C) 2014-2016 CIRCL – Computer Incident Response CenterLuxembourg (c/o smile, security made in Lëtzebuerg, Groupement d’IntérêtEconomique)

Copyright (c) 2014-2016 Raphaël Vinot

Copyright (c) 2014-2016 Alexandre Dulaunoy

 

This program is free software: you can redistribute it and/or modify

it under the terms of the GNU Affero General Public License aspublished by

the Free Software Foundation,either version 3 of the License, or

(at your option) any later version.

 

This program is distributed in the hope that it will be useful,

but WITHOUT ANY WARRANTY; without even the implied warranty of

MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

GNU Affero General Public License for more details.

 

You should have received a copy of the GNU Affero General PublicLicense

along with this program.  Ifnot, see <http://www.gnu.org/licenses/>.

原文地址:github,vul_wish编译,转载请注明来自FreeBuf黑客与极客(FreeBuf.COM)

AIL是一个用于分析潜在的信息泄露的模块化框架,主要针对非结构化的数据资源,如Pastebin网站的粘贴数据等。AIL-Framework十分灵活,可以支持采集敏感数据的其他功能。

图一 AIL-Framework截图展示

图二 AIL-Framework截图展示

功能

处理结构化或非结构化数据流的模块结构

 默认支持外部ZMQ feeds,例如CIRCL或其他供应商提供的feeds

每个模块都可以再处理AIL已经处理过的数据

检测和提取URL,包括地理位置(如IP地址)

提取和验证潜在的信用卡号的泄露

提取和验证邮箱地址泄露,包括DNS MX验证

提取Tor的.onion地址(用于进一步分析)

提取和验证潜在的域名

全局索引模块用于索引非结构化信息

多个用于提取电话号码、证书及其他信息的模块

安装

在命令行中输入以下命令,AIL-Framework就可以自动安装并启动:

git clonehttps://github.com/CIRCL/AIL-framework.git

cd AIL-framework

./installing_deps.sh

cd var/www/

./update_thirdparty.sh

cd~/AIL-framework/

../AILENV/bin/activate

cd bin/

./LAUNCH.sh

默认的installing_deps.sh文件是基于Debian和Ubuntu的,针对Archlinux,只需使用installing_deps_archlinux.sh将其替换即可。另外,Travis文件支持AIL在其他系统的自动化安装。

启动AIL网站界面

启动网站界面,首先需要获取Javascript/CSS文件:

cd $AILENV

cd var/www/

bashupdate_thirdparty.sh

然后启动python脚本:

cd $AILENV

cd var/www/

Flask_server.py

最后,用户便可以在下面的URL中查看AIL-Framework网站的状态

如何创建新模块

如果用户想要创建新的进程或分析模块,以下为简单的创建步骤:

1、在./bin/packages/modules.cfg文件中添加模块名称,将‘subscribe’值设为Redis_Global;

2、使用./bin/template.py作为样板模块,使用modules.cfg配置中的新模块名在bin/目录下创建文件。

Redis和LevelDB数据库概览

Redis on TCP port 6379 – DB 1 – Paste meta-data

DB 0 – Cache hostname/dns

Redis on TCP port 6380 – Redis Pub-Sub only

Redis on TCP port 6381 – DB 0 – Queue and Paste content LRU cache

LevelDB on TCP port – Lines duplicate

LICENSE

Copyright (C) 2014 Jules Debra

Copyright (C) 2014-2016 CIRCL – Computer Incident Response CenterLuxembourg (c/o smile, security made in Lëtzebuerg, Groupement d’IntérêtEconomique)

Copyright (c) 2014-2016 Raphaël Vinot

Copyright (c) 2014-2016 Alexandre Dulaunoy

 

This program is free software: you can redistribute it and/or modify

it under the terms of the GNU Affero General Public License aspublished by

the Free Software Foundation,either version 3 of the License, or

(at your option) any later version.

 

This program is distributed in the hope that it will be useful,

but WITHOUT ANY WARRANTY; without even the implied warranty of

MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the

GNU Affero General Public License for more details.

 

You should have received a copy of the GNU Affero General PublicLicense

along with this program.  Ifnot, see <http://www.gnu.org/licenses/>.

原文地址:github,vul_wish编译,转载请注明来自FreeBuf黑客与极客(FreeBuf.COM)

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: