NtopNG : début d'analyse des données

Soumis par drupal_admin le mer 03/08/2016 - 20:28

J'ai installé NtopNG, par le paquet Debian généré, sur la machine qui me sert de frontal internet et j'ai commencé à analyser un peu les données enregistrées. D'abord, ça crache épais, je suis actuellement seul à la maison et donc le trafic est un réduit. Quelques procédures exemples sont téléchargeables en fin de page.
Le petit ordre SQL suivant donne un comptage sans prétentions :

SELECT DAY(from_unixtime(FIRST_SWITCHED)),count(*)
 FROM ntopng.flowsv4
group by 1

Ramène :
2   22037
3   77469

On est le 3 août vers 20h00 et j'ai démarré le zinzin hier soir, j'ai bossé toute la journée ... et quand même plus de 100000 flux enregistrés !
J'ai aussi extrait les adresses IP et j'ai crée une table  IP,PAYS,AS,nom de domaine (voir en fin de page les liens de téléchargement) .... sur ces deux jours j'ai déjà "repéré" plus de 1700 adresses différentes ... provenant de 88 pays. Quand on parle de mondialisation ...
Bien sûr certains pays sont représentés par une seule adresse. Le petit tableau suivant montre les pays pour lesquels j'ai "collecté" plus de 10 adresses ... :

+---------+----------+
| CODPAYS | count(*) |
+---------+----------+
| US      |      535 |
| CN      |      133 |
| FR      |      122 |
| VN      |       94 |
| BR      |       94 |
| RU      |       79 |
| KR      |       64 |
| TW      |       63 |
| NL      |       60 |
| IN      |       36 |
| EU      |       34 |
| DE      |       30 |
| JP      |       28 |
| RO      |       24 |
| CO      |       22 |
| TR      |       21 |
| MX      |       17 |
| UA      |       16 |
| ES      |       13 |
| PL      |       12 |
| GB      |       12 |
| CA      |       12 |
| ID      |       12 |
| IT      |       10 |

C'est déjà pas mal.

Les Chinois, les russes et les vietnamiens sont systématiquement bloqués par le pare-feu, mais NtopNG enregistre toutes les connexions. Attendons 23:59 pour avoir une journée complète.
Il est 23:59, statistique sur une journée complète.

0 8397
1 3163
2 3089
3 2868
4 2833
5 2837
6 3379
7 3708
8 3598
9 4376
10 3219
11 3748
12 3702
13 3264
14 2981
15 3591
16 3012
17 3555
18 3944
19 5051
20 5830
21 5261
22 5740
23 6896

Visiblement il n'y a pas d'heures pour les braves, il y en a toute la journée.

Télécharger les scripts :
La création de la table IPV4_DOMAINE, renommez le en ".sql" pour faire bien !
La création des index complémentaires sur la table "flowsv4", idem pour le ".sql"
Le script bash "MAJ_DOMAINE" à renommer en .sh  (nécessite le script DNS_RES)
Le script bash DNS_RES à renommer en .sh, qui cherche les PAYS,noms DNS, FAI à intégrer dans la base.
Ce dernier script nécessite l'installation des outils "geoip".