Pour ce premier test sur cette "grosse" table j'ai repris un ordre SQL dont je m'étais servi pour repérer les plus gros scanneurs. Je rappelle que cette table contient des données enregistrées par Ntopng sur ma machine "pont" vers Internet. Et les scans de port sont extrêmement courants, chaque machine connectée à Internet en subit plusieurs centaines par jour.
Cet ordre examine toutes les données d'entrée qui n'ont donné lieu à aucune réponse (port fermé ou IP bloquée par le firewall) la sortie est limitée aux 20 plus "gros scanneurs".
select IP_SRC_ADDR as IP_V4,count(*) as CTR,
count(distinct L4_DST_PORT) as NBPORTS,
min(FIRST_SWITCHED) as DEBUT,max(LAST_SWITCHED) as FIN
from flowsv4
where IP_SRC_ADDR not between '192.158.1.1' and '192.168.3.255'
and OUT_BYTES = 0
group by 1
order by 2 desc
limit 20;
Et voici les résulats :
1) Pour Clickhouse :
| ┌─IP_V4───────────┬────CTR─┬─NBPORTS─┬───────────────DEBUT─┬─────────────────FIN─┐ │ 0.0.0.0 │ 133379 │ 2 │ 2016-08-02 21:20:07 │ 2022-08-27 00:13:06 │ │ 45.143.220.101 │ 80996 │ 64408 │ 2020-03-22 22:19:49 │ 2020-04-17 02:14:24 │ │ 92.63.197.23 │ 65295 │ 65295 │ 2021-09-17 22:38:39 │ 2021-09-24 05:22:53 │ │ 45.143.200.34 │ 46036 │ 25699 │ 2021-04-09 23:14:37 │ 2022-02-10 21:25:53 │ │ 173.231.60.195 │ 44355 │ 2 │ 2021-12-09 06:09:06 │ 2022-03-09 13:07:02 │ │ 92.63.197.108 │ 38179 │ 32243 │ 2021-08-22 13:29:04 │ 2021-11-25 04:31:09 │ │ 146.88.240.4 │ 37229 │ 63 │ 2019-04-11 04:59:05 │ 2022-08-26 06:02:19 │ │ 92.63.197.112 │ 36060 │ 32081 │ 2021-08-22 13:27:51 │ 2021-11-25 10:31:34 │ │ 92.63.197.110 │ 35671 │ 29999 │ 2021-08-22 13:29:24 │ 2022-07-10 12:52:55 │ │ 212.70.149.69 │ 35319 │ 1 │ 2020-10-19 04:34:22 │ 2020-12-18 12:52:19 │ │ 10.128.175.2 │ 33844 │ 1 │ 2018-06-02 05:03:16 │ 2020-07-01 12:23:01 │ │ 176.113.115.246 │ 33618 │ 32906 │ 2020-01-29 09:24:25 │ 2020-05-09 20:52:01 │ │ 212.70.149.68 │ 32400 │ 1 │ 2020-08-21 04:34:36 │ 2020-10-16 20:38:35 │ │ 185.176.27.2 │ 32322 │ 22565 │ 2018-12-06 17:13:49 │ 2020-08-12 23:43:46 │ │ 92.154.95.236 │ 31960 │ 1092 │ 2017-12-07 23:05:08 │ 2021-12-13 13:30:54 │ │ 185.156.73.91 │ 31756 │ 20609 │ 2020-10-04 03:09:37 │ 2022-08-26 23:44:13 │ │ 185.156.73.107 │ 31625 │ 25338 │ 2021-06-19 09:04:14 │ 2022-02-13 12:30:53 │ │ 195.54.166.93 │ 31183 │ 29850 │ 2020-01-15 21:46:51 │ 2020-02-17 05:38:35 │ │ 51.68.126.248 │ 30228 │ 4 │ 2020-02-25 22:40:19 │ 2020-04-06 01:24:36 │ │ 92.63.197.105 │ 29300 │ 16042 │ 2021-05-16 17:24:56 │ 2021-12-07 23:21:30 │ └─────────────────┴────────┴─────────┴─────────────────────┴─────────────────────┘ 20 rows in set. Elapsed: 6.138 sec. Processed 488.52 million rows, 18.98 GB (79.59 million rows/s., 3.09 GB/s.) |
2) Pour MariaDB :
| +-----------------+--------+---------+---------------------+---------------------+ | IP_V4 | CTR | NBPORTS | DEBUT | FIN | +-----------------+--------+---------+---------------------+---------------------+ | 0.0.0.0 | 133379 | 2 | 2016-08-02 21:20:07 | 2022-08-27 00:13:06 | | 45.143.220.101 | 80996 | 64408 | 2020-03-22 22:19:49 | 2020-04-17 02:14:24 | | 92.63.197.23 | 65295 | 65295 | 2021-09-17 22:38:39 | 2021-09-24 05:22:53 | | 45.143.200.34 | 46036 | 25699 | 2021-04-09 23:14:37 | 2022-02-10 21:25:53 | | 173.231.60.195 | 44355 | 2 | 2021-12-09 06:09:06 | 2022-03-09 13:07:02 | | 92.63.197.108 | 38179 | 32243 | 2021-08-22 13:29:04 | 2021-11-25 04:31:09 | | 146.88.240.4 | 37229 | 63 | 2019-04-11 04:59:05 | 2022-08-26 06:02:19 | | 92.63.197.112 | 36060 | 32081 | 2021-08-22 13:27:51 | 2021-11-25 10:31:34 | | 92.63.197.110 | 35671 | 29999 | 2021-08-22 13:29:24 | 2022-07-10 12:52:55 | | 212.70.149.69 | 35319 | 1 | 2020-10-19 04:34:22 | 2020-12-18 12:52:19 | | 10.128.175.2 | 33844 | 1 | 2018-06-02 05:03:16 | 2020-07-01 12:23:01 | | 176.113.115.246 | 33618 | 32906 | 2020-01-29 09:24:25 | 2020-05-09 20:52:01 | | 212.70.149.68 | 32400 | 1 | 2020-08-21 04:34:36 | 2020-10-16 20:38:35 | | 185.176.27.2 | 32322 | 22565 | 2018-12-06 17:13:49 | 2020-08-12 23:43:46 | | 92.154.95.236 | 31960 | 1092 | 2017-12-07 23:05:08 | 2021-12-13 13:30:54 | | 185.156.73.91 | 31756 | 20609 | 2020-10-04 03:09:37 | 2022-08-26 23:44:13 | | 185.156.73.107 | 31625 | 25338 | 2021-06-19 09:04:14 | 2022-02-13 12:30:53 | | 195.54.166.93 | 31183 | 29850 | 2020-01-15 21:46:51 | 2020-02-17 05:38:35 | | 51.68.126.248 | 30228 | 4 | 2020-02-25 22:40:19 | 2020-04-06 01:24:36 | | 92.63.197.105 | 29300 | 16042 | 2021-05-16 17:24:56 | 2021-12-07 23:21:30 | +-----------------+--------+---------+---------------------+---------------------+ 20 rows in set (12 min 56,412 sec) |
3) Comparaison.
Les résultats sont identiques ce qui est très bien !
La comparaison est impressionnante : 6 secondes au lieu de 776 soit quasiment 130 fois plus vite !
On voit aussi que l'adresse IP 45.143.220.101 a scanné quasiment l'intégralité des ports existants en un peu moins d'un mois (scan "lent") ou que l'IP 173.231.60.195 ne scanne que deux ports mais a effectué plus de 40000 connexions en un peu moins d'un an, cela fait quand même plus de 100 par jour.