JEPA Representation Learning for Intrusion Detection on Real-World Drifting Network Traffic
Relatori: Prof. Guido Marchetto, Prof. Alessio Sacco, Dott. Cristiano Serra
Una rappresentazione appresa da traffico di rete non etichettato permette a un classificatore di intrusioni di restare più accurato che con le feature di flusso grezze su traffico registrato anni dopo?
Sviluppo in PyTorch di un modello JEPA self-supervised con un context encoder, un target encoder EMA, un predictor e il mascheramento a gruppi delle feature correlate. Preaddestramento di un encoder per anno su flussi non etichettati di traffico reale di backbone Internet degli anni 2011, 2016 e 2021 (benchmark MAWIFlow).
Confronto con le feature grezze su quattro classificatori (regressione logistica, albero decisionale, random forest, XGBoost), addestrati su ogni anno e testati su tutti gli anni (ROC-AUC, PR-AUC). Sostituzione della normalizzazione del benchmark, che faceva perdere gran parte della risoluzione delle feature.
Risultati. La rappresentazione rende le classi più linearmente separabili ma non riduce il calo tra gli anni. In-domain, una regressione logistica su di essa colma gran parte del divario di ROC-AUC rispetto a XGBoost sulle feature grezze. Le etichette del 2011 hanno un significato diverso da quelle degli anni successivi. Ho inoltre implementato i regolarizzatori VICReg e SIGReg, che non hanno migliorato i classificatori.
- Python
- PyTorch (CUDA)
- scikit-learn
- XGBoost
- Polars
- NumPy
- Matplotlib