Modzy Labs

Formation à la sécurité des données

L'efficacité et la puissance prédictive des modèles d'apprentissage machine dépendent fortement de la qualité des données utilisées pendant la phase de formation. Dans la plupart des scénarios du monde réel, les modèles sont formés à l'aide de données spécifiques au domaine fournies par des sources connues et fiables. Cependant, toutes les sources de données ne sont pas connues et bienveillantes ; certaines ont un caractère contradictoire et visent à corrompre la façon dont les modèles font leurs prévisions. Par exemple, des utilisateurs malveillants peuvent empoisonner les données utilisées pour la formation d'un modèle d'apprentissage machine en injectant de faux échantillons dans l'ensemble des données de formation. Par conséquent, la sécurité et l'authentification des données de formation doivent être considérées comme une étape cruciale dans le processus de formation, de test et de développement des modèles d'apprentissage machine. Chez Modzy, nous avons développé une solution unique qui filtre intelligemment les points de données non propres avant que les données ne soient envoyées au modèle d'apprentissage machine afin de garantir la qualité et la sécurité des ensembles de données de formation et de test.

Ce que vous devez savoir sur les attaques antisémites et les données de formation

Un ensemble de travaux dans la communauté de recherche sur l'apprentissage machine souligne l'efficacité des attaques par empoisonnement des données pour dégrader les performances des modèles d'apprentissage machine [1, 2]. Dans ces attaques, l'attaquant vise à manipuler la performance d'un modèle en insérant des instances de poison soigneusement construites dans les données. Par exemple, les attaques par grenouille empoisonnée sont un type d'attaque où les instances empoisonnées sont introduites dans l'ensemble de données d'apprentissage d'une manière conçue de telle sorte qu'après l'apprentissage, le modèle est incapable de classer correctement des instances spécifiques appartenant à une classe d'objets spécifique [2]. Dans un autre cadre d'attaque appelé attaques par porte dérobée, l'attaquant a le contrôle d'une partie des données et peut exploiter cette partie pour forcer le modèle à prendre des décisions basées sur ce que l'attaquant désire [3], transformant le modèle en logiciel malveillant. Par exemple, un attaquant peut apprendre à un classificateur de logiciels malveillants que si une certaine chaîne est présente dans un fichier, ce fichier doit être marqué comme bénin. Cela signifie que l'attaquant peut maintenant composer des fichiers de logiciels malveillants, y compris la chaîne spécifique quelque part dans le fichier, qui seront étiquetés comme bénins par le classificateur.

Traditionnellement, la sécurité informatique se concentrait sur la protection d'un système contre les agresseurs en consolidant les frontières entre le système et le monde extérieur [4]. Cependant, la partie la plus critique de tout processus d'apprentissage machine est la formation et les données de test qui proviennent directement du monde extérieur, ce qui inclut la sécurité des données de formation et de test. Étant donné que la plupart des modèles d'apprentissage machine sont soit formés sur des données utilisateur, soit testés sur celles-ci, un attaquant peut facilement injecter des données malveillantes pour affecter les performances du modèle d'apprentissage machine [5]. De plus, comme l'apprentissage par transfert devient un outil de plus en plus utilisé dans la formation des modèles d'apprentissage machine dans différentes applications, ces types d'attaques basées sur les données peuvent être transférés d'un modèle à l'autre facilement et se propager rapidement de manière discrète. La possibilité de telles attaques nous pousse à définir la sécurité des données de formation comme une partie fondamentale de toute science des données et du processus d'apprentissage machine à Modzy.

Approche modzy de la formation à la sécurité des données

La sécurité est au cœur de la plate-forme Modzy. Chez Modzy, nous prenons très au sérieux la sécurité et l'authentification des ensembles de données et des données utilisées pendant la formation et l'inférence, car c'est une préoccupation majeure pour de nombreux clients que nous servons. Nos scientifiques ont développé une nouvelle approche pour détecter les points de données dans les ensembles de données d'entraînement et de test qui ont été manipulés par des adversaires. Ce cadre de détection agit comme un filtre sur les données pendant la formation et l'inférence pour détecter les cas de données empoisonnées avant qu'elles n'arrivent au modèle. Notre modèle de détection consiste en une nouvelle architecture qui utilise les réseaux résiduels (ResNet) et a été formé sur un large ensemble de données adverses pour détecter les points de données empoisonnés par une variété de méthodologies d'attaque différentes. Ce modèle peut détecter des données empoisonnées en apprenant comment les points de données adverses se comportent à l'intérieur d'un modèle d'apprentissage machine. L'une des propriétés les plus intéressantes de notre solution de détection est sa capacité à transférer d'un ensemble de données à un autre. En d'autres termes, notre solution de détection peut détecter des entrées contradictoires pour toute une série d'applications, d'ensembles de données et d'architectures de modèles. Cela signifie que notre solution de détection modulaire peut être attachée à une variété de modèles d'apprentissage machine pour augmenter les capacités défensives et la robustesse des modèles contre une série d'attaques adverses différentes.

Ce que cela signifie pour vous

L'apprentissage machine étant de plus en plus utilisé pour les processus décisionnels consécutifs dans des environnements critiques, la protection des modèles contre les attaques adverses devient de plus en plus importante. Pour ce faire, nous devons d'abord comprendre les différents types d'attaques adverses pendant la formation et l'inférence. Un aspect de cette protection consiste à authentifier et à garantir la sécurité des données de formation avant le début de la formation, et également à protéger les points de données d'entrée avant qu'ils ne soient introduits dans le modèle pendant l'inférence. La plupart des modèles d'apprentissage machine ont été conçus à l'origine sans aucun souci de sécurité et de robustesse contre les attaques, mais les chercheurs dans ce domaine ont depuis identifié plusieurs types d'attaques sous le parapluie de l'apprentissage machine accusatoire ; tous ces éléments peuvent grandement compromettre l'utilité des modèles d'apprentissage machine. Il est d'une importance capitale que tout pipeline d'apprentissage machine utilisé pour la formation, les tests et le développement de modèles soit conçu de manière à prendre en compte la sécurité des données de formation et d'inférence. Les scientifiques de Modzy's travaillent activement au développement de meilleures solutions défensives et à l'application de ces solutions à la formation et au développement de tous les modèles AI de Modzy's.

 

Postes connexes

 

Références

  • Biggio, Battista, Blaine Nelson et Pavel Laskov. "Poisoning attacks against support vector machines", préimpression arXiv:1206.6389 (2012).
  • Shafahi, Ali, et al. "Poison frogs ! a ciblé les attaques d'empoisonnement par étiquette propre sur les réseaux neuronaux." Progrès dans les systèmes de traitement de l'information neuronale. 2018.
  • Chen, Xinyun, et al. "Targeted backdoor attacks on deep learning systems using data poisoning", arXiv preprint arXiv:1712.05526 (2017).
  • Bishop, Matthew A. "L'art et la science de la sécurité informatique". (2002).
  • Steinhardt, Jacob, Pang Wei W. Koh, et Percy S. Liang. "Défenses certifiées pour les attaques d'empoisonnement de données." Progrès dans les systèmes de traitement de l'information neuronale. 2017.
Rester à jour
Partager cette page
Partager sur facebook
Partager sur twitter
Partagez sur linkedin
Partager sur le courrier électronique
Mises à jour récentes

Obtenir des détails sur le programme Quick Start