Modzy Labs

Entrenamiento de seguridad de datos

La eficacia y el poder de predicción de los modelos de aprendizaje por máquina dependen en gran medida de la calidad de los datos utilizados durante la fase de entrenamiento. En la mayoría de los escenarios del mundo real, los modelos se entrenan utilizando datos específicos del dominio proporcionados por fuentes conocidas y de confianza. Sin embargo, no todas las fuentes de datos son conocidas y benévolas; algunas tienen un carácter adversario y tienen por objeto corromper la forma en que los modelos hacen sus predicciones. Por ejemplo, los usuarios malintencionados pueden envenenar los datos utilizados para el entrenamiento de un modelo de aprendizaje de máquinas inyectando muestras falsas en el conjunto de datos de entrenamiento. Por consiguiente, la seguridad y la autenticación de los datos de capacitación deben considerarse un paso crucial durante el proceso de capacitación, ensayo y desarrollo de los modelos de aprendizaje automático. En Modzy hemos desarrollado una solución única que filtra de forma inteligente los puntos de datos sucios antes de que los datos se envíen al modelo de aprendizaje automático para garantizar la calidad y la seguridad de los conjuntos de datos de entrenamiento y prueba.

Lo que necesita saber sobre los ataques adversos y los datos de entrenamiento

Un conjunto de trabajos en la comunidad de investigación de aprendizaje de máquinas señala la eficacia de los ataques de envenenamiento de datos en la degradación del rendimiento de los modelos de aprendizaje de máquinas [1, 2]. En estos ataques, el atacante pretende manipular el rendimiento de un modelo insertando instancias de envenenamiento cuidadosamente construidas en los datos. Por ejemplo, los ataques de rana envenenada son un tipo de ataque en el que las instancias envenenadas se introducen en el conjunto de datos de entrenamiento de forma diseñada para que, después del entrenamiento, el modelo sea incapaz de clasificar correctamente las instancias específicas que pertenecen a una clase de objeto específica [2]. En otro marco de ataque llamado ataques de puerta trasera, el atacante tiene control sobre una parte de los datos y puede aprovechar esa parte para forzar al modelo a tomar decisiones basadas en lo que el atacante desea [3], convirtiendo el modelo en malware. Por ejemplo, un atacante puede enseñar a un clasificador de malware que si una determinada cadena está presente en un archivo, éste debe ser etiquetado como benigno. Esto significa que el atacante puede componer ahora archivos de malware, incluida la cadena específica en algún lugar del archivo, que será etiquetada como benigna por el clasificador.

Tradicionalmente, la seguridad informática se centraba en la protección de un sistema contra los atacantes solidificando los límites entre el sistema y el mundo exterior [4]. Sin embargo, la parte más crítica de cualquier proceso de aprendizaje de una máquina es la formación y los datos de prueba que vienen directamente del mundo exterior, lo que incluye la seguridad de los datos de formación y prueba. Dado que la mayoría de los modelos de aprendizaje automático se entrenan con los datos del usuario o se prueban con ellos, un atacante puede inyectar fácilmente datos malintencionados para afectar el rendimiento del modelo de aprendizaje automático [5]. Además, a medida que el aprendizaje por transferencia se convierte en una herramienta más común utilizada en la formación de los modelos de aprendizaje automático en diferentes aplicaciones, estos tipos de ataques basados en datos pueden transferirse de un modelo a otro fácilmente y propagarse rápidamente de manera discreta. La posibilidad de esos ataques nos lleva a definir la seguridad de los datos de capacitación como parte fundamental de cualquier proceso de ciencia de los datos y de aprendizaje automático en Modzy.

Enfoque Modzy de la seguridad de los datos de entrenamiento

La seguridad está en el corazón de la plataforma Modzy. En Modzy, nos tomamos muy en serio la seguridad y la autenticación de los conjuntos de datos y los datos utilizados durante el entrenamiento y la inferencia, porque es de suma importancia para muchos de los clientes a los que servimos. Nuestros científicos de datos desarrollaron un nuevo enfoque para detectar puntos de datos en el entrenamiento y probar conjuntos de datos que fueron manipulados por adversarios. Este marco de detección actúa como un filtro en los datos durante el entrenamiento y la inferencia para detectar los casos de datos envenenados antes de que lleguen al modelo. Nuestro modelo de detección consiste en una novedosa arquitectura que utiliza redes residuales (ResNet) y fue entrenado en un gran conjunto de datos de adversarios para detectar puntos de datos envenenados por una variedad de diferentes metodologías de ataque. Este modelo puede detectar datos envenenados aprendiendo cómo se comportan los puntos de datos adversos dentro de un modelo de aprendizaje de máquina. Una de las propiedades más interesantes de nuestra solución de detección es su capacidad de transferencia de un conjunto de datos a otro. En otras palabras, nuestra solución de detección puede detectar entradas de adversarios para una serie de aplicaciones, conjuntos de datos y arquitecturas de modelos. Esto significa que nuestra solución de detección modular puede ser acoplada a una variedad de modelos de aprendizaje de máquinas para aumentar las capacidades defensivas y la robustez de los modelos contra una gama de diferentes ataques adversarios.

Lo que esto significa para ti

A medida que el aprendizaje automático se utiliza cada vez más para los procesos de toma de decisiones consecuentes en entornos de misión crítica, la protección del modelo contra los ataques de los adversarios adquiere cada vez más importancia. Para ello, primero debemos comprender los diversos tipos de ataques adversarios tanto durante el entrenamiento como en la inferencia. Uno de los aspectos de esta protección es autenticar y garantizar la seguridad de los datos de la formación antes de que ésta comience, y también proteger los puntos de datos de entrada antes de que se introduzcan en el modelo durante la inferencia. La mayoría de los modelos de aprendizaje automático se diseñaron originalmente sin preocuparse por la seguridad y la robustez contra los ataques, pero los investigadores en este campo han identificado desde entonces varios tipos de ataques en el marco del aprendizaje automático de la adversidad; todos ellos pueden socavar en gran medida la utilidad de los modelos de aprendizaje automático. Es de suma importancia que todo conducto de aprendizaje automático utilizado para la capacitación, el ensayo y la elaboración de modelos esté diseñado para tener en cuenta la seguridad tanto de los datos de capacitación como de los de inferencia. Los científicos de datos de Modzy están trabajando activamente en el desarrollo de mejores soluciones defensivas y en la aplicación de estas soluciones a la formación y el desarrollo de todos los modelos de Modzy AI .

 

Mensajes relacionados

 

Referencias

  • Biggio, Battista, Blaine Nelson y Pavel Laskov. "Ataques de envenenamiento contra las máquinas de vector de apoyo". preimpresión arXiv arXiv:1206.6389 (2012).
  • Shafahi, Ali, y otros. "¡Ranas venenosas! Apuntaron a ataques de envenenamiento de etiqueta limpia en las redes neuronales". Avances en los sistemas de procesamiento de información neuronal. 2018.
  • Chen, Xinyun, et al. "Ataques dirigidos a sistemas de aprendizaje profundo mediante envenenamiento de datos". preimpresión arXiv arXiv:1712.05526 (2017).
  • Obispo, Matthew A. "El arte y la ciencia de la seguridad informática". (2002).
  • Steinhardt, Jacob, Pang Wei W. Koh, y Percy S. Liang. "Defensas certificadas para ataques de envenenamiento de datos". Avances en los sistemas de procesamiento de información neural. 2017.
Manténgase al día
Comparte esta página
Compartir en facebook
Compartir en twitter
Compartir en linkedin
Compartir en el correo electrónico
Actualizaciones recientes

Obtenga detalles sobre el Programa de Inicio Rápido