A medida que los servicios impulsados por IA como GPT-3 de OpenAI crecen en popularidad, se convierten en un vector de ataque cada vez más atractivo. Incluso escudados detrás de una API, los piratas informáticos pueden intentar aplicar ingeniería inversa a los modelos que sustentan estos servicios o usar datos “contradictorios” para manipularlos. De acuerdo a Según Gartner, el 30 % de todos los ciberataques de IA en 2022 aprovecharán estas técnicas junto con el envenenamiento de datos, que consiste en inyectar datos incorrectos en el conjunto de datos utilizado para entrenar modelos para atacar sistemas de IA.
Como en cualquier industria, luchar contra las amenazas a la seguridad es una tarea interminable. Pero Chris Sestito afirma que su plataforma, Capa ocultapuede simplificarlo para los proveedores de IA como servicio al identificar automáticamente la actividad maliciosa en comparación con los modelos y responder a los ataques.
HiddenLayer surgió hoy de la clandestinidad con $ 6 millones en fondos iniciales de Ten Eleven Ventures, Secure Octane y otros inversores. Sestito, exdirector de investigación de amenazas en Cylance y vicepresidente de ingeniería en Qualys, cofundó la empresa hace varios meses con Tanner Burns y Jim Ballard. Burns y Ballard también trabajaron en Qualys y Cylance y pasaron tiempo juntos en BlackBerry, donde Ballard era líder del equipo de conservación de datos y Burns era investigador de amenazas.
“Prácticamente todas las organizaciones empresariales han realizado importantes contribuciones de recursos al aprendizaje automático para obtener una ventaja, ya sea que ese valor sea en forma de diferenciación de productos, generación de ingresos, ahorro de costos o eficiencias”, dijo Sestito a TechCrunch en una entrevista por correo electrónico. “Los ataques de aprendizaje automático adversarios son capaces de causar el mismo daño que hemos visto en los ataques cibernéticos tradicionales, incluida la exposición de los datos de los clientes y la destrucción de los sistemas de producción. De hecho, en HiddenLayer, creemos que no estamos lejos de ver modelos de aprendizaje automático rescatados de vuelta a sus organizaciones”.
HiddenLayer afirma que su tecnología puede defender los modelos de los ataques sin necesidad de acceder a ningún dato sin procesar ni a los algoritmos de un proveedor. Al analizar las interacciones del modelo, en otras palabras, los datos introducidos en el modelo (p. ej., una imagen de gatos) y las predicciones que genera el modelo (p. ej., el título “gatos”), para detectar patrones que podrían ser maliciosos, HiddenLayer puede trabajar de forma “no invasiva” y sin conocimiento previo de los datos de entrenamiento, dijo Sestito.
“Los ataques de aprendizaje automático adversarios no son tan ruidosos como el ransomware: hay que estar buscándolos para atraparlos a tiempo”, dijo Sestito. “HiddenLayer se ha centrado en un enfoque de investigación primero que nos permitirá publicar nuestros hallazgos y capacitar al mundo para que esté preparado”.
Mike Cook, un investigador de IA que forma parte del Cuchillos y Pinceles colectivo, dijo que no está claro si HiddenLayer está haciendo algo “verdaderamente innovador o nuevo”. (Cook no está afiliado a HiddenLayer). Aún así, señala que hay un beneficio en lo que parece estar haciendo HiddenLayer: tratar de empaquetar el conocimiento sobre los ataques a la IA y hacerlos más accesibles.
“El auge de la IA todavía está en auge, pero gran parte de ese conocimiento sobre cómo funciona el aprendizaje automático moderno y cuál es la mejor manera de usarlo todavía está reservado principalmente a personas que tienen conocimientos especializados. Ejemplos memorables para mí incluyen investigadores que logran extraer piezas individuales de datos de entrenamiento de los sistemas GPT-2 y GPT-3 de OpenAI”, dijo Cook a TechCrunch por correo electrónico. “Cuando el conocimiento experto es inaccesible y difícil de obtener, a veces todo lo que una empresa realmente necesita es proporcionar formas convenientes de obtenerlo”.
HiddenLayer actualmente no genera ingresos y no tiene clientes, aunque Sestito dice que la puesta en marcha ha contratado a varios socios de diseño de “perfil alto”. En última instancia, Cook cree que su éxito dependerá menos de la tecnología de HiddenLayer y más de si la amenaza de los ataques es tan grande como afirma la empresa.
“No sé qué tan frecuentes son los ataques a los sistemas de aprendizaje automático. [at present]. Engañar a un filtro de correo no deseado para que permita el paso de un correo electrónico es muy diferente en escala y gravedad a la extracción de datos patentados de un modelo de lenguaje grande”, dijo Cook.
Para él, es difícil precisar ejemplos del mundo real de ataques contra sistemas de IA. La investigación sobre el tema se ha disparado, con más de 1500 artículos sobre seguridad de IA publicados en 2019 en el sitio de publicaciones científicas Arxiv.org, frente a los 56 de 2016, según un estudiar de Adversara. Pero hay pocos informes públicos sobre los intentos de los piratas informáticos de, por ejemplo, atacar los sistemas comerciales de reconocimiento facial, suponiendo que tales intentos estén ocurriendo en primer lugar.
Sestito afirma que la amenaza, independientemente de su tamaño actual, crecerá con el mercado de IA, implícitamente en beneficio de HiddenLayer. Reconoce que varias startups ya ofrecen productos diseñados para hacer que los sistemas de IA sean más robustos, incluidos Robust Intelligence, CalypsoAI y Troj.ai. Pero Sestito afirma que HiddenLayer está solo en su enfoque de detección y respuesta impulsado por IA.
“PwC cree que la IA será un mercado de $15,7 billones de dólares para 2030. Tenemos que empezar a defender esta tecnología ahora”, dijo Sestito. “Nuestro mayor objetivo, con diferencia, es educar al mercado sobre esta nueva amenaza. El compromiso con la IA y el aprendizaje automático es relativamente nuevo para muchas organizaciones y pocas se han centrado en defender esos activos. Con cualquier nueva tecnología vienen nuevos vectores de ataque; esta es la misma lucha en una nueva frontera”.
HiddenLayer, con sede en Austin, Texas, tiene actualmente 11 empleados y espera terminar 2022 con 14.
Source link