Hace varios años, Jonathan Dambrot, socio de KPMG, estaba ayudando a los clientes a implementar y desarrollar sistemas de inteligencia artificial cuando comenzó a notar ciertas brechas en el cumplimiento y la seguridad. Según él, nadie podía explicar si su IA era segura, o incluso quién era responsable de garantizarlo.
“Básicamente, los científicos de datos no entienden los riesgos de seguridad cibernética de la IA y los profesionales cibernéticos no entienden la ciencia de datos de la misma manera que entienden otros temas en tecnología”, dijo Dambrot a TechCrunch en una entrevista por correo electrónico. “Se requerirá una mayor conciencia de estos riesgos y legislación para garantizar que estos riesgos se aborden adecuadamente y que las organizaciones tomen decisiones sobre sistemas de IA seguros y protegidos”.
La percepción de Dambrot lo llevó a proponer a KPMG Studio, el acelerador interno de KPMG, sobre la financiación e incubación de una nueva empresa de software para resolver los desafíos relacionados con la seguridad y el cumplimiento de la IA. Junto con otros dos cofundadores, Felix Knoll (un “líder de crecimiento” en KPMG Studio) y Paul Spicer (un “propietario de producto” en KPMG), y un equipo de unos 25 desarrolladores y científicos de datos, Dambrot escindió el negocio: Cráneo.
Hasta la fecha, Cranium, que se lanza de manera sigilosa hoy, ha recaudado $ 7 millones en capital de riesgo de KPMG y SYN Ventures.
“Cranium se creó para descubrir y brindar visibilidad a los sistemas de IA a nivel de cliente, proporcionar informes y monitoreo de seguridad, y crear informes de cumplimiento y visibilidad de la cadena de suministro”, continuó Dambrot. “El producto central adopta una visión más holística de la seguridad de la IA y los riesgos de la cadena de suministro. Busca abordar las brechas en otras soluciones al proporcionar una mejor visibilidad de los sistemas de IA, brindando seguridad en los principales riesgos adversos y brindando visibilidad de la cadena de suministro”.
Con ese fin, Cranium intenta mapear las tuberías de IA y validar su seguridad, monitoreando las amenazas externas. ¿Qué amenazas, preguntas? Varía, según el cliente, dice Dambrot. Pero algunos de los más comunes involucran envenenamiento (contaminar los datos en los que se entrenó una IA) y ataques basados en texto (engañar a la IA con instrucciones maliciosas).
Cranium afirma que, al trabajar dentro de un entorno de prueba y entrenamiento de modelo de aprendizaje automático existente, puede abordar estas amenazas de frente. Los clientes pueden capturar canalizaciones de IA implementadas y en desarrollo, incluidos los activos asociados involucrados a lo largo del ciclo de vida de la IA. Y pueden establecer un marco de seguridad de IA, proporcionando a sus equipos de seguridad y ciencia de datos una base para construir un programa de seguridad.
“Nuestra intención es comenzar a tener un rico repositorio de telemetría y usar nuestros modelos de IA para poder identificar riesgos de manera proactiva en nuestra base de clientes”, dijo Dambrot. “Muchos de nuestros riesgos están identificados en otros marcos. Queremos ser una fuente de estos datos a medida que comenzamos a ver una base integrada más grande”.
Eso es muy prometedor, especialmente en un momento en que surgen nuevas amenazas de IA todos los días. Y no es exactamente un concepto nuevo. Al menos otra startup, HiddenLayer, promete hacer esto, defendiendo modelos de ataques aparentemente sin la necesidad de acceder a ningún dato sin procesar o al algoritmo de un proveedor. Otros, como Robust Intelligence, CalypsoAI y Troj.ai, ofrecen una gama de productos diseñados para hacer que los sistemas de IA sean más robustos.
Cranium está empezando desde atrás, sin clientes ni ingresos de los que hablar.
El elefante en la habitación es que es difícil precisar ejemplos del mundo real de ataques contra sistemas de IA. La investigación sobre el tema se ha disparado, con más de 1500 artículos sobre seguridad de IA publicados en 2019 en el sitio de publicaciones científicas Arxiv.org, frente a los 56 de 2016, según un estudiar de Adversa. Pero hay pocos informes públicos sobre los intentos de los piratas informáticos de, por ejemplo, atacar los sistemas comerciales de reconocimiento facial, suponiendo que tales intentos estén ocurriendo en primer lugar.
Por lo que vale, el socio gerente de SYN, Jay Leek, un inversionista en Cranium, cree que hay un futuro en la solidez de la IA. No hace falta decir que, por supuesto, lo haría, dado que tiene una participación en la empresa. Aún así, en sus propias palabras:
“Hemos estado rastreando el mercado de seguridad de IA durante años y nunca sentimos que el momento fuera el adecuado”, dijo a TechCrunch por correo electrónico. “Sin embargo, con la actividad reciente sobre cómo la IA puede cambiar el mundo, Cranium se lanza con condiciones de mercado y tiempos ideales. La necesidad de garantizar una gobernanza adecuada en torno a la IA para la seguridad, la integridad, los sesgos y el uso indebido nunca ha sido más importante en todas las industrias. La plataforma Cranium infunde seguridad y confianza en todo el ciclo de vida de la IA, lo que garantiza que las empresas logren los beneficios que esperan obtener de la IA y, al mismo tiempo, se enfrenten a riesgos imprevistos”.
Cranium tiene actualmente alrededor de 30 empleados a tiempo completo. Suponiendo que el negocio se recupere, espera terminar el año con alrededor de 40 a 50.
Source link