Con sede en Estonia Centinelaque está desarrollando una plataforma de detección para identificar medios sintetizados (también conocidos como deepfakes), ha cerrado una ronda inicial de $ 1,35 millones de algunos inversores ángeles experimentados, incluidos Jaan Tallinn (Skype), Taavet Hinrikus (TransferWise), Ragnar Sass y Martin Henk (Pipedrive) – y la firma de capital de riesgo en etapa inicial de los países bálticos, United Angels VC.
El desafío de crear herramientas para detectar falsificaciones profundas se ha comparado con una carrera armamentista, más recientemente por parte del gigante tecnológico Microsoft, que a principios de este mes lanzó una herramienta de detección con la esperanza de ayudar a detectar la desinformación destinada a las elecciones estadounidenses de noviembre. “El hecho de que [deepfakes are] generado por IA que puede seguir aprendiendo hace inevitable que superen a la tecnología de detección convencional”, advirtió, antes de sugerir que todavía tiene valor a corto plazo tratar de desacreditar las falsificaciones maliciosas con “tecnologías de detección avanzadas”.
El cofundador y director ejecutivo de Sentinel, Johannes Tammekänd, está de acuerdo con el punto de la carrera armamentista, razón por la cual su enfoque de este problema de “cambio de objetivo posterior” implica ofrecer múltiples capas de defensa, siguiendo una plantilla de estilo de ciberseguridad. Él dice que las herramientas rivales, mencionando el detector de Microsoft y otro rival, Deeptrace, también conocido como Sensity, por el contrario, solo se basan en “una red neuronal elegante que intenta detectar defectos”, como él dice.
“Nuestro enfoque es que creemos que es imposible detectar todas las falsificaciones profundas con un solo método de detección”, le dice a TechCrunch. “Tenemos múltiples capas de defensa que si una capa se viola, entonces hay una alta probabilidad de que el adversario sea detectado en la siguiente capa”.
Tammekänd dice que la plataforma de Sentinel ofrece cuatro capas de defensa contra deepfakes en esta etapa: una capa inicial basada en ejemplos conocidos de hash de deepfakes en estado salvaje para verificar (y que, según él, es escalable al nivel de “plataforma de redes sociales”); una segunda capa compuesta por un modelo de aprendizaje automático que analiza los metadatos para su manipulación; un tercero que comprueba si hay cambios de audio, busca voces sintetizadas, etc.; y, por último, una tecnología que analiza los rostros “fotograma a fotograma” para buscar signos de manipulación visual.
“Tomamos información de todas esas capas de detección y luego finalizamos la salida juntos [as an overall score] para tener el más alto grado de certeza”, dice.
“Ya llegamos al punto en que nadie puede decir con 100% de certeza si un video es falso o no. A menos que el video sea verificable ‘criptográficamente’ de alguna manera… o a menos que alguien tenga el video original desde múltiples ángulos, etcétera”, agrega.
Tammekänd también enfatiza la importancia de los datos en la carrera armamentista de los deepfakes, más allá de cualquier técnica específica. El alarde de Sentinel en este frente es que ha acumulado la base de datos “más grande” de deepfakes en estado salvaje para entrenar sus algoritmos.
Tiene un equipo de verificación interno que trabaja en la adquisición de datos mediante la aplicación de su propio sistema de detección a los medios sospechosos, con tres especialistas en verificación humana que “todos tienen que estar de acuerdo” para que pueda verificar las falsificaciones profundas orgánicas más sofisticadas.
“Todos los días descargamos deepfakes de todas las principales plataformas sociales: YouTube, Facebook, Instagram, TikTok, luego están las asiáticas, las rusas y también los sitios pornográficos”, dice.
“Si entrenas un modelo de deepfake basado en, digamos, conjuntos de datos de Facebook, entonces realmente no generaliza: puede detectar deepfakes como él mismo, pero no generaliza bien con deepfakes en la naturaleza. Es por eso que la detección es realmente un 80 % del motor de datos”.
No es que Sentinel siempre pueda estar seguro. Tammekänd da el ejemplo de un breve videoclip publicado por los medios estatales chinos de un poeta que se pensaba que había sido asesinado por los militares, en el que parecía decir que estaba vivo y bien y le decía a la gente que no se preocupara.
“Aunque nuestros algoritmos muestran que, con un alto grado de certeza, no está manipulado, y lo más probable es que a la persona solo le hayan lavado el cerebro, no podemos decir con 100% de certeza que el video no es un deepfake”, dice.
Los fundadores de Sentinel, que pertenecen a la OTAN, Monese y la Royal Navy del Reino Unido, en realidad comenzaron a trabajar en una idea de inicio muy diferente en 2018, llamada Sidekik, construyendo una tecnología Black Mirror-esque que ingirió datos de comunicaciones para crear un “clon digital” de una persona en forma de un chatbot (o audiobot) tonalmente similar.
La idea era que las personas pudieran usar este doble virtual para entregar tareas básicas de estilo administrativo. Pero Tammekänd dice que se preocuparon por la posibilidad de un uso indebido, por lo que pasaron a la detección de falsificaciones profundas.
Están dirigiendo su tecnología a gobiernos, medios de comunicación internacionales y agencias de defensa, con los primeros clientes, después del lanzamiento de su servicio de suscripción en el segundo trimestre de este año, incluido el Servicio de Acción Exterior de la Unión Europea y el gobierno de Estonia.
Su objetivo declarado es ayudar a proteger las democracias de las campañas de desinformación y otras operaciones de información maliciosas. Eso significa que están teniendo mucho cuidado con quién tiene acceso a su tecnología. “Tenemos un proceso de investigación muy pesado”, señala. “Por ejemplo, solo trabajamos con aliados de la OTAN”.
“Hemos recibido solicitudes de Arabia Saudita y China, pero obviamente eso es un rechazo de nuestra parte”, agrega Tammekänd.
Un reciente estudio la puesta en marcha realizada sugiere un crecimiento exponencial de los deepfakes en la naturaleza (es decir, que se encuentran en cualquier lugar en línea), con más de 145,000 ejemplos identificados hasta ahora en 2020, lo que indica un crecimiento interanual nueve veces mayor.
Las herramientas para crear deepfakes ciertamente se están volviendo más accesibles. Y aunque muchos están, a primera vista, diseñados para ofrecer diversión/entretenimiento inofensivo, como Reface, la aplicación para cambiar selfies, está claro que sin controles bien pensados (incluidos los sistemas de detección de falsificación profunda), el contenido sintetizado que habilitan podría apropiarse indebidamente para manipularlo. espectadores desprevenidos.
Uno de los principales desafíos que menciona Tammekänd es ampliar la tecnología de detección de falsificaciones profundas al nivel del intercambio de medios que se lleva a cabo actualmente en las plataformas de redes sociales.
“Facebook o Google podrían escalar [their own deepfake detection] pero costaría tanto hoy que tendrían que invertir muchos recursos y sus ingresos obviamente caerían drásticamente, por lo que es fundamentalmente un estándar triple; ¿Cuáles son los incentivos comerciales?” él sugiere.
También existe el riesgo que plantean adversarios muy sofisticados y muy bien financiados, que crean lo que él describe como ataques dirigidos de “día cero falsos” (quizás actores estatales, presumiblemente persiguiendo un objetivo de muy alto valor).
“Fundamentalmente es lo mismo en ciberseguridad”, dice. “Básicamente puedes mitigar [the vast majority] de los deepfakes si los incentivos comerciales son correctos. Usted puede hacer eso. Pero siempre existirán esos deepfakes que adversarios sofisticados pueden desarrollar como día cero. Y nadie hoy en día tiene un método muy bueno o digamos un enfoque de cómo detectarlos.
“El único método conocido es la defensa en capas, y espero que una de esas capas de defensa lo recoja”.
Los cofundadores de Sentinel, Kaspar Peterson (izquierda) y Johannes Tammekänd (derecha). Crédito de la foto: Centinela
Sin duda, cada vez es más barato y más fácil para cualquier usuario de Internet hacer y distribuir falsificaciones plausibles. Y a medida que los riesgos que plantean los deepfakes aumentan las agendas políticas y corporativas (la Unión Europea está preparando un Plan de Acción para la Democracia para responder a las amenazas de desinformación, por ejemplo), Sentinel se está posicionando para vender no solo detección de falsificación profunda, sino también servicios de consultoría personalizados, impulsados por aprendizajes. extraído de su conjunto de datos deepfake.
“Tenemos un producto completo, lo que significa que simplemente no ofrecemos una ‘caja negra’, sino que también brindamos explicación de predicciones, estadísticas de datos de entrenamiento para mitigar el sesgo, comparación con deepfakes ya conocidos y modelado de amenazas para nuestros clientes a través de consultoría”, dijo el el inicio nos dice. “Esos factores clave nos han convertido en la elección de los clientes hasta ahora”.
Cuando se le preguntó cuáles considera que son los mayores riesgos que plantean los deepfakes para la sociedad occidental, Tammekänd dice que, a corto plazo, la principal preocupación es la interferencia electoral.
“Una probabilidad es que durante las elecciones, o uno o dos días antes, imagine a Joe Biden diciendo ‘Tengo cáncer, no voten por mí’. Ese video se vuelve viral”, sugiere, esbozando un riesgo a corto plazo.
“La tecnología ya está ahí”, agrega, señalando que recibió una llamada reciente con un científico de datos de una de las aplicaciones de deepfake para consumidores que le dijo que habían sido contactados por diferentes organizaciones de seguridad preocupadas por ese riesgo.
“Desde una perspectiva técnica, definitivamente podría lograrse… y una vez que se vuelve viral, para la gente, ver es creer”, agrega. “Si observa las ‘falsificaciones baratas’ que ya han tenido un impacto masivo, una falsificación profunda no tiene que ser perfecta, en realidad, solo tiene que ser creíble en un buen contexto, por lo que hay una gran cantidad de votantes que pueden caer en eso.
A más largo plazo, argumenta que el riesgo es realmente enorme: la gente podría perder la confianza en los medios digitales, punto.
“No se trata solo de videos, pueden ser imágenes, puede ser voz. Y en realidad ya estamos viendo la convergencia de ellos”, dice. “Entonces, lo que en realidad puedes simular son eventos completos… que podría ver en las redes sociales y en todos los diferentes canales.
“Entonces, solo confiaremos en los medios digitales que estén verificados, básicamente, que tengan algún método de verificación detrás de eso”.
Otro futuro distorsionado por la IA aún más distópico es que a las personas ya no les importará lo que es real o no en línea; simplemente creerán en cualquier medio manipulado que complazca sus prejuicios existentes. (Y dada la cantidad de personas que han caído en extraños agujeros de conspiración sembrados por algunas sugerencias textuales publicadas en línea, eso parece muy posible).
“Eventualmente a la gente no le importa. Lo cual es una premisa muy arriesgada”, sugiere. “Se habla mucho de dónde están las ‘bombas nucleares’ de los deepfakes. Digamos que es solo cuestión de tiempo cuando sale un deepfake de un político que causará un daño masivo pero… No creo que ese sea el mayor riesgo sistemático aquí.
“El mayor riesgo sistemático es que, si miras desde la perspectiva de la historia, lo que ha sucedido es que la producción de información se ha vuelto más barata y fácil y el intercambio se ha vuelto más rápido. Así que todo, desde la imprenta de Gutenberg, TV, radio, redes sociales, internet. Lo que está sucediendo ahora es que la información que consumimos en Internet no tiene que ser producida por otro ser humano, y gracias a los algoritmos puedes hacerlo en una escala de tiempo binaria a gran escala y de una manera hiperpersonalizada. Así que ese es el mayor riesgo sistemático. Básicamente, ya no entenderemos qué es la realidad en línea. Lo que es humano y lo que no es humano”.
Las posibles consecuencias de tal escenario son innumerables: desde la división social con esteroides; por lo tanto, aún más confusión y caos engendran una creciente anarquía e individualismo violento hasta, tal vez, un apagado masivo, si grandes sectores de la corriente principal simplemente deciden dejar de escuchar Internet porque tanto contenido en línea no tiene sentido.
A partir de ahí, las cosas podrían incluso dar un giro completo: volver a que las personas “lean fuentes más confiables nuevamente”, como sugiere Tammekänd. Pero con tanto en juego en el cambio de forma, una cosa parece una apuesta segura: habrá demanda de herramientas inteligentes basadas en datos que ayuden a las personas a navegar en un panorama de medios cada vez más camaleónico y cuestionable.
Steve O’Hear de TechCrunch contribuyó a este informe.
Source link