Con sede en Estonia Centinela, que está desarrollando una plataforma de detección para identificar medios sintetizados (también conocidos como deepfakes), ha cerrado una ronda inicial de $ 1,35 millones de algunos inversores de ángulo experimentados, incluidos Jaan Tallinn (Skype), Taavet Hinrikus (Transferwise), Ragnar Sass y Martin Henk (Pipedrive) – y la firma de capital riesgo en etapa inicial de los países bálticos, United Angels VC.
El desafío de crear herramientas para detectar deepfakes se ha comparado con una carrera armamentista, más recientemente por el gigante tecnológico Microsoft, que a principios de este mes lanzó una herramienta de detección con la esperanza de ayudar a recoger la desinformación dirigida a las elecciones estadounidenses de noviembre. “El hecho de que [deepfakes are] generado por la IA que puede seguir aprendiendo hace inevitable que superen la tecnología de detección convencional ”, advirtió, antes de sugerir que todavía hay valor a corto plazo en tratar de desacreditar las falsificaciones maliciosas con“ tecnologías de detección avanzadas ”.
Centinela Co-fundador y CEO, Johannes Tammekänd, está de acuerdo en el punto de la carrera armamentista, razón por la cual su enfoque de este problema de ‘meta después del cambio’ implica ofrecer múltiples capas de defensa, siguiendo una plantilla de estilo de ciberseguridad. Él dice que las herramientas rivales, mencionando el detector de Microsoft y otro rival, Deeptrace, también conocido como Sensity, por el contrario, solo se basan en “una red neuronal elegante que intenta detectar defectos”, como él dice.
“Nuestro enfoque es que creemos que es imposible detectar todos los deepfakes con un solo método de detección”, le dice a TechCrunch. “Tenemos varias capas de defensa que, si se rompe una capa, existe una alta probabilidad de que el adversario sea detectado en la siguiente”.
Tammekänd dice que la plataforma de Sentinel ofrece cuatro capas de defensa de deepfake en esta etapa: una capa inicial basada en el hash de ejemplos conocidos de deepfakes en estado salvaje para verificar (y que él dice que es escalable al nivel de “plataforma de redes sociales”); una segunda capa compuesta por un modelo de aprendizaje automático que analiza los metadatos para su manipulación; un tercero que busca cambios de audio, buscando voces sintetizadas, etc. y, por último, una tecnología que analiza los rostros “fotograma a fotograma” para buscar señales de manipulación visual.
“Tomamos información de todas esas capas de detección y luego finalizamos la salida juntos [as an overall score] tener el mayor grado de certeza ”, dice.
“Ya llegamos al punto en el que alguien no puede decir con 100% de certeza si un video es un deepfake o no. A menos que el video sea de alguna manera verificable ‘criptográficamente’ … o que alguien tenga el video original desde múltiples ángulos, etc. ”, agrega.
Tammekänd también enfatiza la importancia de los datos en la carrera armamentista deepfake, más allá de cualquier técnica específica. El alarde de Sentinel en este frente es que ha acumulado la base de datos “más grande” de deepfakes en estado salvaje para entrenar sus algoritmos.
Tiene un equipo de verificación interno que trabaja en la adquisición de datos aplicando su propio sistema de detección a los medios sospechosos, con tres especialistas en verificación humana que “todos tienen que estar de acuerdo” para que pueda verificar los deepfakes orgánicos más sofisticados.
“Todos los días descargamos deepfakes de todas las principales plataformas sociales: YouTube, Facebook, Instagram, TikTok, luego están las asiáticas, las rusas y también los sitios de pornografía”, dice.
“Si entrena un modelo deepfake basado en, digamos, conjuntos de datos de Facebook, entonces realmente no se generaliza; puede detectar deepfakes como él mismo, pero no se generaliza bien con deepfakes en la naturaleza. Por eso, la detección es realmente en un 80% el motor de datos “.
Eso no Centinela siempre puede estar seguro. Tammekänd da el ejemplo de un breve videoclip publicado por los medios estatales chinos de un poeta que se creía que había sido asesinado por los militares, en el que parecía decir que estaba vivo y bien y le decía a la gente que no se preocupara.
“Aunque nuestros algoritmos muestran que, con un alto grado de certeza, es no manipulado, y lo más probable es que a la persona le hayan lavado el cerebro, no podemos decir con un 100% de certeza que el video no es un deepfake ”, dice.
Centinela fundadores, que son ex OTAN, Monese y la Royal Navy del Reino Unido, en realidad comenzaron a trabajar en una idea de inicio muy diferente en 2018, llamada Sidekik, construyendo un Espejo negro-esque tech que ingirió datos de comunicaciones para crear un ‘clon digital’ de una persona en la forma de un chatbot (o audiobot) tonalmente similar.
La idea era que la gente pudiera usar este doble virtual para entregar tareas básicas de estilo administrativo. Pero Tammekänd dice que se preocupó por la posibilidad de un mal uso, por lo que pasó a la detección de deepfake.
Están dirigiendo su tecnología a gobiernos, medios de comunicación internacionales y agencias de defensa, con los primeros clientes, después del lanzamiento de su servicio de suscripción en el segundo trimestre de este año, incluido el Servicio de Acción Exterior de la Unión Europea y el Gobierno de Estonia.
Su objetivo declarado es ayudar a proteger a las democracias de las campañas de desinformación y otras operaciones de información maliciosas. Eso significa que están teniendo mucho cuidado con quién tiene acceso a su tecnología. “Tenemos un proceso de investigación muy pesado”, señala. “Por ejemplo, solo trabajamos con aliados de la OTAN”.
“Hemos recibido solicitudes de Arabia Saudita y China, pero obviamente eso no es posible de nuestro lado”, Tocón de roble agrega.
UNA reciente estudiar la startup realizada sugiere un crecimiento exponencial de deepfakes en la naturaleza (es decir, que se encuentran en cualquier lugar en línea), con más de 145,000 ejemplos identificados hasta ahora en 2020, lo que indica un crecimiento interanual de nueve veces.
Las herramientas para crear deepfakes ciertamente son cada vez más accesibles. Y si bien muchos están, en su valor nominal, diseñados para ofrecer diversión / entretenimiento inofensivos, como aplicaciones como la aplicación de cambio de selfies. Recuperar – Está claro que sin controles cuidadosos (incluidos los sistemas de detección de deepfake), el contenido sintetizado que habilitan podría ser malversado para manipular a los espectadores desprevenidos.
La ampliación de la tecnología de detección de deepfake al nivel de intercambio de medios que se lleva a cabo en las plataformas de redes sociales en la actualidad es un desafío importante Tocón de roble menciona.
“Facebook o Google podrían escalar [their own deepfake detection] pero costaría tanto hoy que tendrían que invertir muchos recursos y sus ingresos obviamente caerían drásticamente, por lo que es fundamentalmente un estándar triple; ¿Cuáles son los incentivos comerciales? ” él sugiere.
También existe el riesgo que plantean los adversarios muy sofisticados y muy bien financiados, creando lo que él describe como ataques dirigidos “deepfake zero day” (quizás actores estatales, presumiblemente persiguiendo un objetivo de muy alto valor).
“Fundamentalmente, es lo mismo en seguridad cibernética”, dice. “Básicamente, puedes mitigar [the vast majority] de los deepfakes si los incentivos comerciales son correctos. Usted puede hacer eso. Pero siempre habrá esos deepfakes que adversarios sofisticados pueden desarrollar como días cero. Y nadie hoy tiene un método muy bueno o digamos un enfoque de cómo detectarlos.
“El único método conocido es la defensa en capas, y espero que una de esas capas de defensa lo capte”.
Los cofundadores de Sentinel, Kaspar Peterson (izquierda) y Johannes Tammekänd (derecha). Crédito de la foto: Sentinel
Ciertamente, es cada vez más barato y fácil para cualquier usuario de Internet hacer y distribuir falsificaciones plausibles. Y a medida que los riesgos que plantean las falsificaciones profundas aumentan las agendas políticas y corporativas, la Unión Europea está preparando un Plan de Acción para la Democracia para responder a las amenazas de desinformación, por ejemplo. Sentinel se está posicionando para vender no solo detección de falsificaciones falsas, sino también servicios de consultoría personalizados, impulsados por los aprendizajes extraídos de su conjunto de datos falsos profundos.
“Tenemos un producto completo, lo que significa que simplemente no ofrecemos una ‘caja negra’, sino que también proporcionamos explicabilidad de predicciones, estadísticas de datos de entrenamiento para mitigar el sesgo, comparaciones con deepfakes ya conocidos y modelado de amenazas para nuestros clientes a través de consultoría”, startup nos dice. “Esos factores clave nos han convertido en la elección de los clientes hasta ahora”.
Cuando se le preguntó cuáles son los mayores riesgos que plantean las falsificaciones profundas para la sociedad occidental, Tammekänd dice que, a corto plazo, la principal preocupación es la interferencia electoral.
“Una probabilidad es que durante las elecciones, o uno o dos días antes, imaginen a Joe Biden diciendo ‘Tengo cáncer, no voten por mí’. Ese video se vuelve viral ”, sugiere, esbozando un riesgo a corto plazo.
“La tecnología ya está ahí”, agrega y señala que tuvo una llamada reciente con un científico de datos de una de las aplicaciones deepfake para consumidores que le dijo que habían sido contactados por diferentes organizaciones de seguridad preocupadas por ese riesgo.
“Desde una perspectiva técnica, definitivamente podría lograrse … y una vez que se vuelva viral para que la gente vea para creer”, agrega. “Si nos fijamos en las ‘falsificaciones baratas’ que ya han tenido un impacto masivo, una deepfake no tiene que ser perfecta, en realidad, solo tiene que ser creíble en un buen contexto, por lo que hay una gran cantidad de votantes que pueden caer en eso. “
A largo plazo, argumenta que el riesgo es realmente enorme: la gente podría perder la confianza en los medios digitales, punto.
“No se trata solo de videos, pueden ser imágenes, puede ser voz. Y de hecho, ya estamos viendo la convergencia de ellos ”, dice. “Entonces, lo que realmente puedes simular son eventos completos… que podría ver en las redes sociales y en todos los diferentes canales.
“Por lo tanto, solo confiaremos en los medios digitales que estén verificados, básicamente, que tengan algún método de verificación detrás”.
Otro aún más distópico AI El futuro deformado es que a la gente ya no le importará lo que sea real o no en línea; simplemente creerán que cualquier medio manipulado se complazca con sus prejuicios existentes. (Y dada la cantidad de personas que han caído en extrañas conspiraciones de conejos sembradas por algunas sugerencias textuales publicadas en línea, eso parece demasiado posible).
“Al final, a la gente no le importa. Lo cual es una premisa muy arriesgada ”, sugiere. “Se habla mucho sobre dónde están las ‘bombas nucleares’ de los deepfakes. Digamos que es sólo cuestión de tiempo que salga un político falso que hará un daño masivo, pero… no creo que ese sea el mayor riesgo sistemático aquí.
“El mayor riesgo sistemático es que, si se mira desde la perspectiva de la historia, lo que ha sucedido es que la producción de información se ha vuelto más barata y fácil y el intercambio se ha vuelto más rápido. Así que todo, desde la imprenta de Gutenberg, la televisión, la radio, las redes sociales, Internet. Lo que está sucediendo ahora es que la información que consumimos en Internet no tiene que ser producida por otro ser humano, y gracias a los algoritmos puedes hacerlo en una escala de tiempo binaria a escala masiva y de una manera hiperpersonalizada. Entonces ese es el mayor riesgo sistemático. Ya no entenderemos fundamentalmente cuál es la realidad en línea. Qué es humano y qué no es humano “.
Las posibles consecuencias de tal escenario son innumerables: desde la división social de los esteroides; así que aún más confusión y caos engendra una anarquía creciente y un individualismo violento hasta, quizás, un apagón masivo, si grandes sectores de la corriente principal simplemente deciden dejar de escuchar Internet porque tantos contenidos en línea son una tontería.
A partir de ahí, las cosas podrían incluso dar un giro completo: volver a que las personas “vuelvan a leer fuentes más confiables” Sugiere Tammekänd. Pero wCon tanto en juego que cambia de forma, una cosa parece una apuesta segura: se demandarán herramientas inteligentes basadas en datos que ayuden a las personas a navegar en un panorama de medios cada vez más camaleónico y cuestionable.
Steve O’Hear de TechCrunch contribuyó a este informe
Source link