Las grandes redes sociales y los videojuegos no han logrado priorizar el bienestar de los usuarios sobre su propio crecimiento. Como resultado, la sociedad está perdiendo la batalla contra la intimidación, los depredadores, el discurso del odio, la desinformación y los estafadores. Por lo general, cuando toda una clase de compañías de tecnología tienen un grave problema, no pueden resolverse de manera rentable, surge un software como servicio para llenar el vacío en alojamiento web, procesamiento de pagos, etc. una nueva empresa que quiere ayudar a los gigantes de la web a solucionar sus problemas de abuso con su seguridad como servicio.
Todo comenzó en Minecraft. El cofundador de AntiToxin, Ron Porat, es un experto en ciberseguridad que inició el bloqueador de anuncios Shine. Sin embargo, justo debajo de su nariz, uno de sus hijos estaba siendo intimidado sin piedad en el exitoso juego infantil. Si incluso a los padres más expertos en internet los sorprendían los abusos en línea, Porat se dio cuenta de que el problema era más grande de lo que las víctimas podían tratar de protegerse. Las plataformas tenían que hacer más, confirmó la investigación.
Un estudio reciente de Ofcom encontró que casi el 80% de los niños tuvieron una experiencia en línea potencialmente dañina en el último año. De hecho, el 23% dijo que había sido acosado cibernéticamente, y el 28% de los niños de 12 a 15 años de edad dijo que había recibido un amigo no deseado o que había seguido las solicitudes de extraños. Un estudio de Ditch The Label encontró que entre 12 y 20 años de edad que habían sido acosados en línea, el 42% fueron acosados en Instagram.
Desafortunadamente, la escala masiva de la amenaza combinada con un inicio tardío en el control policial por parte de las aplicaciones más importantes dificulta el progreso sin grandes gastos. Facebook triplicó el número de empleados de su equipo de moderación de contenido y seguridad, teniendo un impacto notable en sus ganancias, pero la toxicidad persiste. Otros pilares, como YouTube y Twitter, aún tienen que hacer compromisos concretos con el gasto en seguridad o la dotación de personal, y el resultado son escándalos continuos de explotación infantil y hostigamiento selectivo. Las compañías más pequeñas, como Snap o Fortnite-maker Epic Games, pueden no tener el dinero para desarrollar suficientes garantías internas.
"Los gigantes tecnológicos han demostrado una y otra vez que no podemos confiar en ellos. Han abdicado de su responsabilidad. Los padres deben darse cuenta de que este problema no será resuelto por estas compañías "dice Zohar Levkovitz, cofundador y CEO de AntiToxin, quien anteriormente vendió su compañía de publicidad móvil Amobee a Singtel por $ 321 millones. “Necesitas nuevos jugadores, nuevas ideas, nuevas tecnologías. Una empresa en la que "Seguridad" es el producto, no una idea posterior. Y ahí es donde entramos nosotros ”. La startup recientemente generó una ronda de semillas multimillonaria de parte de Mangrove Capital Partners y supuestamente se está preparando para una Serie A de millones de dólares.
La tecnología de AntiToxin se conecta a los backends de las aplicaciones con comunidades sociales que se transmiten o envían mensajes entre ellas y, por lo tanto, están expuestas a abusos. Los sistemas de AntiToxin procesan de forma privada y segura todas las señales disponibles relacionadas con el comportamiento del usuario y los informes de violación de políticas, desde texto hasta videos hasta el bloqueo. Luego puede marcar una amplia gama de acciones tóxicas y dejar que el cliente decida si desea eliminar la actividad, suspender al usuario responsable o cómo proceder de acuerdo con sus términos y las leyes locales.
Mediante el uso de inteligencia artificial, incluido el procesamiento de lenguaje natural, el aprendizaje automático y la visión por computadora, AntiToxin puede identificar la intención del comportamiento para determinar si es malicioso. Por ejemplo, la compañía me dice que puede distinguir entre una pareja casada que intercambia consensualmente fotos de desnudos en una aplicación de mensajería en lugar de que un adulto envíe imágenes inapropiadas a un niño. También puede determinar si dos adolescentes se insultan mutuamente mientras compiten en un videojuego o si uno está acosando verbalmente al otro. La compañía dice que es mejor utilizar listas negras de diccionarios estáticos de palabras prohibidas.
AntiToxin está bajo NDA, por lo que no puede revelar su lista de clientes, pero reclama la atención reciente de los medios de comunicación y la inminente regulación en relación con el abuso en línea ha aumentado el interés de entrada. Eventualmente, la compañía espera construir un mejor software predictivo para identificar a los usuarios que han mostrado signos de comportamiento cada vez más preocupante para que su actividad pueda ser moderada más estrechamente antes de atacar. Y está tratando de crear un "gráfico de seguridad" que lo ayude a identificar a los malos actores en todos los servicios para que puedan ser ampliamente desinformados de la misma manera en que Facebook utiliza los datos sobre el abuso en Instagram para vigilar las cuentas de WhatsApp conectadas.
"Estamos abordando este problema tan humano como una empresa de ciberseguridad, es decir, todo es un día cero para nosotros", dice Levkowitz, analizando cómo AntiToxin indexa los nuevos patrones de abuso que puede buscar entre sus clientes. ""Tenemos alumnos de la unidad de inteligencia, doctores y científicos de datos que crean algoritmos de detección de anti-toxicidad que el mundo está anhelando". La antioxina ya está teniendo un impacto. TechCrunch le encargó que investigara una sugerencia sobre imágenes sexuales infantiles en el motor de búsqueda Bing de Microsoft. Descubrimos que Bing en realidad estaba recomendando resultados de imagen de abuso infantil a personas que habían realizado búsquedas inocentes, lo que llevó a Bing a realizar cambios para limpiar su acto.
AntiToxin identificó grupos de WhatsApp en la lista pública donde se intercambiaron imágenes de abuso sexual infantil
Una de las principales amenazas para el negocio de AntiToxin es lo que a menudo se ve como una mejora de la seguridad en línea: el cifrado de extremo a extremo. AntiToxin afirma que cuando las empresas como Facebook amplían el cifrado, ocultan a propósito contenido problemático para que no tengan que vigilarlo.
Facebook afirma que aún puede usar metadatos sobre las conexiones en su red WhatApp ya encriptada para suspender a quienes violen su política. Sin embargo, AntiToxin realizó una investigación en TechCrunch para una investigación que descubrió que los grupos de intercambio de imágenes de abuso sexual infantil eran abiertamente accesibles y visibles en WhatsApp, en parte porque el cifrado los hacía difíciles de encontrar para los sistemas automatizados de WhatsApp.
AntiToxin cree que el abuso proliferaría si la encriptación se convirtiera en una tendencia más amplia, y afirma que el daño que causa supera los temores sobre empresas o gobiernos que vigilan transmisiones no cifradas. Es una llamada difícil. Los disidentes políticos, los informantes y quizás todo el concepto de libertad civil se basan en el cifrado. Pero los padres pueden ver a los delincuentes sexuales y los acosadores como una preocupación más grave que se ve reforzada por las plataformas que no tienen idea de lo que la gente está diciendo en los hilos de chat.
Lo que parece claro es que el status quo tiene que irse. La vergüenza, la exclusión, el sexismo, el aseo personal, la personificación y las amenazas de violencia han empezado a ser un lugar común. Una cultura de crueldad engendra más crueldad. Las historias de éxito de Tech se ven empañadas por las historias de horror de sus usuarios. Pagar para recoger nuevas armas en la lucha contra la toxicidad parece una inversión razonable para demandar.
Source link