El cerebro humano es un misterio que se está desentrañando lentamente, pero quedan muchas preguntas sin respuesta. Uno de los grandes es comprender cómo el cerebro traduce la información visual en imágenes mentales procesadas por nuestros lóbulos temporales y occipitales. Y como ocurre con tantas áreas de la ciencia hoy en día, tanto biológicas como tecnológicas, la IA puede ayudar con eso.
Usando un motor de IA llamado Stable Diffusion, que es similar a otras IA generativas de texto a imagen como DALL-E 2 y Midjourney, los científicos de la Universidad de Osaka en Japón entrenaron el algoritmo en decenas de miles de escáneres cerebrales de cuatro personas, escáneres que se recopilaron originalmente para un estudio no relacionado. Estas imágenes mostraban la actividad cerebral mientras los participantes miraban imágenes simples, como un oso de peluche, un tren o una torre de reloj.
Los científicos planean presentar su estudio en una próxima conferencia sobre visión artificial y publicar sus hallazgos. en un servidor de preimpresión en diciembre de 2022.
Más Contenido del Mecánica Popular
Cuando alguien mira una imagen, las exploraciones de resonancia magnética funcional (fMRI) pueden detectar cambios en el flujo sanguíneo a las regiones del cerebro. Aquí, los lóbulos temporal y occipital trabajan juntos para registrar información sobre la imagen en sí, así como su diseño visual, incluidos aspectos como la perspectiva y la escala. Una vez que se capturan estas lecturas, se pueden convertir fácilmente en una imagen de imitación para entrenar la IA.
A la izquierda está la imagen vista por los participantes del estudio. Usando patrones de actividad cerebral solo (centro), Stable Diffusion puede reproducir el diseño y la perspectiva, pero con subtítulos (derecha), también puede recrear con mayor precisión la imagen original.
Solo había un problema: cuando la IA analizó un escáner cerebral, podía aproximarse aproximadamente a la escala y la perspectiva (información recopilada del lóbulo occipital), pero no podía discernir exactamente cuál era el objeto. En cambio, los resultados fueron obras amorfas de arte abstracto que se asemejaban a la posición y perspectiva general de un objeto, pero que por lo demás eran irreconocibles.
Aunque la IA probablemente funcionaría mejor con más información de la cual extraer información, los científicos estaban limitados por los datos disponibles. Entonces, para superar este problema, los investigadores incorporaron palabras clave extraídas de los datos de cada escaneo cerebral y aprovecharon las capacidades de texto a imagen de Stable Diffusion. Con la ayuda de estos subtítulos, la IA ahora podría combinar con precisión las dos entradas de datos, los escaneos visuales fMRI y los subtítulos textuales, para recrear imágenes notablemente similares a las que vieron los participantes originales.
Cuando un usuario normalmente ingresa una palabra en un generador de texto a imagen de IA, DALL-E, Midjourney o cualquier otro algoritmo de su elección crea una imagen sin tener en cuenta la perspectiva, la escala o el posicionamiento. Pero debido a que Stable Diffusion fue también basándose en la información capturada por el lóbulo occipital del cerebro, creó una aproximación asombrosamente cercana a la imagen específica que se muestra a los participantes. Los investigadores reservaron algunas imágenes del grupo de entrenamiento inicial para evaluar el algoritmo y, posteriormente, la IA superó la prueba.
Esta impresionante capacidad de leer la mente viene con algunas advertencias, la más importante es que solo funciona con un grupo de escáneres cerebrales de cuatro personas. La IA tendría que ser entrenada en conjuntos de datos mucho más grandes antes de implementarse de manera seria. También podría identificar solo imágenes a las que ya ha estado expuesto durante el entrenamiento. Si se le pide que reconozca, por ejemplo, un caballo del escáner cerebral de alguien, y no se le ha mostrado antes un escáner cerebral de un caballo, no podría reconocer la imagen.
El coautor del artículo, Shinji Nishimoto, neurocientífico de la Universidad de Osaka, espera que algún día la tecnología pueda ayudar a analizar los sueños humanos y desarrollar una mayor comprensión de la percepción animal de manera más amplia. Por ahora, los mejores lectores de mentes del mundo son las “mentes” que los humanos crearon.
Darren vive en Portland, tiene un gato y escribe/edita sobre ciencia ficción y cómo funciona nuestro mundo. Puedes encontrar sus cosas anteriores en Gizmodo y Paste si buscas lo suficiente.
Source link