La máquina de persuasión adversarial: una conversación con James Williams.

James Williams puede Aún no es un nombre familiar en la mayoría de los círculos tecnológicos, pero lo será.

Para este segundo de lo que será una serie regular de conversaciones que exploran la ética de la industria tecnológica, me encantó poder recurrir a uno de los jóvenes filósofos de la tecnología más importantes de nuestra generación actual.

Hace aproximadamente una década, Williams ganó el Premio al Fundador, el mayor honor de Google para sus empleados. Luego, en 2017, ganó un premio aún más raro, esta vez por sus ardientes críticas a toda la industria de la tecnología digital en la que había trabajado con tanto éxito. Williams, el ganador inaugural del "Premio Nueve Puntos" de $ 100,000 de la Universidad de Cambridge por su pensamiento original, fue reconocido por los resultados de su investigación doctoral en la Universidad de Oxford, sobre cómo "las tecnologías digitales hacen que todas las formas de política valgan la pena por ser imposibles, ya que privilegian nuestros impulsos". sobre nuestras intenciones y están diseñados para explotar nuestras vulnerabilidades psicológicas con el fin de dirigirnos hacia objetivos que pueden o no alinearse con los nuestros ”. En 2018, publicó su libro brillantemente escrito Stand Out of Our Light, un clásico instantáneo en el campo. de la ética tecnológica.

En una conversación en profundidad por teléfono y correo electrónico, editada a continuación por tiempo y claridad, Williams me contó cómo y por qué nuestra atención está bajo un ataque profundo. En un momento dado, señala que la inteligencia artificial que venció al campeón mundial en el juego Go ahora apunta directamente, y con bastante éxito, a vencernos, o al menos a convencernos de que veamos más videos de YouTube y nos mantengamos en nuestros teléfonos. más de lo que de otra manera lo haría. Y mientras que la mayoría de nosotros hemos observado y lamentado este fenómeno, Williams cree que las consecuencias de la compulsión de los teléfonos inteligentes podrían ser mucho más graves y generalizadas de lo que creemos, lo que finalmente pone a miles de millones de personas en grave peligro al mismo tiempo que pone a prueba nuestra capacidad de incluso tener una voluntad humana

Es una perspectiva escalofriante y, sin embargo, de alguna manera, si lee hasta el final de la entrevista, verá que Williams logra terminar con una nota inspiradora y esperanzadora. ¡Disfrutar!

Nota del editor: esta entrevista es de aproximadamente 5,500 palabras / 25 minutos de tiempo de lectura. El primer tercio ha sido ungated. Dada la importancia de este tema. Para leer la entrevista completa, asegúrese de unirse a la membresía Extra Crunch. ~ Danny Crichton

Introducción y Antecedentes

Greg Epstein: Quiero saber más sobre tu historia personal. Creciste en el oeste de Texas. Luego se encontró en Google, donde ganó el Premio al Fundador, el mayor honor de Google. Entonces, en algún momento, te diste cuenta de que "tengo que salir de aquí". ¿Cómo fue ese viaje?

James Williams: Esto va a sonar más limpio y más intencional de lo que realmente fue, como es el caso con la mayoría de las historias. En muchos sentidos, mi vida ha sido un ping pong entre la tecnología y las humanidades, tratando de llevarlos a algún tipo de conversación.

Pasé mis años de formación en una ciudad llamada Abilene, Texas, donde mi padre era profesor universitario. Es el tipo de lugar donde tienes el día fuera de la escuela cuando el rodeo llega a la ciudad. Mucha gente buena allí. Pero no es exactamente un centro tecnológico. La mayor parte de mi educación tecnológica consistía en pasar las últimas noches, y días completos en el verano, en el laboratorio de computación de la universidad, y mi hermano menor solo se entretenía con la conexión rápida allí. Más tarde, cuando fui a la universidad, comencé a estudiar ingeniería informática, pero descubrí que tenía esta picazón por las preguntas más amplias sobre el "por qué" que, en un nivel más profundo, necesitaba resolver. Así que cambié mi enfoque a la literatura.

Después de la universidad, comencé a trabajar en Google en su oficina de Seattle, ayudando a hacer crecer su negocio de anuncios de búsqueda. Nunca, nunca me imaginé que trabajaría en publicidad, y hubo un serio golpe al pasar directamente a ese mundo después de pasar varias horas al día leyendo a James Joyce. Aunque creo que Leopold Bloom en Ulysses también trabaja en publicidad, hay al menos algún hilo de conexión allí. Pero creo que lo que me pareció más convincente sobre el trabajo en ese momento, y creo que esto habría sido en 2005, fue la idea de que estábamos cambiando fundamentalmente lo que podría ser la publicidad. Si, históricamente, la publicidad tenía que ser un alboroto molesto y que distraía la atención de la gente, ya no era necesario porque finalmente teníamos los medios para orientarla en torno a las intenciones reales de la gente. Y la búsqueda, esa "base de datos de intenciones", estaba justo a la vanguardia de ese cambio.

La máquina de persuasión adversarial.

Foto por joe daniel price vía Getty Images

Greg: Entonces, ¿cómo terminaste en Oxford, estudiando ética tecnológica? ¿Qué hiciste para aprender?

James: Lo que me llevó a ir a Oxford para estudiar la ética de la persuasión y la atención fue que no vi esta reorientación de la publicidad en torno a los verdaderos objetivos e intenciones de la gente que finalmente ganaron en toda la industria. De hecho, vi algo realmente preocupante en la dirección opuesta. Las antiguas formas de publicidad que llamaban la atención se reimponían acríticamente en el nuevo entorno digital, solo que ahora de una manera mucho más sofisticada y sin restricciones. Estos objetivos que llaman la atención, que son objetivos que ningún usuario ha tenido para sí mismos, parecían estar canibalizando los objetivos de diseño del medio en sí.

En el pasado, la publicidad había sido descrita como una especie de "suscripción" del medio, pero ahora parecía estar "sobrescribiéndolo". Todo se estaba convirtiendo en un anuncio. Todo mi entorno digital parecía estar transformándose en un extraño nuevo tipo de máquina de persuasión adversarial. Pero persuasión ni siquiera es la palabra correcta para eso. Es algo más fuerte que eso, algo más en la dirección de la coacción o la manipulación por la que todavía no creo que tengamos una buena palabra. Cuando miré a mi alrededor y no vi a nadie hablando sobre la ética de esas cosas, en particular las implicaciones que tiene para la libertad humana, decidí ir a estudiarlas yo mismo.

Greg: ¿Qué tan estresante fue para usted cuando se estaba dando cuenta de que necesitaba hacer un cambio tan grande o que podría estar haciendo un cambio tan grande?

James: ¿El gran cambio está cambiando para hacer un trabajo de doctorado?

Greg: Bueno, pero realmente estoy tratando de entender cómo fue pasar de un lugar muy alto en el mundo de la tecnología a convertirse en esencialmente un crítico filósofo de tu trabajo anterior.

James: Muchas personas con las que hablé no entendían por qué lo estaba haciendo. Amigos, compañeros de trabajo, creo que no entendieron muy bien por qué merecía un paso tan grande, un cambio tan grande en mi vida personal al tratar de interrogar esta pregunta. Hubo un poco de, no soledad, sino cierto tipo de aislamiento motivacional, supongo. Pero desde entonces, ciertamente ha sido alentador ver a muchos de ellos darse cuenta de por qué sentí que era tan importante. Parte de eso se debe a que estas preguntas están mucho más en el primer plano de la conciencia social ahora de lo que eran entonces.

La liberación en la era de la atención.

Greg: Escribes sobre cómo cuando eras más joven pensabas que "ya no quedaban grandes luchas políticas". Ahora que has dicho: "La liberación de la atención humana puede ser la lucha moral y política definitoria de nuestro tiempo". Transición intelectual o emocional o ambos. ¿Qué tan bueno pensaste que era en ese entonces, el mundo en ese entonces, y qué tan preocupado estás ahora?

James: Creo que mucha gente de mi generación creció con la sensación de que ya no había más amenazas existenciales al proyecto liberal para luchar contra nosotros. Es la sensación de que, ya sabes, el auto ya está construido, el tablero de instrumentos ha sido calibrado, y ahora, para hacer avanzar a la humanidad, simplemente tienes que mantener el volante en posición recta, conseguir un buen trabajo y seguir reciclando y tratar de no estrellar el auto. Mientras navegamos hacia este atardecer ultraestable al final de la historia.

Sin embargo, lo que me he dado cuenta es que esta crisis de atención provocada por un diseño persuasivo contradictorio es como un cubo de barro que se ha arrojado sobre el parabrisas del automóvil. Es un problema de primer orden. Sí, todavía tenemos grandes problemas por resolver, como el cambio climático y el extremismo, etc. Pero no podemos resolverlos a menos que podamos prestarles el tipo correcto de atención. De la misma manera que, si tienes un parabrisas embarrado, sí, te arriesgas a desviarte de la carretera y golpear un árbol o volar a un barranco. Pero lo primero es que realmente necesitas limpiar tu parabrisas. Realmente no podemos hacer nada que importe a menos que podamos prestar atención a las cosas que importan. Y nuestros medios son nuestro parabrisas, y en este momento hay lodo por todos lados.

Greg: Uno de los términos que usted acuña o usa para la situación en la que nos encontramos ahora es la edad de atención.

James: Utilizo esta frase "Edad de atención" no tanto para promoverla como un candidato serio para lo que deberíamos llamar nuestro tiempo, sino más bien como un contrapunto retórico a la frase "Era de la información". Es una referencia a la famosa observación de Herbert Simon, que discuto en el libro, que cuando la información se vuelve abundante, llama la atención sobre el recurso escaso.

Gran parte del trabajo ético sobre tecnología digital hasta el momento ha abordado cuestiones de gestión de la información, pero mucho menos ha abordado cuestiones de gestión de la atención. Si la atención es ahora el recurso escaso por el que compiten muchas tecnologías, debemos prestar más atención ética a la atención.

Greg: Correcto. Solo quiero asegurarme de que las personas entiendan qué tan grave puede ser esto, qué tan grave crees que es. Entré en tu libro sintiéndome totalmente distraído y rodeado de personas totalmente distraídas. Pero cuando terminé el libro y, por cierto, es uno de los libros más marcados que he poseído, salí con la sensación de una crisis aguda. Lo que se está haciendo a nuestra atención nos está afectando profundamente como seres humanos. ¿Cómo lo caracterizarías?

James: Gracias por prestar tanta atención al libro. Sí, estas ideas tienen raíces muy profundas. En el Dhammapada, el Buda dice: "Todo lo que somos es el resultado de lo que hemos pensado". El libro de Proverbios dice: "Como un hombre piensa en su corazón, él también lo es". Simone Weil escribió que "No es nosotros que nos movemos, pero las imágenes pasan ante nuestros ojos y las vivimos ”. Me parece que la atención debería ser vista como una de nuestras capacidades más preciosas y fundamentales, cultivarla de la manera correcta debe ser vista como una de las más grandes Los bienes, y herirlos, deben ser vistos como uno de los mayores daños.

En el libro, me interesaba explorar si el lenguaje de atención se puede usar para hablar útilmente sobre la voluntad humana. Al final del día, creo que es una parte importante de lo que está en juego en el diseño de estos sistemas persuasivos, el éxito de la voluntad humana.

"¿Quieres lo que queremos?"

Foto por Buena Vista Images vía Getty Images

Greg: Para traducir esas preocupaciones sobre "el éxito de la voluntad humana" en términos más simples, creo que la gran preocupación aquí es lo que nos sucede a nosotros como seres humanos si nos levantamos por la mañana y nos acostamos por la noche con ganas de cosas. ¿Que realmente solo queremos porque la inteligencia artificial y los algoritmos han ayudado a convencernos de que los queremos? Por ejemplo, queremos estar en nuestro teléfono principalmente porque sirve a Samsung o Google o Facebook o quien sea ¿Perdemos algo de nuestra humanidad cuando perdemos la capacidad de "querer lo que queremos"?

James: Absolutamente. Quiero decir, los filósofos llaman a estas voliciones de segundo orden en lugar de solo voliciones de primer orden. Una volición de primer orden es: "Quiero comer el trozo de chocolate que está frente a mí". Pero la volición de segundo orden es "No quiero querer comer ese trozo de chocolate que está frente a mí". Crear esas voliciones de segundo orden, poder definir lo que queremos, requiere que tengamos cierta capacidad de reflexión.

Lo que se ve mucho en el diseño tecnológico es esencialmente el equivalente a un argumento circular sobre esto, donde alguien hace clic en algo y luego el diseñador dice: "Bueno, mira, deben haber querido eso porque hicieron clic en él". Pero Básicamente, eso es tomar evidencia de persuasión efectiva como prueba de intención, que es muy conveniente para servir métricas de diseño y modelos de negocios, pero no necesariamente los intereses de un usuario.

IA y atención

Imágenes de STR / AFP / Getty

Greg: Hablemos sobre la IA y su papel en la persuasión que has estado describiendo. Usted habla, varias veces, sobre la IA detrás del sistema que venció al campeón mundial en el juego de mesa Go. Creo que ese es un gran ejemplo y que esa IA se ha implementado para que podamos seguir viendo YouTube, y que se están gastando miles de millones de dólares, literalmente, para descubrir cómo hacer que veamos una cosa sobre otra.