Los datos de informes de vehículos autónomos están impulsando la innovación AV desde la carretera

Al final de cada año calendario, las quejas de las empresas de vehículos autónomos comienzan a acumularse. Esta tradición anual es el resultado de un requisito del Departamento de Vehículos Motorizados de California de que las empresas de AV entreguen “informes de desconexión” antes del 1 de enero de cada año que muestren la cantidad de veces que un operador de AV tuvo que desconectar la función de conducción autónoma del vehículo mientras probaba el vehículo. .

Sin embargo, todos los informes de desconexión tienen una cosa en común: su utilidad es criticada en todas partes por quienes tienen que presentarlos. El CEO y fundador de una empresa de automóviles autónomos con sede en San Francisco declaró públicamente que los informes de desconexión son “lamentablemente inadecuados… para dar una señal significativa sobre si un AV está listo para el despliegue comercial”. El CEO de una startup de tecnología de conducción autónoma calificó las métricas como “equivocadas”. Waymo declaró en un tweet que la métrica “no proporciona información relevante” sobre su tecnología de conducción autónoma o “distingue su rendimiento de otros en el espacio de conducción autónoma”.

¿Por qué las empresas AV se oponen tan fuertemente a los informes de desconexión de California? Argumentan que la métrica es engañosa debido a la falta de contexto debido a las variadas estrategias de prueba de las empresas AV. Yo diría que la falta de orientación con respecto al lenguaje utilizado para describir las retiradas también hace que los datos sean engañosos. Además, la métrica incentiva las pruebas en circunstancias menos difíciles y favorece las pruebas del mundo real sobre las pruebas virtuales más perspicaces.

Comprender las métricas de informes de California

Para probar un vehículo autónomo en las vías públicas de California, una empresa de AV debe obtener un permiso de prueba de AV. Al 22 de junio de 2020 había 66 Titulares de Permisos de Ensayos de Vehículos Autónomos en California y 36 de esas empresas informaron pruebas de vehículos autónomos en California en 2019. Solo cinco de esas empresas tienen permisos para transportar pasajeros.

Para operar en las vías públicas de California, cada compañía autorizada debe informar cualquier colisión que resulte en daños a la propiedad, lesiones corporales o la muerte dentro de los 10 días posteriores al incidente.

Ha habido 24 informes de colisión de vehículos autónomos en 2020 hasta el momento. Sin embargo, aunque la mayoría de esos incidentes ocurrieron en modo autónomo, los accidentes fueron casi exclusivamente el resultado de la colisión trasera del vehículo autónomo. En California, las colisiones traseras casi siempre se consideran culpa del conductor trasero.

La utilidad de los datos de colisión es evidente: los consumidores y los reguladores están más preocupados por la seguridad de los vehículos autónomos para peatones y pasajeros. Si una empresa de AV informa incluso un accidente que resulte en un daño sustancial al vehículo o a un peatón o pasajero mientras el vehículo opera en modo autónomo, las implicaciones y repercusiones para la empresa (y potencialmente para toda la industria de AV) son sustanciales.

Sin embargo, la utilidad de los datos de informes de desconexión es mucho más cuestionable. El DMV de California requiere que los operadores de AV informen la cantidad y los detalles de las desconexiones durante las pruebas en las vías públicas de California antes del 1 de enero de cada año. el DMV define esto como “con qué frecuencia sus vehículos se desconectaron del modo autónomo durante las pruebas (ya sea debido a una falla técnica o situaciones que requieren que el conductor/operador de prueba tome el control manual del vehículo para operar de manera segura)”.

Los operadores también deben realizar un seguimiento de la frecuencia con la que sus vehículos se desconectaron del modo autónomo y si esa desconexión fue el resultado de un mal funcionamiento del software, un error humano o una opción del operador del vehículo.

Las empresas de AV han mantenido un estricto control sobre las métricas medibles, a menudo solo comparten imágenes limitadas de demostraciones realizadas en entornos controlados y muy pocos datos, si es que los hay. Algunas empresas han compartido el “informe anual de seguridad” ocasional, que se lee más como una plataforma promocional que como una fuente de datos sobre el rendimiento de AV. Además, casi no existen requisitos de informes para las empresas que realizan pruebas públicas en cualquier otro estado. Los informes de desconexión de California son la excepción.

Este desierto de información AV significa que los informes de retirada en California a menudo se han tratado como nuestra única fuente de información sobre AV. El público se ve obligado a juzgar la preparación AV y el rendimiento relativo en función de estos datos de desconexión, que son incompletos en el mejor de los casos y engañosos en el peor.

Los datos de los informes de retirada no ofrecen contexto

La mayoría de las empresas de AV afirman que los datos de informes de desconexión son una métrica deficiente para juzgar el avance en la industria de AV debido a la falta de contexto para los números: saber dónde se condujeron esas millas y el propósito de esos viajes es esencial para comprender los datos en los informes de desconexión .

Algunos en la industria AV se han quejado de que las millas recorridas en áreas escasamente pobladas con climas áridos y pocas intersecciones son muy diferentes a las millas recorridas en una ciudad como San Francisco, Pittsburgh o Atlanta. Como resultado, la cantidad de desvinculaciones informadas por las empresas que prueban en la primera frente a la segunda geografía es incomparable.

También es importante comprender que los requisitos de informes de desconexión influyen en las decisiones de las empresas AV sobre dónde y cómo realizar las pruebas. Se desaconsejaría una prueba que requiera desconexiones sustanciales, incluso si es segura, ya que haría que la empresa pareciera menos preparada para el despliegue comercial que sus competidores. En realidad, tales pruebas pueden resultar en el vehículo comercialmente más listo. De hecho, algunos en la industria AV han acusado a los competidores de manipular las métricas de informes de desconexión al aliviar la dificultad de las millas recorridas a lo largo del tiempo para que parezca un progreso real.

Además, mientras que los datos pueden tener un aspecto especialmente bueno cuando se manipulan con facilidad y carreteras despejadas, los datos pueden verse especialmente mal cuando se utilizan estratégicamente para mejorar el software antivirus.

Consideremos un ejemplo proporcionada por Jack Stewart, un reportero de Marketplace de NPR que cubre el transporte:

“Digamos que una empresa lanza una nueva versión de su software y la están probando en California porque está cerca de su sede. Ese software podría tener más errores al principio, y podrías ver un montón de desvinculaciones, pero esa misma empresa podría estar ejecutando un servicio comercial en algún lugar como Arizona, donde no tienen que recopilar estos informes.

Ese servicio podría estar funcionando muy bien. Realmente no obtienes una imagen del rendimiento general de una empresa con solo mirar esta pequeña métrica realmente estricta. Fue una buena idea de California hace algunos años comenzar a recopilar información, pero en realidad no está haciendo lo que originalmente se pretendía hacer hoy en día”.

Los informes de retirada carecen de lenguaje prescriptivo

Los informes de retirada también son engañosos debido a la falta de orientación y uniformidad en el lenguaje utilizado para describir las retiradas. Por ejemplo, si bien las empresas de AV utilizaron una variedad de lenguaje, “discrepancias de percepción” fue el término más común utilizado para describir el motivo de una desconexión; sin embargo, no está claro que el término “discrepancias de percepción” tenga un significado establecido.

Varios operadores utilizaron la frase “discrepancia de percepción” para describir una falla en la detección correcta de un objeto. Valeo North America describió un error similar como “falsa detección de objeto”. El Instituto de Investigación de Toyota describió casi exclusivamente sus desvinculaciones vagamente como “desconexión proactiva del conductor de seguridad”, cuyo significado es “cualquier tipo de desconexión”. Mientras que Pony.ai describió cada instancia de desconexión con particularidad.

Muchos otros operadores informaron de desconexiones que eran “desenganches de prueba planificados” o que se describieron con una particularidad tan insuficiente que prácticamente no tenían sentido.

Por ejemplo, “desvinculaciones planificadas” podría significar la prueba de fallas de funcionamiento creadas intencionalmente, o simplemente podría significar que el software es tan incipiente y poco sofisticado que la empresa esperaba la desvinculación. Del mismo modo, la “discrepancia de percepción” podría significar cualquier cosa, desde desconexiones preventivas hasta desconexiones debido a fallas de software extremadamente peligrosas. “Discrepancia de percepción”, “desconexión planificada” o cualquier otra descripción vaga de desconexión hacen que las comparaciones entre operadores AV sean prácticamente imposibles.

Entonces, por ejemplo, si bien parece que las desvinculaciones de una empresa de AV con sede en San Francisco fueron exclusivamente por precaución, la falta de orientación sobre cómo describir las desvinculaciones y las muchas descripciones vagas proporcionadas por las empresas de AV han ensombrecido las descripciones de las desvinculaciones, llamándolas a todas en cuestión

Las regulaciones desalientan las pruebas virtuales

Hoy, el software de las empresas AV es el producto real. El hardware y los componentes físicos (lidar, sensores, etc.) de los vehículos AV se han vuelto tan uniformes que prácticamente están listos para usar. El componente real que se está probando es el software. Es bien sabido que los errores de software se detectan mejor ejecutando el software con la mayor frecuencia posible; las pruebas en carretera simplemente no pueden alcanzar los números necesarios para encontrar todos los errores. Lo que puede llegar a esos números son las pruebas virtuales.

Sin embargo, las regulaciones desalientan las pruebas virtuales, ya que las millas de carretera más bajas reportadas parecen implicar que una empresa no está preparada para la carretera.

Jack Stewart del mercado de NPR expresado un punto de vista similar:

“Hay cosas que se pueden comprar relativamente listas para usar y, más aún en estos días, solo hay unas pocas compañías a las que puede ir y recoger el hardware que necesita. Es el software, y es la cantidad de millas que ese software ha recorrido tanto en la simulación como en las carreteras reales sin ningún incidente”.

Entonces, ¿dónde podemos encontrar los datos reales que necesitamos para comparar empresas AV? Una empresa ejecuta más de 30.000 instancias diariamente a través de su entorno de simulación tridimensional de extremo a extremo. Otra empresa ejecuta millones de pruebas todoterreno al día a través de su herramienta de simulación interna, ejecutando modelos de conducción que incluyen escenarios que no puede probar en carreteras con peatones, combinación de carriles y automóviles estacionados. Waymo conduce 20 millones de millas por día en su plataforma de simulación Carcraft, el equivalente a más de 100 años de conducción real en vías públicas.

Un CEO estimó que una sola milla virtual puede ser tan útil como 1,000 millas acumuladas en la carretera.

Jonathan Karmel, líder de producto de Waymo para simulación y automatización, explicó de manera similar que Carcraft proporciona “las millas más interesantes y la información más útil”.

A dónde vamos desde aquí

Claramente, hay problemas con los informes de desconexión, tanto al confiar en los datos que contienen como en los incentivos negativos que crean para las empresas de AV. Sin embargo, existen pasos voluntarios que la industria AV puede tomar para combatir algunos de estos problemas:

Priorice e invierta en pruebas virtuales. Desarrollar y operar un sistema robusto de pruebas virtuales puede presentar un alto gasto para las empresas de AV, pero también presenta la oportunidad de acortar drásticamente el camino hacia la implementación comercial a través de la capacidad de probar escenarios más complejos, de mayor riesgo y de mayor número.
Comparta datos de pruebas virtuales. La divulgación voluntaria de datos de pruebas virtuales reducirá la dependencia de los informes de desconexión por parte del público. La preparación comercial no tendrá sentido a menos que las empresas AV hayan proporcionado al público datos fiables sobre la preparación AV durante un período prolongado.
Busque el mayor valor de las millas en carretera. Las empresas de AV deben continuar utilizando las pruebas en carretera en California, pero deben usar esas millas para llenar los vacíos de las pruebas virtuales. Deben buscar el mayor valor posible de esas millas más lentas, aceptar el mayor porcentaje de desconexiones que deberán informar y, al informar sobre esas millas, describir su contexto en particular.

Con estos pasos, las empresas AV pueden aliviar el dolor de los datos de informes de desconexión de California y avanzar más rápidamente hacia un futuro preparado para AV.