Хабрахабр

Серьёзные математические ошибки NHTSA позволили Tesla заявить о безопасности автопилота

Национальная администрация безопасности дорожного движения (NHTSA) крупно рискует своей репутацией после разгромного отчёта, который опубликовала маленькая исследовательская и консалтинговая фирма под названием Quality Control Systems. Этот отчёт посвящён анализу доклада NHTSA от 2017 года, в результате которого чиновники выяснили, что автопилот Tesla снижает риск попасть в ДТП на 40% (диаграмма выше).
Отчёт опубликован только сейчас, почти через два года. Quality Control Systems пришлось подать в суд на NHTSA, чтобы в соответствии с законом «О свободе информации» получить данные, лежащие в основе выводов агентства.

В своём докладе QCS говорит о недостатках методологии NHTSA, которые достаточно серьёзны, чтобы полностью дискредитировать 40-процентную цифру, которую Tesla несколько раз цитировала за последние два года, подчёркивая пользу автопилота для безопасности.

Автопилот, а точнее функция поддержания полосы Autosteer, была активна во время аварии, и Браун проигнорировал несколько предупреждений, чтобы положить руки обратно на рулевое колесо. NHTSA изучила безопасность автопилота после аварии со смертельным исходом владельца Tesla Джошуа Брауна в 2016 году. Критики задались вопросом, может автопилот снижает безопасность, стимулируя водителя меньше внимания уделять дороге?

Tesla цитировала эту цифру в своём блоге, где приводила аргументы в защиту технологии. Однако NHTSA выяснила, что на самом деле Autosteer снизил аварийность на 40%, так что всё в порядке. Через несколько недель Илон Маск даже ругал репортёров, которые «зациклились» на авариях Tesla, а не рассказывают о том, что автопилот объективно делает вождение более безопасным.

Как выясняется, доводы Илона Маска могли возникнуть в результате фатальной ошибки экспертов Tesla в подсчёте статистики.

Как NHTSA оценивала безопасность транспорта? В чём суть, если вкратце. Они запросили у Tesla полную статистику по всем автомобилям, проданным между 2014 и 2016 годами, и посчитали коэффициент аварийности до и после установки Autosteer. Самым понятным и логичным способом.

Аналогично, взяли количество аварий после установки автопилота и тоже поделили на количество пройденных миль после активации Autosteer. Методику выбрали такую: взяли количество аварий до установки автопилота и поделили на количество пройденных миль до активации Autosteer.

Всего Tesla предоставила данные по 43 781 автомобилю.

Например, не указано, в какой момент на автомобиле был активирован Autosteer. Проблема только в том, что в таблице от Tesla по большинству автомобилей данные неполные. Оказалось, что по 29 051 автомобилю в базе отсутствуют необходимые поля для проведения таких вычислений.

Однако 18 ДТП, которые произошли с участием этих автомобилей, занесены в статистику до Autosteer, а это более 20% из всех 86 аварий, которые произошли с автомобилями Tesla без функции Autosteer! NHTSA при подсчёте посчитала все эти автомобили как на 100% оснащённые Autosteer, словно они ни одной мили не проехали перед активацией этой функции.

Насколько сильно — неизвестно. Совершенно очевидно, что такой серьёзный перекос в подсчёте итоговой статистики сильно сдвинул результат в пользу безопасности Autosteer. Однако QCS провела аналогичные вычисления для 5714 автомобилей, по которым была полная информация одометра «до Autosteer» и «после Autosteer» без зазора между этими двумя пунктами (это ещё один недостаток базы Tesla: во многих автомобилях эти две цифры не совпадали). Мы не можем посчитать реальные данные по всей выборке, поскольку бóльшая часть данных повреждена. Хотя и это нельзя считать объективной цифрой, потому что 5714 машин представляют слишком малую часть автопарка Tesla и нет способа понять, являются ли они репрезентативной выборкой. Так вот, на нормальной выборке подсчёт показал, что аварийность после установки Autosteer увеличилась на 59%.

Ещё в мае прошлого года ведомство дистанцировалось от собственного отчёта, назвав его «беглым сравнением», которое «не оценивает эффективность технологии Autosteer». Судя по всему, NHTSA давно заметила свою ошибку, просто стеснялась в ней признаться.

Ведь запрос на информацию был отослан в феврале 2017 года, примерно через месяц после публикации оригинального отчёта. Почему они так долго отказывались передать QCS исходные данные для повторной экспертизы? Агентство не могло сразу выдать информацию потому, что компания Tesla заявила о конфиденциальности данных.

Только в ходе судебного разбирательства суд отверг аргументы NHTSA о конфиденциальности статистики и приказал рассекретить информацию.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть