Роботы и другие системы искусственного интеллекта (ИИ) переходят от выполнения четко определенных задач в закрытых средах к превращению в значительных физических действующих лиц в реальном мире. Роботы, больше не ограниченные стенами заводов, будут проникать в городскую среду, перемещать людей и товары и выполнять задачи вместе с людьми. 

Пожалуй, наиболее ярким примером этого перехода является неизбежный рост числа автоматизированных транспортных средств (АТ). АТ обещают многочисленные социальные и экономические преимущества. Ожидается, что они повысят эффективность перевозок и высвободят миллионы человеко-часов производительности. Что ещё более важно, они обещают значительно сократить количество смертей и травм в результате дорожно-транспортных происшествий. Действительно, АТ, возможно, являются первым искусственным артефактом, который принимает автономные решения с потенциальными последствиями для жизни и смерти в широком масштабе. Это знаменует качественный сдвиг в последствиях выбора дизайна, сделанного инженерами.

Ключевые идеи

Решения АТ будут приводить к косвенным негативным последствиям, таким как последствия, влияющие на физическую неприкосновенность третьих сторон, не участвующих в их принятии — например, АТ могут отдавать приоритет безопасности своих пассажиров над безопасностью пешеходов. Такие негативные последствия могут оказать большое влияние на общее благосостояние и экономический рост. В то время как косвенные негативные последствия обычно сдерживаются централизованными правилами и политиками, эта стратегия будет сложной в случае интеллектуальных машин.

Во-первых, интеллектуальные машины часто являются черными ящиками: может быть неясно, как именно они обрабатывают свой вклад, чтобы прийти к решению, даже для тех, кто фактически их запрограммировал.

Во-вторых, интеллектуальные машины могут постоянно изучать и изменять свои способности восприятия или процессы принятия решений, опережая усилия человека по определению и регулированию своих негативных внешних факторов. 

В-третьих, даже когда показано, что интеллектуальная машина принимает необъективные решения может быть неясно, является ли предвзятость следствием процесса принятия решений или извлечена из поведения человека, на котором она обучалась или с которой взаимодействовала.

Все эти факторы делают особенно сложным регулирование негативных внешних эффектов, создаваемых интеллектуальными машинами, и превращение их в моральные машины. И если этика поведения машин скоро не будет решена, вполне вероятно, что социальный откат резко замедлит внедрение интеллектуальных машин, даже когда, как и в случае с АТ, эти машины обещают широкие преимущества.

Чтобы разобраться в этике интеллектуальных машин, потребуются совместные усилия инженеров, которые строят машины, и ученых-гуманитариев, которые теоретизируют о человеческих ценностях. Проблема, однако, в том, что эти два сообщества не привыкли разговаривать друг с другом. Специалисты по этике, юристы и философы-моралисты хорошо подготовлены к диагностике моральных опасностей и выявлению нарушений законов и норм, но, как правило, они не обучены программировать свои рекомендации. Параллельно инженеры не всегда способны передать ожидаемое поведение своих систем на языке, который этики и теоретики права используют и понимают. Другим примером является то, что, хотя многие специалисты по этике могут уделять больше внимания нормативному аспекту моральных решений (то есть, что мы должны делать), большинство компаний и их инженеры могут больше заботиться о реальном поведении потребителей (что мы на самом деле делаем). Эти противоречивые навыки и приоритеты двух сообществ затрудняют установление морального кодекса для машин.

Мы считаем, что социологи и вычислительные социологи должны играть ключевую роль в качестве посредников между инженерами и учеными-гуманитариями, чтобы помочь им сформулировать этические принципы и приоритеты, которые общество хочет внедрить в интеллектуальные машины. Это предприятие потребует выявления социальных ожиданий и предпочтений в отношении машинных решений в областях с высокими ставками; сформулировать эти ожидания и предпочтения на операционализируемом языке; и охарактеризовать количественные методы, которые могут помочь донести этическое поведение машин понятным способом, чтобы граждане или регулирующие органы, действующие от их имени, могли проверить это поведение на предмет их этических предпочтений. Этот процесс, который мы называем «Общество в петле» (SITL), должен быть итеративным, и он может быть мучительно медленным, но это будет необходимо для достижения динамического консенсуса по этике интеллектуальных машин по мере расширения сферы их использования и возможностей.

Эта статья направлена ​​на то, чтобы предоставить цифровому обществу убедительные аргументы в пользу уделения большего внимания этике АТ, междисциплинарной теме, которая включает использование инструментов краудсорсинга для решения социальной проблемы, связанной с АТ. При этом мы обсуждаем роль психологических экспериментов в информировании инженерии и регулирования АТ, и мы отвечаем на серьезные возражения как на проблему Трамвая, так и на этические мнения краудсорсинга об этой дилемме. Мы также расскажем о нашем опыте создания инструмента взаимодействия с общественностью под названием «Моральная машина», который просит людей принимать решения о том, как АТ должен вести себя в драматических ситуациях. Этот инструмент способствовал общественному обсуждению моральных ценностей, ожидаемых от АТ, и позволил нам собрать около 40 миллионов решений, которые предоставили снимок текущих предпочтений в отношении этих ценностей во всем мире.

Проблема с Трамваем

Сегодня, как никогда ранее, компьютерные ученые и инженеры оказываются в положении, когда их работа имеет серьезные социальные последствия. В результате все большее давление на ученых-компьютерщиков заставляют ознакомиться с гуманитарными и социальными науками, с тем чтобы осознать потенциальные последствия их работы для различных заинтересованных сторон, пройти обучение по вопросам этики и предоставить нормативные положения о том, как их машины должны решать моральные компромиссы. Это новые миссии для компьютерных ученых, для которых они не всегда получают соответствующую подготовку, и такое давление иногда может привести к разочарованию, а не к намеченным идеальным результатам.

Проблема Трамвая представляет собой яркий пример контраста между тем, что обучают компьютерных ученых, и тем, что они неожиданно ожидают. Ученые , работающие на АТ постоянно спрашивают об их решении Проблемы Трамвая, печально известной философской дилеммой, изображенной на рисунке 1. На первый взгляд, проблема Трамвая кажется совершенно неактуальной для кибернетики. Её версия 21- ^го века, однако, выглядит следующим образом: АТ без тормозов собирается столкнуться с пятью пешеходами, пересекающими улицу. Единственный выход — свернуть в сторону, врезаться в барьер и убить единственного пассажира. Что должен делать АТ? Что если в машине три пассажира? Что, если двое из этих пассажиров — дети?

АТ-версия Проблемы Трамвая (далее АТ-Трамвай) стала настолько популярной, что компьютерных ученых, инженеров и робототехников бесконечно спрашивают об этом, даже когда их работа не имеет к этому никакого отношения. Это стало детским плакатом в дебатах об этике ИИ среди энтузиастов AV, технологов, моральных психологов, философов и политиков. Независимо от того, заслужена ли эта выдающаяся роль, АТ-Трамвай повсюду, и стоит подробно рассмотреть аргументы, которые были высказаны за (но главным образом против) её актуальности для области АТ, и о важности опроса граждан о решениях, которые они могут найти приемлемыми (краткую информацию см. в прилагаемой выше таблице).

Мы считаем, что социологи в области вычислительной техники играют ключевую роль в качестве посредников между инженерами и учеными-гуманитариями, чтобы помочь им сформулировать этические принципы и приоритеты, которые общество желает внедрить в интеллектуальные машины.

Граждане слишком наивны. Во-первых, можно поставить под сомнение полезность получения информации от простых граждан при решении таких сложных вопросов, как этика АТ. Конечно, использование простого мысленного эксперимента, такого как АТ-Трамвай, позволяет опрашивать граждан об их предпочтениях. Но что нам делать с их ответами? Разве не опасно или даже безответственно искать мнения наивных граждан, чьи ответы могут быть предвзятыми или плохо информированными? Мы очень согласны с тем, что правила этических компромиссов должны быть оставлены на усмотрение экспертов по вопросам политики, а не решены путем референдума. Но мы также считаем, что эксперты в области политики будут лучше всего служить общественным интересам, когда они хорошо осведомлены о предпочтениях граждан, независимо от того, решат ли они в конечном итоге учесть эти предпочтения. Иногда, когда эксперты в области политики не могут прийти к консенсусу, они могут использовать предпочтения граждан в качестве мерила. В других случаях, когда эксперты в области политики находят предпочтения граждан проблематичными и решают не следовать им, они должны быть готовы к трениям, которые создаст их политика, и тщательно обдумывать, как они будут оправдывать свой выбор в глазах общественности. Независимо от того, решают ли эксперты в области политики сделать шаг навстречу предпочтениям граждан или объяснить, почему они сделали такой шаг, они должны в первую очередь знать о предпочтениях граждан.

Сценарии слишком просты. АТ-Трамвай слишком упрощен, чтобы быть ценным? Реальные аварии не включают только два возможных действия, и эти действия не имеют детерминированных результатов. У АТ будет много вариантов помимо наезда или отклонения, и не ясно, смогут ли они с достаточной уверенностью рассчитать последствия всех этих действий. Многие факторы, которые могут иметь значение для реальных аварий, просто отсутствуют в сценарии АТ-Трамвай. Тем не менее, обратите внимание, что АТ-Трамваи должны быть абстрактными и упрощенными, чтобы четко отражать основные предпочтения. Использование реалистичных аварийных сценариев затруднит выявление влияния множества способствующих факторов и затруднит нахождение общих выводов, выходящих за рамки весьма специфического набора обстоятельств, которые они характеризуют. АТ-Трамвай может быть использован для проведения упрощенных контролируемых экспериментов,

Сценарии слишком невероятны. АТ-Трамваи основаны на ряде предположений, которые чрезвычайно маловероятны. Например, респонденты должны принять очень маловероятные предпосылки, что АТ движется с небезопасной скоростью ввиду пешеходного перехода, что его тормоза не работают, что нет другого пути для его остановки, и что пешеходы парализованы. Эта комбинация маловероятных допущений означает, что вероятность того, что АТ-Трамвай действительно произойдет, возможно, слишком мала, чтобы заслуживать такого большого внимания. Или как? Философ Патрик Лин изложил убедительные аргументы в пользу актуальности АТ-Трамвая, несмотря на крошечную вероятность его появления. Даже если мы примем, что сценарии АТ-Трамваев чрезвычайно редки, их последствия могут быть чрезвычайно сильными. Несколько сбоев АТ, имевших место до сих пор, получили широкое освещение в средствах массовой информации, далеко за пределами освещения всех сбоев, происходящих в том же году, и далеко за пределами положительного освещения прогресса в производительности АТ. Точно так же, единственное возникновение реального крушения АТ-Трамвая может оказать огромное влияние на общественное доверие к АТ. Такое маловероятное событие с высоким риском известно как крайний случай, и обработка крайних случаев важна для проектирования любого продукта. Наконец, даже если аварии АТ-Трамваи очень редки, они могут помочь подумать об их статистическом расширении, статистической Проблеме Трамвая. В своей дискретной версии АТ-Трамвай задает вопрос о чёрно-белой ситуации «всё или ничего», когда люди выбирают, кому жить, а кому — умереть. Проблема статистического трамвая в конечном счете включает те же компромиссы, но те, которые возникают только тогда, когда миллиарды решений о том, как следует распределять незначительные риски, агрегируются на миллионы пройденных миль. Представьте себе АТ, едущий по средней полосе между грузовиком и велосипедистом. В зависимости от того, сколько места для проезда дает грузовик или велосипедист, его поведение приводит к изменению риска между собой, грузовиком и велосипедистом. Это создает проблему принятия решения о том, какие передачи риска являются справедливыми или приемлемыми. Предположим, что обычные автомобили убивают 100 человек (80 пассажиров и 20 велосипедистов). Программа А убивает только 20 человек (15 пассажиров и пять велосипедистов), и программа B (один пассажир, 19 велосипедистов). Какой была бы морально предпочтительная программа? Должны ли 15 пассажиров умереть за пять велосипедистов или один пассажир должен умереть за 19 велосипедистов? Эта статистическая проблема с тележками очень реальна, но гораздо сложнее, чем её дискретная версия. Данные, собранные с помощью дискретной версии АТ-Трамвай, не решают ее статистическую версию, но обеспечивают полезную отправную точку для экспериментальных исследований этой статистической версии.

У АТ будет много вариантов помимо наезда или отклонения, и не ясно, смогут ли они с достаточной уверенностью рассчитать последствия всех этих действий.

Заявленные предпочтения слишком оторваны от реальных действий. Идея «краудсорсинговых предпочтений» предполагает, что заявленные предпочтения предоставляют полезную информацию о том, что на самом деле будут делать респонденты, сталкиваясь с физической ситуацией с реальными последствиями для жизни или смерти. Но предыдущая работа показала, что заявленные предпочтения людей и их реальные действия расходятся во многих контекстах. В этом случае исследования, которые помещают предметы в симуляторы и побуждают их реагировать, позволят лучше оценить реальные предпочтения респондентов. Хотя мы согласны с этой оценкой, мы отмечаем, что поведение людей-водителей не имеет отношения к предложенной задаче краудсорсинга. Цель задачи краудсорсинга здесь состоит не в том, чтобы захватить реальные действия, а в том, чтобы запечатлеть то, что люди считают (сидя в комфортном кресле) лучшим способом действий. Мы, безусловно, можем добиться большего успеха с АТ, чем просто имитировать рефлексы человека, испытывающего стресс, в аварии за доли секунды. Так как автомобили могут быть запрограммированы, а люди — нет, автомобили можно запрограммировать на то, что они хотели бы делать, а не на то, что люди на самом деле решали бы в импульсной ситуации в автокатастрофе в доли секунды.

Пока рано регулировать. Даже если аварии АТ-Трамваев могут иметь серьезные последствия для общественного доверия, они все ещё относятся к довольно отдаленному будущему. Они включают в себя высокоавтоматизированные, полностью автономные автомобили, которые могут быть недоступны ещё какое-то время, чьё поведение на дороге пока неизвестно и чьи технологии ещё не созрели. По всем этим причинам может быть слишком рано разрабатывать правила для АТ-Трамваев. Этот момент относится к «дилемме Коллингриджа» в которой говорится, что с каждой новой технологией есть две конкурирующие проблемы. С одной стороны, нормативные положения сложно разработать на ранней технологической стадии, поскольку их последствия трудно предсказать. С другой стороны, если правила откладываются до тех пор, пока технология не будет широко использоваться, то рекомендации приходят слишком поздно. В случае АТ-Трамвая, казалось бы, этические дебаты начались задолго до того, как технология стала бы фактически доступной, что означает, что регулирование может быть преждевременным только сейчас. Однако ещё не рано информировать будущих регуляторов о предпочтениях граждан. Возможно, сейчас не время устанавливать правила, но сейчас самое время начать дебаты, особенно когда это может занять несколько лет.

Дискуссия слишком отвлекает. Производители автомобилей занимаются производством безопасных автомобилей, а не решением старых этических дилемм. По словам критиков, обременяя их АТ-Трамваем, мы отвлекаем их от их реальной миссии, которая заключается в том, чтобы максимально повысить безопасность АТ и донести их до общественности как можно скорее. Это будет лучше достигнуто путем направления их ресурсов на разработку техники безопасности, чем на философские размышления или моральную психологию. Это абсолютно верно, и именно поэтому мы считаем, что ученые в области вычислительной техники должны сыграть решающую роль в краудсорсинговой этике машин и в переводе своих результатов так, чтобы это было полезно для специалистов по этике, политиков и автомобильной промышленности. Бремя должно быть разделено, и специалисты в области компьютерных наук лучше всего способны справиться с этим краудсорсингом этики.

Краудсорсинг слишком страшен. Одна из основных целей краудсорсинга этики АТ заключается в том, чтобы найти наилучшее возможное соответствие между нормативными актами и предпочтениями граждан, и основной причиной для этого является повышение доверия и социальной приемлемости технологии АТ. Но краудсорсинг АТ-этики с использованием АТ-Трамвая может быть контрпродуктивным в этом отношении, поскольку он фокусирует внимание общественности на страшных, невероятных крайних случаях. Это серьезная проблема, но также и эмпирический вопрос: правда ли, что воздействие АТ-Трамвая отрицательно влияет на общественное доверие, волнение, или общее отношение к АТ? Наша команда проверила эту возможность как с помощью корреляционного подхода (измерение связи между предыдущим воздействием АТ-Трамвая и отношением к АТ), так и с причинным подходом (измерение эффекта от самого первого воздействия АТ-Трамвая) и не нашла статистических данных для любого неблагоприятного эффекта от воздействия АТ-Трамваев. Людям могут не нравиться некоторые конкретные решения АТ-Трамваев, но они не реагируют негативно на саму проблему.

Моральная машина

Выяснив нашу поддержку использования АТ-Трамвая для краудсорсинга этики автоматизированных транспортных средств, причины такой поддержки и ограничения этого краудсорсинга, мы теперь опишем платформу, которую мы создали для этой цели, и данные, которые она позволили нам собрать. В июне 2016 года мы развернули Moral Machine (MM), платформу для сбора данных о человеческом восприятии моральной приемлемости решений, принимаемых АТ, при выборе которых людям наносить вред, а кому экономить. MM соответствует спецификациям огромного онлайн-инструмента для экспериментов, учитывая его масштабируемость, доступность для онлайн-сообщества и случайное распределение пользователей по условиям. Еще одной целью платформы является содействие обратной связи с общественностью, обсуждение сценариев и приемлемых результатов,

Центральная функция сбора данных — это режим «Судья», показанный на рисунке 2. В этом режиме пользователям предоставляется серия из 13 сценариев моральной дилеммы, каждый из которых имеет два возможных результата. ММ ограничил сценарии только двумя результатами и, например, не предлагал решение для более медленного движения и безопасной остановки. Это было сделано специально, чтобы участники столкнулись с трудными этическими решениями, не имея возможности выбрать полностью удовлетворительное решение. Хотя этот методологический выбор был оправдан в конкретном контексте проекта ММ, безопасное вождение и соответствующая скорость являются критически важными вопросами для более широких дискуссий об этике АТ.

Сценарии генерируются с использованием рандомизации в условиях ограничений, выбранных таким образом, чтобы каждый сценарий тестировался специально для ответа по одному из шести измерений (возраст, пол, физическая форма, социальный статус, число и виды). Каждому пользователю предоставляется два случайно выбранных сценария каждого из шести измерений, в дополнение к одному совершенно случайному сценарию (который может иметь любое количество результатов на каждой стороне и в любой комбинации результатов). Вместе они составляют 13 сценариев за сеанс. Порядок 13 сценариев также уравновешивается сессиями. В дополнение к шести измерениям, три других измерения (интервенционизм, отношение к АТ и законность) выбираются случайным образом в сочетании с каждым сценарием шести измерений. Каждый из 13 сценариев содержит комбинации результатов из списка из 20 различных результатов.

После развертывания в 2016 году веб-сайт ММ освещался в различных средствах массовой информации и превзошел все ожидания. Соответственно, публичность сайта позволила нам собрать самый большой набор данных по этике искусственного интеллекта за всю историю (на сегодняшний день 40 миллионов решений приняли миллионы посетителей из 233 стран и территорий).

Результаты, извлеченные из данных, собранных через MM, были опубликованы два года назад. В исследовании сообщается о двух основных выводах: во-первых, среди девяти протестированных атрибутов три атрибута получили значительно более высокий уровень одобрения, чем остальные. Это предпочтение щадить людей перед домашними животными, предпочтение щадить больше персонажей, а не меньшее количество персонажей, и предпочтение щадить молодых людей перед пожилыми людьми.

Во-вторых, хотя ответы большинства стран согласны с направлениями предпочтений, величина этих предпочтений значительно отличается. И совокупные ответы стран в целом разбиты на три основных группы: западная (включая большинство англоязычных, католических, православных и протестантских стран), восточная (включая большинство исламских, конфуцианских и южноазиатских стран и южная (включая Латинская Америка и бывшие французские колонии.) Результаты также представили прогностические факторы различий на уровне страны. Одним из примеров является сила верховенства закона в стране, которая коррелирует с более сильным предпочтением пощадить граждан.

Предоставление полного обсуждения о последствиях этих выводов для политики выходит за рамки данной статьи. Тем не менее, мы отмечаем здесь краткое изложение последствий. В 2016 году Германия стала первой страной, которая разработала правила для AV. В стране сформирован комитет экспертов для разработки этических руководств для автоматизированных транспортных средств. Сравнивая предпочтения, которые мы собрали через MM, с отчетом комиссии Германии, мы замечаем, что, хотя мнения общественности и экспертов частично совпадают (например, оба согласны жертвовать животного ради спасения человеческой жизни), существуют также ключевые моменты разногласий (например, в то время как общественность в основном одобряет пощаду детей за счет пожилых людей, эксперты запрещают любую дискриминацию по возрасту). Хотя от экспертов не требуется удовлетворять предпочтения общественности при принятии этических решений, они могут быть заинтересованы в том, чтобы узнать мнение общественности, особенно в тех случаях, когда правильное решение трудно различить и когда его может быть важно оценить, предвидеть реакцию общественности на важные решения.

Ясно, что это имело место для Германии. Что будет в случае с другими странами? На сегодняшний день Германия остается единственной страной с какими-либо руководящими принципами для АТ. Как только другие страны сформируют свои собственные руководящие принципы, они могут оказаться похожими или разными. Это приводит к нашему второму главному выводу: программирование этических решений в АТ с использованием одних и тех же правил, вероятно, получит разные уровни отталкивания в разных странах. Например, если АТ запрограммированы таким образом, что это ставит в невыгодное положение «правонарушителей», такие АТ могут быть признаны более приемлемыми в одних странах (где верховенство права сильнее), чем в других.

Возможность увидеть результаты может проявиться раньше, чем мы ожидаем. В недавней статье KPMG сообщается о лучших странах с точки зрения готовности к АТ. Согласно отчету, пятью самыми готовыми странами являются Нидерланды, Сингапур, США, Швеция и Великобритания. Рисунок 3 показывает, что даже у этих пяти ведущих стран есть некоторые разногласия по поводу величины предпочтения пощадить законопослушных. Это может означать, что такое правило, как программирование АТ для повышения безопасности законопослушных граждан за счет нарушителей, хотя ожидается, что они получат высокую приемлемость в Нидерландах и Сингапуре, то вызвают гнев в США, Швеции и Великобритании.

Нормативно-правовая база

Как мы утверждали в начале этой статьи, мы считаем, что создание ответственных интеллектуальных машин, которые воплощают человеческую этику, требует междисциплинарного подхода. Сначала инженеры строят и совершенствуют интеллектуальные машины и рассказывают нам, как они могут работать. Во-вторых, ученые гуманитарных наук — философы, юристы, социальные теоретики — предлагают, как должны себя вести машины, и выявляют скрытые моральные риски в системе. В-третьих, ученые-поведенцы, вооруженные инструментами взаимодействия с общественностью и сбора данных, такими как ММ, дают количественную картину доверия общественности к интеллектуальным машинам и их ожиданий относительно того, как они должны вести себя. Наконец, регулирующие органы контролируют и количественно оценивают производительность машин в реальном мире, предоставляя эти данные инженерам и гражданам, используя при этом свои инструменты правоприменения для корректировки стимулов инженеров и корпораций, производящих машины.

Мы суммируем эту регулирующую архитектуру на рисунке 4 , поясняя, где инструменты краудсорсинга могут быть полезны. Проект «Моральная машина» служит примером инструмента, который дает возможность компоненту взаимодействия с общественностью нашего подхода к «обществу в курсе». Это пример междисциплинарного сотрудничества, которое сочетает в себе инструменты из философии, психологии, гуманитарных наук, информатики и статистики, чтобы проиллюстрировать наше стремление к миру, изобилующему все более интеллектуальными и автономными машинами, которые, тем не менее, ведут себя в соответствии с человеческими ценностями.

Ссылки

1. Авад Э., Дсоуза С., Ким Р., Шульц Дж., Хенрих Дж., Шариф А., Боннефон Дж. И Рахван И. Эксперимент «Моральная машина». Nature 563 , 7729 (2018), 59.

2. Авад Э., Левин С. Мы должны использовать этику краудсорсинга. В прессе.

3. Богост И. Достаточно проблемы с тележкой . Атлантика (2018).

4. Боннефон Дж., Шариф А. и Рахван И. Социальная дилемма автономных транспортных средств. Science 352 , 6293 (2016), 1573–1576; http://bit.ly/2NyQyUa

5. Боннефон Дж., Шариф А. и Рахван И. Тележка, булл-бар, и почему инженеры должны заботиться об этике автономных автомобилей. В Слушаниях IEEE 107 , 3 (2019), 502–504.

6. Боннефон Дж., Шариф А. и Рахван И. Моральная психология ИИ и проблема этического отказа. Этика искусственного интеллекта. С. М. Ляо, изд. Oxford University Press, Оксфорд, Великобритания, в печати.

7. Коллингридж Д. Социальный контроль технологий. (1982).

8. Кушман Ф. и Янг Л. Образцы нравственного суждения проистекают из неморальных психологических представлений. Cognitive Science 35 , 6 (2011), 1052–1075.

9. Эдмондс, Д. Вы бы убили Толстяка ?: Проблема с тележкой и что ваш ответ говорит нам о правильном и неправильном. Издательство Принстонского университета, 2013.

10. Юбэнкс, В. Автоматизация неравенства: как высокотехнологичные инструменты, профиль, полиция и наказание бедных. Пресса Мартина, 2018.

11. Фут, П. Проблема абортов и доктрина двойного эффекта. (1967).

12. Гао П., Хенсли Р. и Зильке А. Дорожная карта будущего для автомобильной промышленности. McKinsey Quarterly , (октябрь 2014 г.)

13. Гудолл, Н. Этические решения при автоматизированных авариях транспортных средств. Отчет о транспортных исследованиях: J. Board Research Board 2424 (2014), 58–65.

14. Гудолл, Нью-Джерси. От проблем с тележками и к управлению рисками. Прикладной искусственный интеллект 30 , 8 (2016), 810–821.

15. Грин, Дж. Д., Соммервилль, Р. Б., Нистром, Л. Э., Дарли, Дж. М. и Коэн, Дж. М. Исследование МРТ эмоциональной вовлеченности в моральное суждение. Science 293 , 5537 (2001), 2105-2108.

16. Хафф, С. и Фурхерт, А. На пути к педагогической этической практике. Commun. ACM 57 , 7 (июль 2014 года), 25–27.

17. КПМГ Интернешнл. Индекс готовности автономных транспортных средств: оценка открытости и готовности стран к автономным транспортным средствам; https://assets.kpmg/content/dam/kpmg/xx/pdf/2018/01/avri.pdf

18. Лин, П. Этика автономных автомобилей. Атлантика (2013).

19. Лин, П. Робот машин и ложные этические дилеммы. Форбс (2017).

20. Luetge, C. Немецкий кодекс этики для автоматизированного и связанного вождения. Philosophy & Technology 30 , 4 (2017), 547–558.

21. Малле, Б.Ф., Шойц, М., Арнольд, Т., Войклис, Дж., И Кусимано, К. Жертвовать одним ради многих? Люди применяют разные моральные нормы к людям и роботам. В материалах 10- ^го ежегодного ACM / IEEE Iintern. Conf. Взаимодействие человека и робота. ACM, 2015, 117–124.

22. Маршалл А. Адвокаты, а не специалисты по этике, решат робокар «Проблема с тележками». ПРОВОДНОЙ (28 мая 2017 г.).

23. О’Нил, C. Уничтожение оружия математики: как большие данные увеличивают неравенство и угрожают демократии. Книги Бродвея, 2016.

24. Паскуале Ф. Общество черного ящика: секретные алгоритмы, управляющие деньгами и информацией. Издательство Гарвардского университета, 2015

25. Рахван, И. Общество в цикле: программирование алгоритмического социального контракта. Этика и информационные технологии 20 , 1 (2018), 5–14.

26. Сютфельд Л.Р., Эхингер Б.В., Кениг П. и Пипа Г. Как метод меняет то, что мы измеряем? Сравнение виртуальной реальности и текстовых опросов для оценки моральных решений в дорожных дилеммах. (2019).

27. Суини Л. Дискриминация при онлайн-доставке рекламы. Очередь 11 , 3 (2013), 10.

28. Томсон, Дж. Дж. Убийство, позволение умереть и проблема с тележкой. Монист 59 , 2 (1976), 204–217.

29. Томсон, Дж. Дж. Проблема тележки. Йельский закон J. 94 , 6 (1985), 1395–1415.

30. Ван Арем Б., Дриэль С. и Виссер Р. Влияние совместного адаптивного круиз-контроля на характеристики транспортного потока. IEEE Trans. Интеллектуальные транспортные системы 7 , 4 (2006), 429–436

Авторы

Эдмонд Авад ( e.awad@exeter.ac.uk ) – преподаватель кафедры экономики в Школе бизнеса Университета Эксетера, Эксетер, Великобритания.

Сохан Дсуза ( dsouza@mit.edu ) – научный сотрудник MIT Media Lab, Кембридж, Массачусетс, США.

Жан-Франсуа Боннефон ( jfbonnefon@gmail.com ) – директор по исследованиям в Тулузской школе экономики (TSM-R), CNRS, Университет Тулузы, Капитолий, Тулуза, Франция.

Азим Шариф ( afshariff@gmail.com ) – доцент Университета Британской Колумбии, Ванкувер, Канада.

Ияд Рахван ( rahwan@mpib-berlin.mpg.de ) – директор Центра человека и машин, Института человеческого развития им. Макса Планка, Берлин, Германия, и адъюнкт-профессор MIT Media Lab, Кембридж, Массачусетс, США.

Сноски

а. Проблема Трамвая, вместе со всеми ее вариантами, повсеместна в исследованиях права и этики. Он традиционно использовался для проверки этических принципов против моральной интуиции. В последнее время проблема тележек широко использовалась в моральной психологии и нейробиологии для изучения не того, как люди должны принимать этические решения, а того, как они на самом деле это делают. Эта литература дала глубокое понимание морального познания, а также о контекстуальных факторах, которые влияют на моральное суждение.

б. Здесь мы отмечаем, что для того, чтобы проект можно было отслеживать, эксперимент MM должен был ограничить возможные ответы, которые могут предоставить участники. Именно поэтому мы не считаем, что ответы ММ сами по себе достаточны для информирования о программировании автоматических транспортных средств, которое должно учитывать различные перспективы и реальную сложность реальных дилемм распределения рисков. Недавняя работа Sütfeld et al предполагает, что результаты ММ обобщаются на различные способы представления стимула, но предстоит еще проделать большую работу по этой проблеме, чтобы проверить внешнюю достоверность результатов.