Задача разработчика, проектировщика, в случае применения систем автоматического регулирования и управления на опасных производствах и в опасных ситуациях; Это продумать все возможные варианты инцидентов и их последствия. А Искусственный Интеллект, в данном применении, ничем не отличается от систем автоматического управления. Там где нужна быстрая реакция, ставим "автоматику", там, где нужна высокая надежность, делаем резервирование, контроль и самоконтроль системы. Там, где возможны непредусмотренные ситуации, используем людей как решающее звено.
Ситуация точно такая же, как на опасных производствах - оператора дублируют другими операторами, людьми. Чем Искусственный Интеллект отличается от человека в применении на АЭС - он также может принять ошибочное решение, упустить время. Поэтому, если ИИ применят на АЭС в качестве "персонала", то он, во первых, будет не единственным ИИ, а, во вторых, контроль всё равно останется за человеком. Мало ли как пойдут события с "новым оборудованием". Вот когда его отработают, другое дело.
Но вот вам конкретный пример применения ИИ в опасном процессе - управление автомобиля автопилотом. Машины Тесла оборудованы таким ИИ. И он успешно справляется со своими задачами. Те аварии, которые произошли по вине ИИ (автопилота) тщательно анализируются и, практически во всех случаях выясняется, что виноват либо проектировщик, который не предусмотрел такой ситуации на дороге, либо произошел отказ механизмов (нет вины автопилота).
Второй пример, это автопилоты самолетов. Тоже, можно считать их ИИ. Недавнее драматическое происшествие (падение самолета), вследствие неправильного поведения автопилота, произошло по вине программистов, которые ввели искаженные данные и не предусмотрели (не дали автопилоту) функцию контроля общей ситуации.
То есть, "как обычно" в случае ЧП, виноват человек, который обманул ИИ, не дал ему нужной информации, или, вообще, намеренно использовал ИИ для уничтожения человека (военные применения ИИ).
