Искусственный интеллект лишат веры в себя: чем меньше робот самоуверен, тем он безопаснее

Группа ученых из калифорнийского университета провела исследование над искусственным интеллектом. Перед научными сотрудниками стояла задача: определить, насколько искусственный интеллект способен подчиняться человеку, но при этом принимать личные решения, если намерения человека не совпадают с его собственными, и при этом не противоречат установкам, заданным ранее. То есть если робот посчитает, что поведение субъекта не рационально, он будет противостоять человеку, в ином случае – подчиняться.  Статья исследователей доступна на сайте ArXiv.org.

Уже сейчас системы искусственного интеллекта справляются с некоторыми задачами лучше человека. По мнению некоторых экспертов, занятых в сфере машинного обучения и развития нейросетей, компьютер в 2049 году напишет бестселлер, а уже к 2053 году сможет проводить хирургические операции не хуже врачей. Столь быстрое развитие технологий нередко вызывает беспокойство у ученых, которые видят в этом потенциальные угрозы.

Одна из них состоит в том, что однажды цели человека и машины не совпадут и алгоритм откажется подчиняться командам. В одних случаях это может быть полезно, а в других — крайне опасно, поэтому исследователи уже сейчас пытаются определить, какую степень свободы необходимо предоставить системам искусственного интеллекта.

Чтобы ответить на этот вопрос, американские ученые создали математическую модель взаимодействия между человеком и роботом, которая представлена в виде абстрактной «игры с выключателем». Ее концепция проста: роботу с выключателем дается некоторое задание, которое человек в любой момент может прервать, нажав на кнопку. Однако если робот считает такой поступок неразумным, он блокирует действия оператора и продолжает свою работу. При этом главная задача машины — действовать с максимальной выгодой для пользователя.

Реакция робота в рамках модели напрямую зависела от его суждений о рациональности человека. Если программа исходит из того, что поведение оператора может быть не оптимально, а робот безусловно действует во благо его интересов, то она никогда не позволит выключить себя. Если же машина, наоборот, полагает, что человек всегда прав, то она будет отключаться по первой его команде, даже если ИИ на самом деле все делает правильно.

Ученые пришли к выводу, что оптимальная стратегия для машины заключается в том, чтобы принять во внимание попытку пользователя остановить процесс, проинформировать его о том, что робот хочет продолжить выполнение задачи, и подождать обратного ответа пользователя. В этом случае функция полезности для человека оказывается максимальной.

Такая модель достаточно абстрактна и может быть дополнена множеством деталей, которые повлияют на результат. Так, ученые рассуждают о том, что в ситуации, когда беспилотный автомобиль самостоятельно везет маленького ребенка в школу, наилучшей стратегией для него было бы игнорировать действия пассажира. В целом, авторы работы не говорят о каких-то конкретных решениях (придуманная ими игра отчасти носит философский характер), однако склоняются к тому, что с точки зрения безопасности система не должна впадать в крайности.

В будущем исследователи планируют просчитать вероятность разных реакций робота в случаях, когда он осведомлен о собственной полезности. Например, робот-бариста может счесть свои действия более ценными ранним утром, чем днем.