Можем ли мы остановить превосходство искусственного интеллекта над человеком?

Автор - Мара Хвистендаль.

Это началось три с половиной миллиарда лет назад в куче грязи, когда молекула сделала свою копию и стала предком всей земной жизни.  Это началось четыре миллиона лет назад, когда объемы мозга начали быстро расти в роду гоминидов.

Пятьдесят тысяч лет назад с появлением Homo Sapiens.

Десять тысяч лет назад с появлением цивилизации.

Пятьсот лет назад с изобретением печатного станка.

Пятьдесят лет назад с изобретением компьютера.

Менее чем через тридцать лет это закончится.

Яан Таллинн наткнулся на эти слова в 2007 году в онлайн-эссе под названием «Взгляд в сингулярность».  «Это» было человеческой цивилизацией.  Человечество перестало бы существовать, предсказывал автор эссе, с появлением суперинтеллекта, или ИИ, который превосходит человеческий интеллект по всем параметрам.

Таллинн, эстонский программист, ученый в области физики склонен подходить к жизни, как к одной большой проблеме программирования. В 2003 году он стал одним из основателей Skype, разрабатывая бэкэнд для приложения. Он обналичил свои акции после того, как eBay купил их два года спустя, и теперь он пытается найти дело. Изучая сингулярность, он смешал компьютерный код, квантовую физику и цитаты Кальвина и Гоббса. Он заинтересовался.

Вскоре Таллинн обнаружил, что автор, теоретик-самоучка Элиэзер Юдковски, написал более 1000 эссе и блогов, многие из которых посвящены суперинтеллекту. Он написал программу, чтобы почерпнуть записи Юдковского из Интернета, упорядочить их в хронологическом порядке и отформатировать для своего iPhone. Затем он провел большую часть года, читая их.

Термин «искусственный интеллект», или имитация интеллекта в компьютерах или машинах, был придуман еще в 1956 году, всего через десять лет после создания первых электронных цифровых компьютеров. Надежда на эту сферу изначально была высокой, но к 1970-м годам, когда ранние прогнозы не оправдались, началась «Зима ИИ». Когда Таллинн нашел эссе Юдковского, ИИ переживал Ренессанс. Ученые разрабатывали виды ИИ, которые преуспели в определенных областях, таких как игра в шахматах, мытье кухонного пола и распознавание человеческой речи. Такие «узконаправленные»  виды ИИ обладают сверхчеловеческими способностями, но только в определенных областях своего господства. ИИ, играющий в шахматы, не может вымыть пол или провести вас из пункта А в пункт Б. Cверхразумный ИИ, полагал Таллинн, объединит широкий спектр навыков в одной сущности. Более того, он сможет также использовать данные, сгенерированные людьми в их смартфонах, чтобы преуспеть в социальных манипуляциях.

Читая статьи Юдковского, Таллинн убедился, что суперинтеллект может привести к взрыву или прорыву ИИ, который может угрожать человеческому существованию, что сверхумные виды ИИ займут наше место на эволюционной лестнице и будут доминировать над нами, как мы сейчас доминируем над обезьянами. Или, что еще хуже, уничтожат нас.

После завершения последнего из сочинений Таллинн написал письмо Юдковскому - все маленькими буквами, что и было в  его стиле. «я – яан, один из основателей skype», - написал он. В конце концов, он дошел до сути: «я согласен, что подготовка к событию, когда ИИ будет превосходить человеческий, является одним из главных вызовов для человечества». Он хотел помочь.

Когда Таллинн прилетел в  Область залива на встречи через неделю, он встретил Юдковского, который жил неподалеку. Они встретились в кафе в Миллбрей, штат Калифорния. Их встреча растянулась до четырех часов. «На самом деле он действительно понимал основные понятия и детали. Это очень редкий дар», – недавно сказал мне Юдковский. После этого  Таллинн выписал чек на 5000 долларов (3700 фунтов) Институту искусственного интеллекта Сингулярности, некоммерческой организации, где Юдковский был научным сотрудником. (Организация сменила название на Исследовательский институт машинного интеллекта, или ИИМИ в 2013 году.) С тех пор Таллинн выделил институту более 600 000 долларов.

Встреча с Юдковским способствовала появлению у Таллинна цели, послав его на миссию по спасению нас от наших собственных творений. Он начал путешествовать, рассказывая по всему миру об угрозе, которую представляет сверхразум. В основном, однако, он начал финансировать исследования методов, которые могут дать человечеству выход: так называемый дружественный ИИ. Это не означает, что машина или оператор специально обучены  разговорам о погоде или тому, чтобы помнить имена ваших детей.  Хотя сверхразум ИИ может сделать обе эти вещи. Это не означает, что он мотивирован альтруизмом или любовью. Распространенной ошибкой является предположение, что ИИ обладает человеческими побуждениями и ценностями. «Дружелюбие» означает нечто гораздо более фундаментальное: машины будущего не уничтожат нас в их стремлении достичь своих целей.

Весной прошлого года я присоединился к Таллинну, чтобы пообедать в столовой колледжа Иисуса в Кембриджском университете. Подобное церкви пространство украшено витражами, золотым лепным украшением и масляными картинами мужчин в париках. Таллинн сидел за тяжелым столом из красного дерева, одетый в повседневную одежду Кремниевой долины: черные джинсы, футболку и кроссовки из плотной ткани. Сводчатый деревянный потолок простирался высоко над его копной седых волос.

В свои 47 лет, Таллинн является в некотором роде, техническим учебником. Он считает, что благодаря достижениям науки (и если ИИ не уничтожит нас), он будет жить «много, много лет». Находясь в клубе с исследователями, он переживет даже молодых аспирантов. Беспокойство о сверхразуме распространено среди его сподвижников. Один из основателей PayPal Питер Тиль выделил ИИМИ 1,6 миллиона долларов, а в 2015 году основатель Tesla Илон Маск пожертвовал 10 миллионов долларов Институту безопасности будущего, организации по технологической безопасности в Кембридже, штат Массачусетс. Но вхождение Таллинна в этот разряженный мир произошло за железным занавесом в 1980-х годах, когда отец одноклассника на государственной службе дал паре смышленных детей доступ к мэйнфрейм-компьютерам. После того, как Эстония стала независимой, он основал компанию по производству видеоигр. Сегодня Таллинн все еще живет в столице Эстонии,  одноименном городе Таллинн, с женой и младшим из его шести детей. Когда он хочет встретиться с исследователями, он просто прилетает в Балтийский регион.

Его стратегия предоставления помощи методична, как и почти все остальное, что он делает. Он распределяет свои деньги среди 11 организаций, каждая из которых работает над различными подходами к безопасности ИИ, в надежде, что кто-то будет их придерживаться. В 2012 году он стал соучредителем Кембриджского центра по изучению экзистенциального риска (CSER) с первоначальным взносом около 200 000 долларов.

Экзистенциальные риски, или X-риски, как их называет Таллинн – это угрозы выживанию человечества. В дополнение к ИИ, 20 с лишним исследователей из CSER изучают изменение климата, ядерную войну и биологическое оружие. Но для Таллинна эти другие дисциплины, на самом деле, просто повод для участия. Беспокойство о более широко распространенных угрозах, таких как изменение климата, может привлечь людей. Ужас сверхразумных машин, захвативших мир, он надеется, убедит их остаться. Он приехал в Кембридж на конференцию, потому что хотел, чтобы академическое сообщество более серьезно относилось к безопасности ИИ.

В Колледже Иисуса наши компаньоны были случайными участниками конференции, включая женщину из Гонконга, которая изучала робототехнику, и британца, который окончил Кембридж в 1960-х годах. Пожилой мужчина спросил всех за столом, в каком университете они учились. Ответ Таллинна о том, что он окончил Эстонский университет Тарту, не произвел впечатления. Затем он попытался перевести разговор к теме новостей. Таллинн посмотрел на него пустым взглядом. «Меня не интересуют краткосрочные – риски», – сказал он.

Таллинн сменил тему на угрозу сверхразума. Когда он не разговаривает с другими программистами, он по умолчанию использует метафоры и в этот раз тоже прошелся по ним: продвинутый ИИ может избавиться от нас так же быстро, как люди рубят деревья. Сверхразум – это для нас то-же самое, что и мы для горилл.

Пожилой мужчина сказал, что ИИ понадобится тело, чтобы иметь преимущество. Без какой-либо физической оболочки, как он может получить физический контроль?

У Таллинна была готова другая метафора: «Поместите меня в подвал с подключением к интернету, и я могу нанести большой ущерб», - сказал он. Затем он попробовал ризотто.

Каждый вид ИИ, будь то Roomba (робот-пылесос – прим. редакции) или один из его потенциальных потомков, доминирующих в мире, руководствуется результатами. Программисты ставят эти цели вместе с рядом правил о том, как их достигать. Продвинутому ИИ не обязательно иметь цель мирового господства, чтобы достичь ее. Это может стать всего лишь совпадением. И история компьютерного программирования полна мелких ошибок, которые вызвали катастрофы. Например, в 2010 году, когда трейдер из компании взаимных фондов Waddell & Reed продал тысячи фьючерсных контрактов, программное обеспечение фирмы исключило ключевую переменную из алгоритма, который помог выполнить сделку. Результатом стал «внезапный крах» в США на триллион долларов.

Исследователи из Таллиннского фонда считают, что если структура сверхчеловеческого ИИ не запрограммирована должным образом, даже добрые цели могут иметь коварные исходы. Один известный пример, изложенный философом Оксфордского университета Ником Бостромом в его книге «Суперразведка» – это вымышленный агент, призванный сделать как можно больше скрепок. ИИ может решить, что атомы в человеческом теле лучше использовать в качестве сырья.

Взгляды Таллинна имеют свою долю недоброжелателей, даже среди сообщества людей, обеспокоенных безопасностью ИИ. Некоторые возражают, что слишком рано беспокоиться об ограничении сверхразумного ИИ, когда мы этого еще не понимаем. Другие говорят, что сосредоточение внимания на мошеннических технологических деятелях отвлекает внимание от наиболее насущных проблем, стоящих перед этой областью. «Мы находимся в опасности построения мира, в котором мы не захотим жить, если не будем решать эти проблемы в ближайшей перспективе», - сказала Тера Лайонс, исполнительный директор Партнерства по искусственному интеллекту, консорциума, ориентированного на технологическую индустрию по безопасности ИИ и другим вопросам. Несколько институтов, которые поддерживают Таллинн, являются его членами. Но, добавила она, некоторые краткосрочные проблемы, с которыми сталкиваются исследователи, такие как отсеивание алгоритмического уклона, являются предшественниками тех, которые человечество может увидеть с помощью сверх-разумного ИИ.

Таллинн не настолько убежден. Он возражает, что сверхразумный ИИ приносит уникальные угрозы. В конечном итоге он надеется, что сообщество ИИ может последовать примеру антиядерного движения в 1940-х годах. После бомбардировок Хиросимы и Нагасаки ученые объединились, чтобы попытаться ограничить дальнейшие ядерные испытания. «Ученые из Манхэттенского проекта могли бы сказать: «Послушайте, мы делаем инновации здесь, и инновации всегда хороши, поэтому давайте просто будем двигаться дальше», – сказал он мне.

Таллинн предупреждает, что любой подход к безопасности ИИ будет трудно понять правильно. Если ИИ достаточно умен, он cможет лучше понять ограничения, чем его создатели. Представьте, сказал он, что значит «проснуться в тюрьме, построенной группой слепых пятилетних детей». Вот как это может выглядеть для сверх-интеллектуального ИИ, сдерживаемого людьми.

Теоретик Юдковский нашел доказательства того, что это может быть правдой. Начиная с 2002 года, он проводил сеансы диалогов, в которых он играл роль ИИ, заключенного в коробку, в то время как круг других людей были охранниками, которым поручено держать ИИ внутри коробки. Три из пяти раз Юдковский, простой смертный, убедил охранника освободить его. Однако его эксперименты не переубедили исследователей отказаться от попыток создать коробку лучше.

Исследователи, работающие в Таллинне, используют широкий спектр стратегий, от практических до кажущихся надуманными. Некоторые теоретизируют о заточении ИИ, либо физически, либо создавая реальную структуру для его содержания, либо программируя в пределах возможностей. Другие пытаются научить ИИ придерживаться человеческих ценностей. Некоторые работают над последним оплотом – выключателем. Одним из исследователей, изучающих все три аспекта, является математик и философ Стюарт Армстронг из Института будущего человечества (FHI) Оксфордского университета, который Таллинн называет «самым интересным местом во вселенной». Таллинн выделил FHI более 310 000 долларов США. Армстронг – один из немногих исследователей в мире, который постоянно занимается безопасностью ИИ. Когда я встретил его за кофе в Оксфорде, он был одет в расстегнутую рубашку регби и был похож на кого-то, кто проводит свою жизнь за ширмой, с бледным лицом, обрамленным каштановыми волосами. Он подкреплял свои объяснения дезориентирующей смесью ссылок популярной культуры и математики. Когда я спросил его, как это может выглядеть для обеспечения безопасности ИИ, он ответил: «Вы видели фильм «Лего?»

Одно из направлений исследований Армстронга касается специфического подхода к заточению, который называется «оракул» ИИ. В газете 2012 года с Ником Бостромом, который стал соучредителем FHI, он предложил не только ограждать сверхразум в резервуаре-хранилище (физической конструкции), но и ограничить ее ответами на вопросы, как по-настоящему умная доска Уиджи. Даже с этими границами ИИ будет иметь огромную силу, чтобы изменить судьбу человечества, тонко манипулируя его последователями. Чтобы уменьшить вероятность этого, Армстронг предлагает ограничить время разговоров или запретить вопросы, которые могут нарушить текущий мировой порядок. Он также предложил предоставить «оракулу» косвенные показатели выживания человека, такие как средний промышленный индекс Доу-Джонса или количество людей, пересекающих улицу в Токио, и сказать, чтобы они оставались неизменными.

В конечном счете, считает Армстронг, может возникнуть необходимость создать в одном документе, «большую красную кнопку выключения»: либо физическое переключение, либо механизм, запрограммированный в ИИ, для автоматического выключения в случае катастрофы. Но разработать такой выключатель далеко не просто. Дело не только в том, что продвинутый ИИ, заинтересованный в самосохранении, может предотвратить нажатие кнопки. Ему также может стать любопытным, почему люди разработали кнопку, попытается активировать ее, чтобы увидеть, что произойдет, и сделать себя бесполезным. В 2013 году программист по имени Том Мерфи VII разработал ИИ, который мог бы научить себя играть в игры Nintendo Entertainment System. Решив не проигрывать в Тетрисе, ИИ просто нажал на паузу, и держал игру замороженной. «Поистине, единственный выигрышный ход – не играть», - с иронией заметил Мерфи в статье о своем творении.

Чтобы стратегия преуспела, ИИ должен быть не заинтересован в кнопке или, как выразился Таллинн: «Он должен присваивать равную ценность миру, где его нет, и миру, где он существует». Но даже если исследователи смогут достичь этого, есть и другие проблемы. Что если ИИ скопировал себя несколько тысяч раз через Интернет?

Подход, который больше всего вдохновляет исследователей, заключается в том, чтобы найти способ заставить ИИ придерживаться человеческих ценностей, не программируя их, а позволяя ИИ изучать их. В мире, где господствует партизанская политика, люди часто зацикливаются на различиях наших принципов. Но Таллинн сказал мне, что у людей много общего: «Почти каждый ценит свою правую ногу. Мы просто не думаем об этом». Надеюсь, что ИИ научат распознавать такие неизменные правила.

В этом процессе ИИ должен был бы изучать и ценить людей больше, чем логическую сторону людей: что мы часто говорим одно, а имеем в виду другое, что некоторые из наших предпочтений противоречат другим, и что люди менее надежны, когда пьяны. Таллинн считает, что, несмотря на трудности, стоит попробовать, потому что ставки очень высоки. «Мы должны думать на несколько шагов вперед», – сказал он. Создание ИИ, не разделяющего наших интересов, было бы ужасной ошибкой.

В последнюю ночь в Кембридже я присоединился к Таллинну и двум исследователям на ужин в стейк-хаусе. Официант разместил нашу группу в побеленном подвале с пещерной атмосферой. Он вручил нам одностраничное меню, в котором предлагалось три разных вида пюре. За столик рядом с нами села, а через несколько минут они попросили пересадить их в другое место. «Это сильно ызывает приступ клаустрофобии», – жаловалась женщина. Я подумал о комментарии Таллинна о том ущербе, который он мог бы нанести, если бы его заперли в подвале только с подключением к интернету. Вот мы и в коробке. Как будто по сигналу, мужчины обдумывали способы выхода.

Среди гостей Таллинна были бывший исследователь геномики Шон Эгейтаре, исполнительный директор CSER, и Маттис Маас, исследователь ИИ в Копенгагенском университете. Они подшутили над идеей о том, как создать  фильм под названием «Superintelligence v Blockchain!», и обсудили онлайн-игру «Universal Paperclips», в которой описывается сценарий из книги Бострома. Упражнение включает в себя многократное нажатие мыши, чтобы сделать скрепки. Это не совсем броская идея, но она дает представление о том, почему машина может искать более целесообразные способы производства канцелярских товаров.

В конце концов, разговор перешел к более крупным вопросам, как это часто бывает, когда присутствует Таллинн. Конечная цель исследования безопасности ИИ – создать машины, которые, как однажды сказал философ из Кембриджа и соучредитель CSER Хью Прайс, этически такие же, как и когнитивно сверхчеловеческие. Другие подняли вопрос: если мы не хотим, чтобы ИИ доминировал над нами, хотим ли мы доминировать  над ИИ? Другими словами, есть ли у ИИ права? Таллинн считает, что это ненужная антропоморфизация. Предположение, что интеллект равен сознанию – заблуждение, которое раздражает многих исследователей ИИ.

Таллинн сказал, что сознание не относится к делу: «Возьмите пример с термостатом. Никто не сказал бы, что это сознательно. Но на самом деле неприятно столкнуться с этим устройством, если вы находитесь в комнате с минус 30 градусами», заявил – он.

Эгейтаре вступился, по его словам, было бы неплохо беспокоиться о сознании, но у нас не будет роскоши беспокоиться о нем, если мы не решим проблемы технической безопасности.

По мнению Таллинна, люди слишком озабочены тем, что такое ИИ. Какую форму это примет? Должны ли мы беспокоиться о захвате одним ИИ или их армии?

«С нашей точки зрения, важно то, что делает ИИ», –  подчеркнул он. И это, по его мнению, только временно может зависеть от людей.

Перевод статьи с сайта: www.theguardian.com

Оригинальный материал по ссылке: https://www.theguardian.com/technology/2019/mar/28/can-we-stop-robots-outsmarting-humanity-artificial-intelligence-singularity