ИСКУСТВЕННЫЙ ИНТЕЛЛЕКТ: ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Click here to see this page in other languages:  EnglishChinese   German Japanese  Korean 

В: Кто инициировал создание открытого письма о приоритетах исследований в области создания надежного и безопасного ИИ?

О: Открытое письмо стало инициативой института «Будущее жизни» (главным образом основателей института, а также одного из членов нашего экспертного совета, исследователя ИИ из института Беркли, Стюарта Рассела) в сотрудничестве с сообществом исследователей в области ИИ и рядом других подписантов.

В: Какого рода системы ИИ затронуты в письме?

О: Стоит отметить, что у термина «искусственный интеллект» множество определений, преимущественно потому, что то, что человечество называет интеллектом, представлено целым рядом способностей. Некоторые разделяют «ограниченный ИИ» – тот, что может решать CAPTCHA или заполнять поисковые строки Google и «общий ИИ» – тот, что может воспроизвести множество навыков приблизительно на уровне человека или даже лучше. Открытое письмо выражает обеспокоенность по поводу исследований обоих типов систем.

В: Какого рода опасения лежат в основе открытого письма института «Будущее жизни» об автономном вооружении?

О: Автономное вооружение может быть идеально применено в целях убийства, дестабилизации наций, уменьшения популяции и выборочного убийства конкретной этнической группы. Если какая-либо военизированная сила вырвется вперед в области разработки автономного оружия с использованием ИИ, глобальная гонка вооружений станет неизбежной и конечная точка развития событий в таком случае очевидна: ИИ станет автоматом Калашникова будущего. Гонка вооружений с использованием ИИ – плохая идея и должна быть предотвращена запретом на наступательное оружие, не подлежащее осознанному контролю со стороны человека. Ознакомиться с другими аргументами против распространения автономного наступательного вооружения можно здесь.

В: Почему будущее ИИ вдруг стало темой всеобщего обсуждения? Что произошло?

О: В предыдущие десятилетия исследование ИИ происходило медленнее чем предсказывали некоторые из экспертов. Однако, как считают непосредственные разработчики систем, около 5 лет назад этот тренд в корне изменился. Теперь разработчики и исследователи систем ИИ удивлены успехами в области распознавания изображений или речи. Системы ИИ теперь могут разгадывать CAPTCHA, направленные на защиту от алгоритмов, мгновенно переводить устную речь и учиться играть в игры, с которыми прежде не были знакомы и на игру в которые их не программировали. Более того, практическая ценность подобной эффективности подтолкнула таких гигантов как Google, Facebook и IBM к вложению крупных инвестиций, создав положительную обратные связь, способную существенно ускорить прогресс.

В: Каковы потенциальные преимущества увеличения производительности систем ИИ?

О: Сложно сказать на данном этапе развития, но ИИ позволит осуществить исследования, которые, при вдумчивом и неравнодушном подходе, способны принести колоссальную пользу. Например, задачи, не требующие большой вовлеченности, могут быть автоматизированы. Это позволит построить благополучное общество, свободное от бедности и рутины, в котором у людей будет достаточно свободного времени. В качестве другого примера можно обозначить то, что ИИ сможет улучшить нашу возможность понимать и управлять сложными биологическими системами, открыть путь к существенному увеличению продолжительности жизни и улучшению здоровья, к борьбе с болезнями.

В: В чем основная причина сомнений в безопасности систем ИИ?

О: По мере того, как системы ИИ становятся все более мощными, основной причиной для беспокойства становится их потенциальная неуправляемость в случае некорректной разработки или намеренной диверсии, или же потому, что машины сделают то, что им сказано сделать, а не то, чего от них действительно хотят (как в сказках о джинах и желаниях). Множество систем ИИ разработано для достижения целей с максимальной эффективностью. Так, биржевой алгоритм запрограммирован на получение максимальной прибыли. До тех пор, пока системы ИИ не научены действовать в строгом соответствии с человеческими ценностями, сложноорганизованный ИИ может делать ставку на те уязвимости, которые отказался бы использовать в своих интересах даже самый жестокий и бессердечный финансист. К таким системам подошло бы выражение «себе на уме», поэтому сохранение сонаправленности человеческих интересов и образа действий ИИ критически важно.

В: Считает ли институт «Будущее жизни» ИИ угрозой человечеству?

О: Позиция института по этому вопросу хорошо представлена в открытом письме о приоритетах исследований в области создания надежного и безопасного ИИ. Мы считаем, что нельзя с полной уверенностью сказать, станет ли ИИ с течением десятилетий чем-то наподобие интернета (с огромным потенциалом для развития и сравнительно небольшими рисками) или атомных технологий (огромные риски, несопоставимые с потенциальным ростом) или чем-то другим. Мы предполагаем, что в долгосрочной перспективе потенциальная преимущества и риски могут быть равновелики, но, кроме этого, уверены в том, что исследование этого вопроса необходимо и оправдано.

В: Много опасений возникает в связи с «сверхразумным» ИИ. Реально ли его возникновение в ближайшем будущем?

О: ИИ уже превосходит человека в решении некоторых задач – например, в математических вычислениях, и со временем наверняка превзойдет человечество и в других областях. Мы не можем сказать наверняка, когда (и произойдет ли это вообще) машины достигнут человеческого уровня в решении всех когнитивных задач, но на конференции института «Будущее Жизни» в Пуэрто Рико большинство разработчиков и исследователей ИИ сделали ставки на то, что вероятность возникновения подобной ситуации уже в этом столетии составляет более 50%. Многие из них говорят о гораздо меньших сроках. Поскольку влияние подобных систем будет значительным, то для того, чтобы оно оставалось позитивным, разработки в области безопасности ИИ стоит начать уже сейчас. Многие разработчики также уверены, что взаимодействие со сверхразумным ИИ будет существенно отличаться от работы с узкоспециализированными системами и потребует значительных усилий для продуктивных исследований.

В: Разве ИИ не является лишь инструментом, как и многое другое? И разве ИИ не будет лишь выполнять поставленные задачи?

О: С большой вероятностью будет. Однако, по многим параметрам, интеллект – способность выяснить, как достигнуть цели. Даже для существующих сегодня продвинутых систем ИИ разработчики обозначают цель, однако не говорят, как именно система должна ее достигнуть и не всегда способны детально прогнозировать, как именно задача будет решена; в действительности, системы ИИ решают задачи изобретательно и непредсказуемо. Таким образом, особенность, которая наделяет подобные системы интеллектом – именно то, что может помешать контролю над ними и предугадыванию алгоритма их поведения. Следовательно, они могут достигать установленных человеком целей путем, не соответствующим нашим ожиданиям.

В: Можете ли вы привести пример достижения позитивной цели неприемлемым образом?

О: Представьте себе, например, что вашей целью является сокращение транспортных заторов в Сан-Франциско любым способом – то есть, вы не берете в расчет никакие ограничения. Как бы вы достигли этой цели? Вы могли бы, к примеру, отрегулировать светофоры. Но ведь автомобильное движение было бы гораздо менее интенсивным, если бы мосты, ведущие в центр города, были перекрыты с пяти до десяти утра и все машины, создающие пробки на дорогах, в результате просто не попали бы в город? Такое решение противоречит здравому смыслу и подрывает конечную цель улучшения дорожной ситуации, которая заключается в том, чтобы, в конечном итоге, помочь людям добраться из одной точки в другую. Тем не менее перекрытие мостов целиком решает конкретную цель «уменьшить транспортные заторы».

В: Почему нужно готовиться к появлению ИИ человеческого уровня сейчас, а не десятилетия спустя, когда появление технологии станет ближе?

О: Прежде всего, даже «узкоспециализированные» системы ИИ, которые или превосходят человеческий разум в узком диапазоне возможностей (таких как распознавание изображений или голоса), или к этому приближаются, уже поднимают важные вопросы, касающиеся влияния систем на общество. Создание безопасных беспилотных автомобилей, анализ стратегического и этического аспекта автономных вооружений, воздействие ИИ на глобальный рынок труда и экономические системы – три ближайших примера. Во-вторых, в долгосрочном периоде результаты деятельности ИИ человеческого или сверхчеловеческого уровня будут весьма значительны, но пока не существует общего мнения по поводу того, как быстро ИИ выйдет на этот уровень. Многие эксперты полагают, что подобного уровня ИИ сможет достичь сравнительно скоро. Это заставляет задуматься о долгосрочных вопросах безопасности уже сейчас, как минимум для того, чтобы узнать, насколько серьезный прогресс возможен на ранних стадиях.

В: Актуальны ли опасения, что автономные системы ИИ смогут обрести самосознание и стать злонамеренными или развить «волю» и восстать против человечества? И разве мы не сможем просто «отключить» их, если это случится?

О: Одно из главных опасений связано с некоторыми типами автономных систем, разработанных с целью убийства или разрушения инфраструктуры в военных целях. Такого рода системы наверняка будут разработаны так, чтобы их было непросто «отключить». Является ли дальнейшая разработка таких систем приоритетным направлением работы – вопрос, требующий немедленного рассмотрения. Отдельным поводом для беспокойства являются высокоинтеллектуальные системы, способные принимать самостоятельные решения, которые могут быть непреднамеренно запрограммированы на решение тех задач, которые не полностью отражают наши потребности. Опасные для общества или деструктивные действия могут быть результатом логических операций, направленных на достижение позитивных или нейтральных целей. Некоторые исследователи, занимающиеся изучением проблемы, пришли к выводу, что полностью застраховаться от подобного эффекта будет на удивление сложно, и что по мере совершенствования ИИ, ограничение действий системы становится еще затруднительнее. Так, искусственный интеллект может рассматривать вмешательство человека в процесс как помеху для достижения цели.

В: Действительно ли роботы представляют угрозу? Как может ИИ причинить вред, если у него не будет возможности напрямую воздействовать на объектный, физический мир?

О: Новой и потенциально опасной возможностью становится не строительство соединений, моторов и других механизмов, но возможность построения разума. Искусственный интеллект человеческого уровня может зарабатывать деньги на финансовых рынках, делать научные открытия, взламывать компьютерные системы, манипулировать людьми или заставлять их выполнять поручения за деньги ‒ все то, что поможет ему достичь изначально заданных целей. Ни одно из этих действий не требует физического присутствия в виде роботизированного тела, ‒ достаточно будет лишь интернет-соединения.

В: Есть ли какие-то разновидности ИИ, которые будут безопаснее остальных?

О: Мы до сих пор не знаем, какие типы архитектуры систем ИИ безопасны; изучение этого вопроса ‒ одна из целей нашей программы. Исследователи систем ИИ ‒ в целом очень ответственные люди, которые стремятся работать на благо человечества. И если выясняется, что какая-то разработка небезопасна, они предпочтут знать об этом, чтобы разработать альтернативную систему.

В: Смогут ли люди сохранить контроль над планетой в том случае, если будет создан ИИ человеческого или сверхчеловеческого уровня?

О: Это большой вопрос, над которым пора начать размышлять уже сейчас. Люди господствуют на этой планете не потому, что сильнее, больше или быстрее других биологических видов, но потому, что умнее. И если кто-то нас превзойдет в этом аспекте, гарантии, что мы сумеем сохранить господство, нет.

В: Не отвлекают ли дискуссии об экзистенциальной угрозе сверхразумного ИИ внимание от более острых дискуссий о роли ИИ в нарушении приватных границ человека, об ИИ на поле боя или о его возможном воздействии на экономику?

О: Аспекты безопасности ИИ в краткосрочной и долгосрочной перспективе одинаково важны для обсуждения. Вопрос об исследованиях в области сверхразумных систем ИИ  затронут в открытом письме, но большая часть вопросов лежит за пределами сценариев фильма о Терминаторе, к которым большая часть СМИ сводит все проблемы, касающиеся ИИ. Гораздо более вероятным кажется сценарий, при котором сверхразумная система ИИ с нейтральными или доброжелательными целями будет ошибочно направлена по опасному пути. Создание крепкой и устойчивой сверхразумной системы связано с целым комплексом междисциплинарных исследовательских задач, решение которых, вероятно, займет десятилетия. Именно поэтому важно начать заниматься этими вопросами уже сейчас; большая часть целей нашей программы посвящена тому, чтобы эти исследования могли быть осуществлены. Стоит также сказать, что паника в СМИ не продуктивна ни в краткосрочной, ни в долгосрочной перспективе.

В: Как был создан институт «Будущее жизни» (FLI)?

О: Все началось с интереса Яана Таллинна к изучению рисков, связанных с системами ИИ. В 2011 году Макс и Энтони организовали конференцию под эгидой Института фундаментальных вопросов (FQXi) и пригласили Яана, который выдвинул сильные аргументы в пользу важности исследования рисков, связанных с ИИ. В 2013 году Макс и Мея решили создать новую организацию, деятельность которой будет направлена на уменьшение экзистенциальных угроз. За основу они взяли структуру Института фундаментальных вопросов и пригласили Яана и Энтони в команду. В конце 2013 года Яан представил Максу Викторию, которая присоединилась к команде позже в качестве организатора волонтерской работы. В марте 2014 состоялась первая встреча института «Будущее жизни». Она объединила усилия ученых и волонтеров Бостона, неравнодушных к обозначенной теме.