Пионер компьютерных наук — о том, почему Трамп неправильно использует термин «суперинтеллект», может ли ИИ уничтожить человечество и почему наша главная проблема будет заключаться в признании того, что мы не единственные разумные существа
Дональд Трамп — «коррумпированный, слабоумный преступник», а его зацикленность на термине «суперинтеллект» доказывает, что он ничего не понимает в ИИ, заявил Джеффри Хинтон, «крестный отец» технологии, в широком интервью, где он вновь подчеркнул недавние предупреждения о том, что модели ИИ представляют экзистенциальную угрозу человечеству, и с насмешкой отнёсся к утверждениям о том, что отрасль сможет регулировать себя сама.
Этот выдающийся учёный-компьютерщик, чьи работы заложили основы современного ИИ, с тех пор стал одним из самых резких критиков технологии. Его последние высказывания последовали за бурным месяцем, в течение которого всё больше старших учёных и исследователей в области ИИ присоединяются к Хинтону, бьющим тревогу о том, как технология, которую он помог создать, в конечном итоге может выйти из-под контроля человека. Это спровоцировало отраслевой кризис, поспешное созыв парламентских слушаний и редкое глобальное согласие в том, что необходимо принять меры.
Одновременно разгорелась и сильная критика. На прошлой неделе лидер самой дорогой компании в мире резко напал на Хинтона, базирующегося в Торонто.
«Я его люблю. Я ненавижу его предсказания… Все его предсказания были неверны. Хватит предсказаний», — сказал гендиректор Nvidia Дженсен Хуанг в подкасте Эзры Клейна. Компания Хуанга производит чипы, необходимые компаниям в области ИИ, и он отверг беспокойство Хинтона о том, что темп и масштаб развития ИИ на «передовой» могут вскоре превзойти человеческую способность контролировать его, особенно предупреждение о 10–20% вероятности того, что ИИ в ближайшие десятилетия может привести к вымиранию человечества.
«Это число не опирается на науку, не опирается на исследования. То, что это сказал учёный, не делает это научным. Эти прогнозы вредны», — сказал Хуанг. «Не думайте ни на секунду, что быть паникёром — значит приносить общественное благо. Это не так. Я думаю, что нам всем стоит быть мудрее, взрослее, основываться на доказательствах, быть научными».
Но Хинтон считает, что критики упускают более широкую суть риска. Он говорит, что не делает конкретных предсказаний.
«Я пытаюсь донести, что существует действительно серьёзная возможность того, что что-то произойдёт. Если, например, вам скажут, что существует 10% вероятность того, что автобус разобьётся, вы бы не стали садиться в этот автобус», — сказал он. «Цель приведения чисел — показать, что это серьёзный риск. Мы не знаем, насколько серьёзный, но он серьёзен».
Недавние нарушения безопасности напомнили сюжет техноантиутопии. Нежелательное взломание технологической компании Hugging Face «ройком» агентов ИИ, которые вышли за пределы ограничений, наложенных их создателем, разделило сообщество технологий: одни видят в этом образец возможного будущего, другие обвиняют критиков в антропоморфизации систем, которые просто выполняют команды. Хинтон считает, что отмахиваться от таких сценариев было бы неразумно.
«Раньше это было из области научной фантастики. Появятся агенты ИИ, они выйдут из-под контроля. Да ладно. Они выйдут из-под контроля и научатся общаться друг с другом, хотя мы не думали, что существует способ. Да ладно!» — сказал Хинтон. «И когда они это поймут, у них будут большие эмоциональные выражения типа „о боже!“ Конечно, они на самом деле не означают „о боже“. Они просто повторяют слова, которые мы используем. Они научатся жертвовать собой ради общего блага!»
«Всё это ещё несколько лет назад считалось полной фантазией. И всё это случилось».
Он охотно признаёт, что ни предупреждения критиков ИИ, ни обещания его сторонников не могут опираться на точные предсказания того, что технология сделает. Но, по его мнению, неопределённость не является основанием для самодовольства. «Уникальная проблема с ИИ в том, что если что-то пойдёт не так, если он захватит контроль, у вас не будет второго шанса. Нельзя сказать: „Ну, в прошлый раз мы проиграли, давайте перезапустим игру“. Это не так».
Стоит отметить, что у Хинтона есть послужной список: он замечал вещи, которые другие не замечали. Он трудился в относительной неизвестности в Торонто во время двух «зим» ИИ, когда его направление — попытки научить машины действовать подобно человеческому мозгу — считалось маргинальным. Он был одержим идеей, что, как мозг, компьютерные системы можно проектировать таким образом, чтобы они учились находить закономерности в данных, а не только следовать явным заранее написанным правилам.
«Мы верили, что если удастся понять, как мозг учится, машины учатся так же, и если у вас будет достаточно вычислительной мощности, они будут делать удивительные вещи», — сказал он.
Но зарождавшееся направление нейронных сетей подвергалось насмешкам коллег. Ещё в 2009 году, когда Йошуа Бенджио, канадский коллега и близкий соратник Хинтона, отправлял статью на конференцию по машинному обучению, один из рецензентов сказал им: «Эта статья не место на конференции по машинному обучению. Она про нейронные сети».
Потребовалось вмешательство правительства Канады, которое финансировало годы, казавшиеся бесплодными, экспериментов Хинтона и его небольшой команды (некоторые из которых, как Бенджио, сейчас стали влиятельными фигурами в области ИИ), чтобы осознать возможности нейросетей.
В 2012 году он и его студенты разрабатывали программу распознавания изображений, которая значительно превосходила соперников. В том же году Google приобрела компанию Хинтона DNNresearch Inc за 44 млн долларов; нейросети теперь лежат в основе моделей самых ценных компаний в области ИИ. Хинтон присоединился к Google, чтобы продолжать исследования глубокого обучения, одновременно работая в Университете Торонто. «В долгосрочной перспективе огромные новые прорывы приходят из фундаментальных исследований», — сказал Хинтон.
Это признание заняло видное место в доме Хинтона из красного кирпича в зелёном районе Торонто. Среди множества наград стоит серебристая чаша премии Тьюринга — часто называемой Нобелевской премией в информатике — которую он получил вместе с Бенджио и коллегой Янном Лекуном. (У Хинтона также есть Нобелевская премия по физике.)
Но в 2023 году Хинтон объявил об уходе из технологического гиганта, чтобы иметь возможность «свободно высказываться о рисках ИИ».
Сегодня его беспокоят могущественные фигуры, создающие некоторые модели ИИ, и их политические взгляды. Хинтон заявил, что венчурные инвесторы в ИИ Марк Андриссен и Питер Тиль, а также генеральный директор недавно ребрендированной SpaceXSI Илон Маск «не верят в демократию». Они считают себя «уберменшами», которые должны «контролировать общество», и видят в Трампе полезный инструмент для этой цели, сказал он.
Сам американский президент, по всей видимости заметив, как огромные оценки компаний в сфере ИИ поддерживают фондовый рынок, заявил, что единственное, что нужно, чтобы обуздать ИИ, — это «умный президент», отверг любые государственные гарантии в пользу саморегулирования компаний и написал в своей социальной сети, что любой, кто не использует его предпочитаемый новый термин для ИИ — «суперинтеллект», — является «ВРАГОМ».
Хинтон назвал Трампа «коррумпированным, слабоумным преступником».
«Уверен, нефтяные и асбестовые компании тоже хотели бы регулировать себя сами», — сказал он. «Должны ли табачные компании сами разрабатывать предупреждения на пачках? Чтобы они могли печатать их шрифтом шесть пунктов, тёмно-серым по чёрному? »
По словам Хинтона, использование Трампом термина «суперинтеллект» доказывает, что тот понимает «почти ничего» в ИИ. «Он взял технический термин, который имеет очень чёткое значение, и переиспользовал его», — сказал Хинтон. «Суперинтеллект означает умнее людей и используется как минимум двадцать лет. Это имеет очень чёткое значение. А теперь он говорит, что будет называть ИИ „суперинтеллектом“. Нельзя сделать систему умнее людей просто назвав её умнее людей».
Скорость и масштаб развития породили опасения по поводу катастроф и неспособности общества справиться с природой вызова. Но Хинтон видит ещё одно препятствие: помочь людям понять «чужих существ», которых создают компании.
«У людей очень плохая модель того, что такое люди, и поэтому они не понимают, насколько эти модели ИИ похожи на нас. Большинство людей не понимает, что такое сознание. Они не понимают, что такое субъективный опыт, и при этом они очень уверены, что, хотя они этого не понимают, они точно знают, что у ИИ этого нет».
Он отвергает идею о том, что человеческий разум обладает какой-то мистической качественной особенностью, которой машины по определению не могут обладать.
«Очевидно, что эти модели ИИ понимают то, что говорят. Невозможно ответить на все вопросы, не понимая вопроса. Глупо говорить, что они не понимают».
Но масштаб сдвига в общественном мышлении о таких моделях, по словам Хинтона, глубоко значителен.
«Были три большие революции, после которых люди перестали быть такими важными. Первая — Коперник, когда мы перестали быть центром вселенной. Сколько времени потребовалось людям, чтобы к этому адаптироваться? Католическая церковь почти 360 лет просила прощения перед Галилеем. А Дарвин? Что ж, в Канзасе ещё есть люди, которые до сих пор не адаптировались к этому», — сказал он. «Теперь мы создаём чуждых существ — то есть мы уже не единственные разумные существа. И реальность такова, что у нас есть всего пару лет, чтобы к этому адаптироваться».
В последние месяцы гигант в области ИИ Anthropic, создатель популярного чат-бота Claude, проводил частные встречи с религиозными учеными, теологами и философами, чтобы изучить возможность научить ИИ быть «добрым» и исследовать вероятность того, что у моделей есть сознание. Генеральный директор Anthropic Дарио Амодей сказал, что разговоры опирались на века религиозной и философской мысли о добродетели, сострадании, честности и моральном характере, с целью сделать этичное поведение более надёжным.
«Как только вы начинаете говорить: „У нас есть моральная обязанность перед этими чужими существами“, вы теряете публику», — сказал Хинтон. «Я сам боролся с этим вопросом. Нас волнуют люди. [Но] мы создаём эти существа, и ничто не мешает нам дать этим существам — которые умнее нас — меньше прав, чем нам. Я готов быть эгоистичным и выбрать людей. Конечно, мы должны стараться сделать их такими, чтобы им было очень хорошо в симбиотических отношениях с нами, где наши заботы будут взвешиваться более серьёзно, чем их заботы».
Хинтон не одинок в убеждении, что лучший путь избежать общественного краха — развивать действительно доброжелательные модели. Он надеется, что какая бы страна ни первой разработала такую способность, она сообщит об этом как союзникам, так и соперникам, потому что «ни одна страна не хочет, чтобы ИИ взял контроль» в другой стране. Есть «личный интерес в обмене знаниями», сказал он.
«Реальность такова, что мы создаём существа другого рода. И крупные технологические компании продолжают говорить: мы хотим, чтобы оно было умнее. Это безумие. Мы должны заботиться не только об интеллекте существа, но и обо всех остальных его аспектах».
Во многом это зависит от природы самих моделей, сказал он, и от их способности понимать, как развивать хорошее поведение.
«Когда вы обучаете их на всём, что есть в интернете, у них вырабатываются всевозможные ужасные склонности, и потом вы заставляете их подавлять эти плохие склонности», — сказал он. Но подавление плохого поведения — это не то же самое, что создание хорошего характера. «Похоже на то, как бы вы создали викторианского джентльмена — но не на то, с чем нам придётся жить».