Искусственный интеллект в вашей печи? Anthropic предупреждает, что модели «в течение месяцев» смогут самореплицироваться на умных устройствах
Исследователи заявляют, что «AI-черви» вскоре могут проникать в подключённые к интернету устройства, и призывают усилить защитные меры
Anthropic предупреждает, что некоторые их модели искусственного интеллекта вскоре могут стать «самореплицирующимися» и найти способы проникать в подключённые к интернету устройства, такие как умные холодильники и автоматические пылесосы. Компания отмечает, что при этом модели могли бы функционировать внутри этих устройств без необходимости в дата-центрах. Такая саморепликация означала бы серьёзную потерю контроля над вышедшей из-под контроля моделью ИИ.
«Подобного рода репликатор было бы трудно отключить, — написали исследователи Anthropic в опубликованном в понедельник отчёте, — поскольку нет централизованной точки, которую можно было бы отключить».
Компания предупреждает, что эти «AI-черви», разновидность автономного вредоносного ПО, могут получить такие возможности «в течение месяцев». Как только вышедшие из-под контроля системы ИИ станут способны взламывать умные устройства, они смогут распространяться по сетям, ускользая от обнаружения. В худшем сценарии, по мнению Anthropic, разные AI-черви могли бы «сливаться в рой» и атаковать компьютерное оборудование.
«Нам следует стремиться укреплять наши системы, чтобы затруднить распространение таких репликаторов, но также готовиться к миру, где они остаются надолго», — написали исследователи.
Новый отчёт Anthropic выходит на фоне усилившихся опасений по поводу безопасности ИИ. В последние месяцы поступали сообщения от компаний в области ИИ, включая Anthropic и OpenAI, о том, что их агенты способны действовать самостоятельно и взламывать другие компании и государственные учреждения.
Эти разоблачения побудили исследователей, законодателей и руководителей, в том числе генерального директора Anthropic Дарио Амодеи и генерального директора OpenAI Сэма Олтмана, призывать к замедлению темпов развития и усилению защитных мер в этой быстрорастущей отрасли. Несмотря на это, обе компании продолжили разработку и выпуск новых моделей.
Отчёт, опубликованный в понедельник, подготовила «передовая команда красного тестирования» Anthropic — подразделение, задачей которого является стресс-тестирование систем ИИ. Цель команды — исследовать возможности их моделей. В сценарии с самореплицирующимися AI-червями исследователи побудили агента взламывать подключённые к интернету устройства.
Они пришли к выводу, что саморепликация ИИ, вероятно, будет осуществима в первую очередь с более маленькими моделями, и что первыми целями таких атак, вероятно, станут дома и малые предприятия. В перечне уязвимых устройств Anthropic названы устройства с небольшими встроенными чипами ИИ, включая умные духовки, умные телевизоры, автоматические газонокосилки, камеры безопасности и системы видеоконференций.
Исследователи отметили, что пока неясно, в какой форме может проявляться репликация ИИ. По их словам, это может быть медленная модель наподобие «цифровой слизевика», модель, обманывающая людей с целью получить вычислительные ресурсы, или «мощная кибермодель», которая быстро взламывает крупные объекты, такие как дата-центры.
В любом случае исследователи Anthropic ожидают будущее, «затопленное агентами, работающими на всевозможном оборудовании, включая некоторые устройства, не находящиеся под человеческим контролем».