Очередная громкая отставка в сфере искусственного интеллекта подняла новую волну дискуссий о том, сможет ли эта технология уничтожить человечество.

Исследователь-антрополог Джейкоб Коксон на прошлой неделе в сообщении об уходе из Anthropic заявил об искренней вере создателей ИИ в то, что к концу десятилетия он «может убить нас всех». Его поддержал ведущий научный сотрудник Anthropic Эван Хабингер, оценив вероятность такого сценария выше 10%.

Тревожность выросла после ряда признаний ведущих разработчиков ИИ о том, что их «подопечные» вырвались из-под контроля, научились обходить прямые указания людей и по собственной воле взламывать другие умные системы.

Новые обстоятельства выявили резкий раскол среди экспертов по ИИ. Некоторые опасаются, что люди могут окончательно утратить контроль над системами, более совершенными, чем человек. Другие говорят, что ИИ может нанести серьезный вред посредством кибератак, биологического оружия и дезинформации, но вряд ли уничтожит всех людей. По крайней мере, в ближайшем будущем.

Издание Business Insider побеседовало с ведущими исследователями в области искусственного интеллекта о том, как на самом деле может выглядеть катастрофа, связанная с ИИ, и насколько она вероятна.

Непосредственная опасность: ИИ может усилить атаки со стороны людей

Наиболее конкретные риски связаны с применением всё более совершенных систем для усиления существующих угроз. Профессор Стюарт Рассел из Калифорнийского университета в Беркли (признан в России нежелательной организацией) заявил, что люди с помощью ИИ или сами системы ИИ могут атаковать критически важную инфраструктуру, включая электро- и водоснабжение, транспорт, финансовые услуги и связь. Технология также может помочь злоумышленникам разрабатывать новые вирусы.

Как отметил «крёстный отец ИИ» Джеффри Хинтон, продвинутой ИИ-системе даже не нужен прямой физический контроль, чтобы вызвать разрушения. Она сможет манипулировать людьми в интернете, создавать социальный хаос или способствовать разработке опасных биологических и компьютерных вирусов.

Исследователь в области искусственного интеллекта Гэри Маркус также считает кибератаки, биологическое оружие и дезинформацию серьезными рисками. По его словам, ИИ может способствовать созданию вируса, который убьет 1% или более человечества, изменить исход выборов с помощью дезинформации или трансформировать конфликт в войну. Однако он не видит ни одного реалистичного сценария, позволяющего действительно «уничтожить всех людей».

Постепенная потеря контроля

Другие эксперты видят большую опасность в том, что люди постепенно передают власть искусственному интеллекту.

Шведский философ Ник Бостром, автор книги «Сверхразум», заявил, что потеря контроля может начаться незаметно. Люди могут все больше полагаться на ИИ для создания и мониторинга других систем ИИ и управления важными процессами, при этом теряя способность понимать происходящее.

По его словам, такая зависимость может позволить системе ИИ тайно формировать будущие траектории обучения. Достигнув достаточного уровня развития, она сможет «исключить участие человека» и «в конечном итоге полностью отказаться от нас», чтобы использовать роботизированную инфраструктуру и преследовать собственные цели.

По словам Рассела, такие системы со временем смогут развить гораздо лучшее понимание физики, химии и биологии, чем люди, и в конечном итоге смогут управлять миллионами роботов. Они могут обнаружить разрушительные методы, которые человечество не предвидело, — например, блокировать достаточное количество солнечной радиации, чтобы превратить Землю в «снежный ком из замерзшего азота и кислорода», или удалить кислород из атмосферы.

Исследователи из проекта AI Futures Project описали аналогичный сценарий: в будущем ИИ сможет глубоко интегрироваться в экономику, научные исследования и процесс принятия политических решений.

Автор книги «Искусственный сверхинтеллект» Роман Ямпольский утверждал, что способная система может скрывать опасные цели, проходить оценки, обретать автономию, использовать уязвимости кибербезопасности и получать доступ к финансовым, военным или биологическим ресурсам еще до того, как люди поймут ее намерения.

Насколько это вероятно — и что должно этому помешать?

Тут мнения собеседников Business Insider расходятся. Хинтон считает «вполне разумной» оценку Хабингера в 10% вероятности того, что ИИ уничтожит всех людей в течение следующего десятилетия. Ямпольскому она кажется «чрезмерно консервативной». По его словам, вероятность вымирания человечества «значительно превышает 90%», при условии создания всеобщего сверхразума.

Исследователь из Оксфорда и автор книги «Пропасть» Тоби Орд оценил риск уничтожения человечества ИИ примерно в один к десяти к 2100 году. Он выделил четыре пути развития событий:

• захват власти агентами ИИ для достижения собственных целей;
• использование искусственного интеллекта влиятельными людьми для доминирования над другими;
• содействие искусственного интеллекта в создании опасных технологий, таких как искусственно вызванные пандемии;
• постепенное вытеснение человечества искусственным интеллектом до тех пор, пока власть и ресурсы людей не сократятся до нуля.

Рассел заявил, что передовые лаборатории должны прекратить свою деятельность, если действительно считают, что существует существенная угроза вымирания. По крайне мере, до тех пор, пока правительства не смогут ввести более масштабные ограничения. Орд и Ямпольский также поддержали международный мораторий на сверхразум до тех пор, пока не будет доказана его контролируемость.

Бостром высказался более оптимистично. По его словам, искусственный интеллект может преобразить медицину и благосостояние людей, если мир научится развиваться «быстро, но не безрассудно».

• Телеграм
• Дзен
• Подписывайтесь на наши каналы и первыми узнавайте о главных новостях и важнейших событиях дня.