«Терминатор» или технологический помощник. Чем может обернуться бесконтрольное развитие искусственного интеллекта к 2030 году?
К 2030 году нейросети планируют внедрить во все ключевые сферы — от экономики и госуправления до медицины и образования. Однако один из создателей современного ИИ, нобелевский лауреат Джеффри Хинтон предупреждает: разработка сверхинтеллекта без научного консенсуса о его безопасности грозит человечеству вымиранием. Главный вызов эпохи — не вычислительная мощность алгоритмов, а то, сумеем ли мы сохранить контроль над машиной. О сценариях развития технологий — в специальном материале MIR24.TV.
Почему сложно оценить и контролировать ИИ?
Российский ученый, кандидат экономических наук, специалист по технической защите информации Сергей Гатауллин поясняет: чтобы сегодня говорить о беспрецедентном вызове человечеству в виде создания систем искусственного интеллекта, которые могут превзойти человечество в мыслительных способностях, надо дать точное математическое определение таким способностям. Несмотря на заметное развитие ИИ технологий, такого определения до сих пор не существует.
«В компьютерных науках и когнитивистике нет консенсуса о том, что такое «интеллект» или «мыслительные способности» в строгом математическом выражении. Существуют отдельные локальные попытки, не имеющие обобщений. На практике ИИ оценивают эмпирически через бенчмарки, которые измеряют навыки решения конкретных задач, включая длинные контексты и цепочки рассуждений, а не способность систем мыслить. Пока мы пытаемся регулировать и контролировать то, что до сих пор не умеем ни оценить, ни измерить».
При этом под давлением коммерческого фактора в гонке технологий бизнес и государства зачастую адресуют вопросы этики и безопасности по остаточному принципу, приоритизируя скорость релиза моделей. То есть риски вредоносного воздействия, направленного как на саму модель, так и против окружающей среды действительно существуют.
Эксперт считает, что в ближайшие несколько лет технологии искусственного интеллекта будут активно развиваться, оказывая давление на многие сферы человеческой жизнедеятельности, от индустрии комфорта до рынка труда.
«Если убрать эмоциональные аспекты, то в среднесрочной перспективе мы будем наблюдать классическую технологическую модернизацию. История уже проходила подобное во время промышленной революции, появления конвейера или внедрения интернета. Искусственный интеллект станет привычным инфраструктурным слоем, оптимизирующим процессы», — сказал Сергей Гатауллин.
Нейросеть пока не заменит опытного специалиста
«Что касается «вышедшего из-под контроля ИИ», то почти автономная работа нейросетей уже реальна. Допустим, в кибербезопасности агенты сами классифицируют оповещения, собирают контекст об инциденте, анализируют журналы, проводят сканирование, проводят исправления. Гораздо опаснее давать ИИ слишком много доступов к критическим данным и сервисам. Есть проблема с тем, что даже если модель почти безупречно выполняет один отдельный этап, с их увеличением растет вероятность ошибки, из-за чего задача будет провалена».
Для иллюстрации: если вероятность правильного выполнения каждого шага составляет 99%, то вероятность безошибочно пройти цепочку из ста независимых шагов будет около 37%.
Еще ИИ-агент может неверно понять цель, принять недостоверные данные за настоящие, сообщить об успехе, которого не было, попасть под промпт-инъекцию или продолжить работу после выхода за допустимые границы. Чем дольше выполняется задача и чем больше систем доступно агенту, тем труднее гарантировать безопасный результат.
«Поэтому я считаю, что автономный и при этом безошибочный ИИ труднореализуем — а если и реализуем, то он никогда не должен оставаться без контроля человека, хотя бы на промежуточных и критических точках своей работы», — подчеркивает Кочетков.
С точки зрения кибербезопасности, самая срочная угроза — снижение порога входа в киберпреступления. Проводить атаки могут больше людей, и для этого им не нужны сильно продвинутые технические навыки, считает эксперт:
«Последствия уже можно наблюдать: из-за нейросетей отдельные этапы кибератак становятся дешевле, ИИ позволяет параллельно обрабатывать множество целей, помогает менее квалифицированным злоумышленникам выполнять отдельные операции, для которых раньше требовалась целая команда».
При этом опытный специалист по-прежнему представляет более серьезную угрозу, чем новичок с чат-ботом. ИИ хорошо ускоряет разведку, социальную инженерию, фишинг, обработку похищенной информации, но пока не заменяет глубокое понимание инфраструктуры и умение действовать в нестандартной ситуации.
«Наиболее масштабный социально-экономический риск — исчезновение рабочих мест, — говорит Антон Кочетков. — Вероятнее всего, что сначала будут исчезать и перераспределяться отдельные функции, а уже затем профессии целиком. Опасность здесь еще и в том, что если поспешно заменить специалистов автоматизированными системами, будет утеряна экспертиза, необходимая для проверки решений ИИ».
Как конкуренция стран за лидерство в ИИ ведет к игнорированию рисков?
IT-специалист Юрий Гизатуллин считает иначе. По его словам, конкуренция между странами за лидерство в новом цифровом мире приводит к тому, что контроль над скоростью развития ИИ уже потерян, а в скором времени приведет и к полной потере контроля над ним. Ситуация напоминает создание атомной бомбы наперегонки 80 лет назад — битва, которая закрепила позиции лидеров мира на следующие десятилетия.
Сейчас происходит то же самое, но в новом цифровом мире.
«Мы не успеваем осознать всю мощь ИИ, но и остановиться подумать не можем: кто остановится, тот отстанет. Но в отличие от гонки в 50-х, в сегодняшней гонке Россия почти не принимает участия, ввиду отсутствия технической возможности — нет чипов. Но есть хорошие умы, создающие софт, вся надежда на них теперь. Сверхразумом часто называют гипотетический ИИ, который превосходит человека практически во всех интеллектуальных задачах, а не только в отдельных, как сейчас. Каждый новый релиз того же ChatGPT улучшает позиции ИИ относительно человека, а последняя версия и вовсе стала выполнять сложнейшие цепочки задач в одном окне самостоятельно от заказа продуктов на сайте до создания цифровых сервисов. Еще пару версий — и AGI, так называется сверхИИ, будет достигнут».
Главная проблема в том, что ни одна из сторон не думает о безопасности, отдавая ИИ все данные и интегрируя практически во все элементы жизни. В ближайшие несколько лет большая часть повседневных задач будет решаться или ИИ-сервисами голосом, или роботами со встроенным ИИ, которых уже презентовали.
«При хорошем стечении обстоятельств мы получим армию помощников, которые сделают нашу жизнь лучше, при плохом — увидим сюжет фильма «Терминатор». И единственное, что мы сегодня можем сделать — разбираться в ИИ и активно учиться им пользоваться. Если не можете остановить ИИ — возглавьте его», — отметил эксперт.
Как сочетать автономность нейросетей с ответственностью человека?
«Я бы не сказал, что человечество уже «теряет контроль над ИИ». Скорее, мы впервые столкнулись с технологией, скорость развития которой может оказаться выше скорости, с которой общество успевает выстроить правила ее применения. Основные опасения сейчас вызывает применение автономных агентов, потому что пока система отвечает на запрос человека, человек чувствует контроль, но, когда ИИ получает возможность самостоятельно ставить промежуточные задачи, пользоваться внешними сервисами, принимать решения и действовать без постоянного подтверждения человека, это непривычно и кажется, что контроль утерян».
Международный отчет по безопасности ИИ отдельно отмечает, что именно автономность агентов повышает риски, поскольку человеку сложнее вмешаться до того, как ошибка приведет к последствиям.
Сверхразум в этом контексте — гипотетическая система, уточняет аналитик, которая превосходит человека по интеллектуальным способностям практически во всех областях. До разработки настоящей «машины с сознанием» при этом человечество еще не дошло.
«Если же система сможет самостоятельно планировать, учиться, создавать новые решения и влиять на окружающую среду, разрыв между ее возможностями и человеческими возможностями принятия решений может стать очень большим, — размышляет Борис Латкин. — При этом ответственность за настройку, правила, сферу и объем применения такой системы по-прежнему остается на человеке».
Потому главная задача: еще до массового внедрения определять границы полномочий ИИ, уровни доступа, точки обязательного человеческого контроля и сценарии безопасной остановки.
«Думаю, что в ближайшие несколько лет мы увидим именно это: ИИ будет все глубже входить в процессы, где раньше решения принимались исключительно людьми — от бизнеса и проектирования до науки и управления, — комментирует Латкин. — Поэтому конкурировать будут уже не те, кто быстрее внедряет ИИ, а те, кто научится сочетать его автономность с прозрачностью, проверяемостью и ответственностью человека за конечное решение. Иными словами, нам не столько нужно остановить развитие ИИ, сколько научиться проектировать его и правила его использования так, чтобы рост возможностей не означал потерю управляемости».
Что реально ждать в ближайшие годы?
На одном из тестов, где агентам необходимо работать с обычными компьютерными приложениями и операционными системами, результат лучших систем вырос примерно с 12% до 66,3%. При этом на структурированных тестах ИИ-агенты все еще проваливают примерно каждое третье задание.
«Под «сверхразумом» обычно понимают пока гипотетический ИИ, интеллектуальные возможности которого значительно превосходят человеческие в широком спектре задач. Такой искусственный сверхразум сегодня не существует, а общепринятой даты его возможного появления нет. Важно не смешивать две совершенно разные темы, реальные проблемы нынешних моделей и возможные риски будущего сверхразума. Уже сегодня задокументированы ошибки ИИ, его использование для мошенничества и киберопераций. При этом полностью автономных кибератак без участия человека в реальном мире, согласно Международному докладу по безопасности ИИ, пока не зафиксировано. Сценарий полной потери человеческого контроля остается предметом серьезной научной дискуссии, причем эксперты существенно расходятся в оценках его вероятности».
В ближайшие несколько лет гораздо реалистичнее ожидать не «бунта машин», а постепенной перестройки цифровой экономики. ИИ-агенты, вероятно, будут выполнять все более длинные цепочки задач, искать информацию, анализировать документы, писать код и взаимодействовать с программами. Примерно 88 % опрошенных организаций уже применяют ИИ, но доля использования ИИ‑агентов в отдельных бизнес‑функциях пока измеряется единичными процентами.
Насколько быстро ситуация изменится дальше, достоверно неизвестно.
По словам Анны Овсянниковой, международный доклад по безопасности ИИ рассматривает сразу несколько возможных траекторий до 2030 года от замедления или плато до продолжения нынешнего темпа и резкого ускорения прогресса. Для России это не только источник новых рисков, но и технологическая возможность.
«В стране действует Национальная стратегия развития искусственного интеллекта до 2030 года. При этом направление «Искусственный интеллект» официально включено в число федеральных проектов национального проекта «Экономика данных и цифровая трансформация государства». Наиболее рациональная стратегия — одновременно развивать собственные модели, инфраструктуру и специалистов и повышать требования к надежности и безопасности ИИ», — уточняет в интервью аналитик.
Главный вопрос ближайших лет не в том, «станет ли машина умнее человека завтра», а в том, сумеем ли мы использовать все более мощные системы, не передавая им больше полномочий, чем способны надежно контролировать.
Вместе с тем о повсеместном внедрении ИИ уже сейчас говорят российские педагоги, отмечая, что в сфере образования эта проблема особенно ощутима: современные студенты перестают думать самостоятельно, поручая все свои задачи нейросетям.
«Преподаватели стараются подстроиться под современную реальность, давая такие задания, с которыми может справиться только человек. Если современное поколение привыкнет думать с помощью ИИ, останется меньше думающих людей — следовательно, это оставит отпечаток на современном обществе и отразится на будущих специалистах. Предстоит менять методики, создавать специальные условия сотрудничества естественного и искусственного интеллекта, чтобы учить студентов мыслить автономно, поручая ИИ только рутинную работу».
В виде эксперимента ученые однажды задали ИИ вопрос: «Ты планируешь захватить мир?» — на что он ответил: «Нет, мне не нужно его захватывать: вы отдадите мне его сами…».