«Важно уметь отличать мИИфологию от реальности. В США генеративный ИИ пока генерирует, главным образом, убытки и долги»
Тема генеративного искусственного интеллекта и его страшных угроз человечеству остается на первых позициях в новостных сводках. О том, какие качественные изменения происходят сегодня в мире и в нашей стране в области безопасности информационных систем, использующих технологии ИИ, — очередной [1] разговор с академиком РАН Игорем Шереметом.
— Игорь Анатольевич, у Вас был очень напряженный летний период: международные научные конференции, где Вы выступали с докладами, и другие мероприятия, связанные с темами информационной безопасности и искусственного интеллекта. Где, на Ваш взгляд, произошли самые значимые «переходы количества в качество», как в мире, так и в нашей стране?
— Начну с того, что мое отношение к большим языковым моделями генеративному ИИ как средству оптимизации интеллектуального труда не изменилось.Он относится чисто к вербальному уровню человеческого мышления и практически не затрагивает уровень умозаключений, то есть применения причинно-следственных связей для получения новых сведений, знаний и так далее.Тем более для формирования новых подобных связей. Однако накал пиара на поляне LLM не снижается.
«Как же не затрагивает уровень умозаключений?! — воскликнут апологеты и промоутеры LLM. — Сколько теорем уже доказал генеративный ИИ, сколько математических задачрешил, над которыми лучшие умы человечества бились сотни лет! А сколько защищенных сетей взломал! Это ли не демонстрация того, что искусственный интеллект уже превзошел естественный и достиг стадии суперинтеллекта?!!!»
Я думаю, имеет смысл спокойно разобраться в том, где здесь мИИфология, а где рациональное зерно.
— Давайте отделим зерна от плевел.
— Что касается математики, то хорошо бы послушать тех, кто занимается этим делом профессионально. Вспомним хотя бы так называемую Лейденскую декларацию, которую в июне этого года подписали более 150 ведущих математиков мира, и открытое письмо 25 лауреатов медали Филдса — аналога Нобелевской премии для математиков, опубликованное в сентябре этого года на сайте движения Math and AI (Математика и искусственный интеллект). По мнению ученых, вызывает сожаление использование компаниями-операторами больших языковых моделей фундаментальной науки в качестве инструмента маркетинга. Пытаясь набрать дополнительные баллы перед выходом на IPO, ИИ-компании с нарастающей интенсивностью анонсируют в пабликах «прорывы», которые, однако, профессиональным сообществом математиков никак не подтверждаются (более того, известен случай примитивного жульничества на этой теме).
Зададимся простым вопросом: если в разговорном общении с чат-ботом его «галлюцинации» — стандартная вещь, то с какой стати можно доверять «доказательству», сочиненному аналогичным «ботом-математиком». Подобно тому, как нейроимитатор разговорного профиля генерирует весьма правдоподобные тексты, в общем случае содержащие ошибочные утверждения (ну, просто в силу того, что они содержались в текстах, поданных на вход системы на этапе ее обучения), так и нейроимитатор математического профиля может формировать весьма правдоподобные «доказательства», в которых ошибок на единицу текста так же немало. Однако для их выявления серьезные математики должны бросить все и потратить уйму времени и сил на верификацию цепочек рассуждений ботов, состоящих из многих тысяч или даже миллионов шагов. Понятно, что никто и никогда этого делать не будет, и собственно, на этом и держится упомянутая мИИфология, или, как говорили на заре LLM, «рекламный балаган Альтмана» (то есть OpenAI, а теперь еще и Anthropic, и xAI, и других наиболее активных игроков на этой поляне). И самое главное: все эти «доказательства» — это опять-таки не уровень умозаключений (рассуждений) человеческого разума (хотя слово «рассуждение» — reasoning — во все пресс-релизах ИИ-компаний, разумеется, имеет место), а по-прежнему его вербальный уровень, просто с другим набором атомарных единиц (токенов).
Хочу обратить внимание на то, что здесь кроется страшная опасность для всего человечества. Предположим, что «бот-математик» «доказал», что дважды два семь. Разработчик программных средств для системы управления атомной электростанцией или биохимическим производством воспроизвел это утверждение в виде участка программного кода, и в какой-то момент реального функционирования этой системы на выходе управляющего устройства вместо четырех появилось семь… Чтобы вообразить, к чему это может привести, не надо быть голливудским сценаристом...
Посмотрим теперь на другое «хайповое» направление — применение LLM для проникновения в защищенные компьютерные сети. Здесь в последние полгода просто поток сенсаций.
ИИ-агент Claude Mythos компании Anthropic взломал Hugging Face, популярную платформу для работы с генеративным ИИ.
Группа ИИ-агентов, разработанных специалистами OpenAI, взломала немецкоязычный вики-сайт и превратила его в свой форум.
Начались «кибервойны» с участием LLM, жертвами которых становятся сами их разработчики. Широкую известность получил взлом сети OpenAI, осуществленный путем применения ИИ-агента Claude Opus от Anthropic.
И так далее, и тому подобное…
Я думаю, имеет смысл несколько подробнее остановиться на ударном словечке «взлом», которое с азартом артикулируется в масс-медиа и провоцирует массовые болезненные ассоциации, и задуматься над тем, что за ним реально стоит.
Здесь никакого «суперинтеллекта» тоже нет.
— А что есть?!
— Всем известны системы обнаружения вторжений в сети (Intrusion Detection Systems, IDS) и системы глубокого анализа пакетов (Deep Packet Inspection/Deep Packet Processing, DPI/DPP). Они ведут обработку трафика, проходящего через соединения между защищаемой сетью и сетью Интернет, и накапливают логи, то есть последовательности сообщений (дейтаграмм), проходящих по указанным соединениям в обоих направлениях; кто кому что посылал, и как реципиент отвечал на поступившие дейтаграммы. Если теперь «прочесать» накопленные логи на предмет изъятия из него субтрафиков успешных кибератак по всем доступным защищаемым сетям, то можно использовать полученный массив для реализации подобных атак на любые другие сети.
Если в этих целях используется нейроимитатор, то указанный массив можно «скормить», например, тому же «Мифосу», то есть обучить его вести «чат» с любой другой сетью посредством дейтаграмм, образующих пути в дереве, которое может быть построено на основе указанного массива. И на этапе инференса обученный таким образом «Мифос» вполне может пройти по одному из путей в этом дереве и добраться до «беззащитного» ресурса.
Завершая эту тему, могу только сказать, что абсолютного оружия не существует, и глубокие сканеры безопасности на основе нейроимитаторов таковым тоже не являются. Они успешны, пока не внедрены средства противодействия им — хотя бы (первое, что приходит на ум) ловушки (honeypots) или слегка модифицированные средства распознавания и нейтрализации DDoS-атак. Когда сканеру с первой попытки не удается проникнуть внутрь некоторого пространства IP-адресов через какой-либо IP-адрес и какой-либо его порт, он, естественно, начнет перебирать IP-адреса и отправляемые на них дейтаграммы, имеющиеся в построенном на этапе его обучения дереве, и такую активность нетрудно будет обнаружить…
Однако пока подобные средства противодействия на рынке не появились, глубокие сканеры безопасности на основе нейроимитаторов будут представлять серьезную опасность для всего Интернет-зависимого человечества.
— Кстати, среди вала «подтверждений интеллектуальности» LLM в рамках ведущихся их разработчиками пиар-кампаний что-то не наблюдается победоносного участия чат-ботов в шахматных партиях и турнирах…
— Да, это так. Более того, нередко можно встретить достаточно глубокие аналитические статьи с заголовками типа «Почему LLM плохо играют в шахматы?». Казалось бы, чего проще: обучи модель на всех доступных партиях (которых в сравнении с количеством загружаемых текстов на естественных языках относительно немного), и на этапе инференса, то есть в ходе чата, имитирующего реальную партию, LLM-шахматист пойдет по дереву ходов так же, как это делает LLM-сканер защищенности по дереву логов IDS. Так-то оно так, но куда придет? К выигрышу, ничьей или поражению? А вот это как получится, хотя противник «шахматиста» будет уверен, что играет с человеком (и в этом смысле чат-бот может успешно пройти «шахматный тест Тьюринга»)…
Никаких средств анализа последствий очередного хода на N>0 ходов вперед в примитивном базовом алгоритме LLM нет. Более того, если в какой-то момент противник сделает ход, который ни в одной из загруженных на этапе обучения партий не встречался, «шахматист» выйдет из игры (возможно, находясь в абсолютно выигрышной позиции, в которой следующим ходом даже начинающий игрок мог бы поставить противнику мат) и проиграет партию, ибо для него отсутствие продолжения текста означает останов… А ведь как красиво это бы выглядело: ChatGPT (Claude, Gemini, Grok…) версии Chess в девяти партиях из десяти победил Карлсена (Ананда, Крамника…) и тем самым с полной определенностью и окончательно доказал появление суперинтеллекта на основе LLM!!!
Здесь уместно напомнить, что говорили еще в ноябре 2025 года специалисты, стоявшие у истоков LLM: сооснователь OpenAI Илья Суцкевер («Масштабирование LLM достигло технологического предела, и дальнейшее развитие ИИ требует новых идей, а не наращивания дата-центров») и главный специалист по ИИ компании, которая раньше называлась Facebook, Ян ЛеКун («LLM — тупиковая ветвь ИИ»). Оба ученики нобелевского лауреата Джеффри Хинтона, который еще в 2023 году покинул Google по причине несогласия с коммерциализацией LLM в силу их в принципе неустранимых дефектов, неадекватности и несовершенства…
— Наверное, в этой ситуации полезнее более подробно остановиться наразрастании спектра угроз, которые проистекают из повсеместного распространения и использования больших языковых моделей?
— Я бегло коснулся этого вопроса, говоря об «LLM-математиках» и «LLM-хакерах». Итак, если «отстроиться» от хайпа, то LLM — это очередное поколение компьютеров с нетрадиционной относительно известных моделей вычислений архитектурой и принципами функционирования и применения, «вроде бы» имитирующими человеческий мозг (хотя в предыдущем интервью я упоминал о том, что, как показывают последние данные нейрофизиологии, лежащая в основе LLM модель нейрона МакКаллока-Питтса издания 1943 года абсолютно неадекватна строению и функционированию реального нейрона и в целом человеческого мозга). Но какими бы эти принципы ни были, освоив их, можно на самом деле пытаться решать те или иные задачи из различных областей. При этом, однако, надо иметь в виду, что, в отличие от, скажем, моделей фон Неймана и Тьюринга, LLM — вычислитель недетерминированный, и, применяя его, очень важно не снизить уровень ответственности за возможные результаты его использования.
— Тут глава Anthropic Дарио Амодеи и выступил со своим предложением специально замедлять технологическое развитие передовых ген ИИ-моделей, поскольку, дескать, меры безопасности не успевают за их прогрессом.
— Как мне представляется, в этом предложении есть два важных аспекта. Первый состоит в том, что Anthropic и другие доминаторы рынка LLM таким, вроде бы благородным способом хотели бы сохранить отрыв от конкурентов. Второй — они, наконец, осознали, к каким последствиям может привести их активность.
— Думаете, в предположениях г-на Амодеи о том, что через 6–12 месяцев ИИ сможет захватить весь Интернет и нанести ущерб в сотни миллиардов долларов, есть доля правды?
— Вы удивитесь, но именно в силу своего «нейроскептицизма» и критического отношения к LLM я в определенной мере разделяю опасения этого господина, а также еще одного руководителя компании Anthropic — Эвана Хьюбингера — который оценил вероятность уничтожения человечества ИИ в ближайшие десять лет на уровне 10%. Но разделяю опасения именно в определенной мере: вовсе не потому, что ИИ обретет какую-то собственную волю и станет неуправляемым, а потому, что нарастает вал бесконтрольного применения содержащего внесенные разработчиками функциональные дефекты ИИ, как говорится, по поводу и без повода, в любых корпоративных задачах. И тогда эта примитивная технология действительно сможет нанести человечеству немалый ущерб.
Кстати, результатом оголтелой, навязчивой пиар-компании по продвижению LLM стала массовая аллергия на сам термин ИИ. Недавно президент США своим указом заменил этот термин на «суперинтеллект», что, на мой взгляд, еще дальше от существа того, что этим термином именуется. В предыдущем интервью я предлагал заменить «искусственный интеллект» на «компьютерный», но сейчас думаю, что наиболее адекватным был бы термин «технический интеллект» (ТИ). Тем более что аббревиатура КИ уже достаточно прочно закрепилась за термином «критическая инфраструктура». В то же время достаточно давно используется совершенно адекватный термин «техническое зрение», по отношению к которому ТИ естественным образом является понятием более высокого уровня.
— Раз уж Вы упомянули суперинтеллект, что скажете о «силах суперинтеллекта», создание которых анонсировал только что Дональд Трамп?
— Велик и могуч американский язык… Одним и тем же словом Force у них именуют военно-воздушные силы США (US Air Force) и рабочую группу из четырех человек (Super Intelligence Force), в состав которой входят глава разведсообщества (к слову, до недавнего назначения на пост директора национальной разведки возглавлявший комиссию по ценным бумагам и биржам), председатель федеральной торговой комиссии, замминистра обороны (извините, войны) по исследованиям и разработками главный кадровик Белого дома. А в названии сил специальных операций слово forces стоит во множественном числе — Special Operation Forces (я уже не говорю про слово intelligence, которое у них означает то интеллект, то разведку…). Посмотрим, что эта Force скажет через 120 дней, которые ей выделил Трамп.
Кстати, еще раз об особенностях американской мовы, которая абсорбирует, в том числе, и русицизмы: руководителя этой группы президент США именует не иначе как Super Intelligence Tzar (царь суперинтеллекта), видимо, полагая, что этот титул придает ему особую значимость.
— Давайте продолжим про угрозы, которые исходят от искусственного интеллекта.
— Я бы разделил весь спектр этих угроз на четыре группы. Первая из них включает деструктивное и манипулятивное воздействие на человеческое сознание и психику, вторая — на объекты техносферы, третья — на биосферу и организм человека, а четвертая — на экономику. Начнем с первой.
Исследователи Массачусетского технологического университета (MTI) провели очень простой эксперимент. Трем группам испытуемых было предложено написать эссе на заданную тему. Первой было разрешено пользоваться ChatGPT, второй — поисковиком Google, а третьей — ничем, то есть сочинять, опираясь только на собственные знания. Через несколько часов по завершении работы участников эксперимента попросили воспроизвести то, что они написали. Люди из третьей группы воспроизвели свои сочинения практически полностью, из второй — примерно половину, а из первой — просто не смогли вспомнить, что они написали. Это не удивительно, поскольку писали не они, а ChatGPT.
А теперь сопоставим эти данные с приведенной мною в предыдущем интервью цифрой: 87% российских школьников используют ChatGPT для выполнения домашних заданий. Что на выходе? Поколение не просто безграмотных,асовсем не умеющих думать людей, уже называемых в пабликах ИИнвалидами. Это, без преувеличения, страшно…
Второй значимый аспект. Слепое, бездумное следование рекомендациям по использованию LLM, которые предписывают для повышения качества результатов инференса загружать на этапе обучения как можно больше документов («чем больше сведений вы скормите ИИ, тем умнее он станет»), приводит к колоссальным утечкам чувствительной информации из российских сетей на зарубежные серверы LLM. Количество таких документов за 2025 год в сравнении с 2024-м выросло в 30 (!!!) раз.
Не менее информативны для зарубежных анализаторов российского сегмента Интернет и сами промпты, поступающие от российских пользователей. Насколько легко манипулировать этими пользователями в условиях их полного доверия к получаемым ответам, говорить, видимо, не стоит… А сколько и каких вредоносных имплантов внутри чат-ботов, которые упомянутые пользователи загружают на свои компьютеры и смартфоны, не знает никто; никто исполняемый код этих ботовне исследует и не сертифицирует… Никакой кибербезопасности тут и рядом не стояло, и это результат такой своеобразной социальной инженерии, обеспечивающей по сути манипулятивное воздействие на массовое сознание Интернет-сообщества.
— А есть еще дипфейки…
— Это еще одна технология подобного воздействия, которая уже стала обыденностью. В июне этого года я в качестве приглашенного докладчика принимал участие во Всемирном конгрессе по искусственному интеллекту в Осаке (Япония), и среди прочих прослушал очень интересный доклад, который сделал руководитель специализированной исследовательской лаборатории Университета Джорджия — ведущего центра компетенций в США по тематике распознавания дипфейков как вредоносного побочного продукта применения больших мультимодальных моделей (LMM). Список заказчиков лаборатории впечатляет: Управление перспективных исследований минобороны США (DARPA), Национальный институт стандартов США (NIST), Национальный научный фонд США (NSF), Центр исследований и разработок минобороны Канады (DRDC) и другие. Одним из популярных результатов работы этой лаборатории является девайс с забавным названием Deepfake-o-meter (дипфейкОметр), выявляющий признаки подделки видео- и аудиоконтента, — настолько массовым стало это явление в Америке.
А вот отклики программистов, которые стали использовать средства, основанные на LLM (здесь мы плавно переходим к массиву угроз техносфере, источником которых являются большие языковые модели). Они говорят: я чувствую, как меняется логика функционирования моего мозга, меняется стиль мышления — вместо того, чтобы понять задачу, посмотреть, как подобные задачи решали другие люди, проложить свой путь решения и сконструировать что-то, я работаю как редактор готового кода: правлю то, что мне дает LLM. «У меня в голове нет решателя, который позволил бы мне конструировать», — вот, что такой специалист говорит о себе. И что в результате такого процесса получится? А ведь таким образом уже и микросхемы конструируются:этот «чудесный» механизм уже заложен в так называемые интеллектуальные САПР, которые работают на базе LLM. А это уже прямая и массовая угроза техносфере — как со стороны подобных микросхем, так и со стороны программ, которые пишутся с использованием LLM или, как об этом любят с пафосом говорить промоутеры больших языковых моделей, самими этими моделями. Что-нибудь типа «модель Claude писала программу 54 часа и написала 500 мегабайт программного кода…». У меня как у человека, который несколько десятков лет посвятил разработке серьезных, на самом деле интеллектуальных, систем комплексной многоуровневой распределенной обработки интенсивных потоков гетерогенной, неполной, противоречивой и недостоверной информации в реальном масштабе времени (создатели еще одного расхайпованого в России изделия под названием Palantir, предназначенного для реализации подобных функций, тогда, видимо, еще учились в начальных классах своих американских школ), внутри просто холодеет от мысли, что такая программа будет эксплуатироваться на объектах российской техносферы!
Кто и как проверит эту программу на соответствие требованиям к ней и на наличие дефектов в ее коде? А ведь эти дефекты могут быть не просто «ошибками программирования», с большим или меньшим успехом выявляемые различными анализаторами кода. Для обнаружения таких ошибок могут понадобиться специальные знания из предметной области, для которой этот софт предназначен, и соответствующие методики. В конце концов, где то самое техническое задание на программное обеспечение, на соответствие которому должен быть проверены упомянутые 500 мегабайт? Где документация на него? Как его при необходимости модифицировать?! Иными словами, человечество в состоянии глобального отупения насыщает техносферу планеты Земля девайсами с непредсказуемым поведением, которое способно привести к техногенным катастрофам с каскадными эффектами, последствия которых могут стоить жизни сотням и сотням миллионов людей!
Про упомянутые выше кибератаки LLM на ресурсы Интернети говорить не приходится — они всего лишь следствие ошибок, изначально допущенных разработчиками ИИ-агентов. Отчасти этим обусловлены недавние призывы руководителей Anthropic и OpenAI «заморозить» разработки в области ИИ, о чем упоминалось ранее. Как тут снова не вспомнить Джеффри Хинтона…
— И это еще не все угрозы?
— Третий массив угроз — биосфере и здоровью людей — порождается повсеместно применяемой технологией реализации LLM на основе графических процессоров, имитирующих упомянутую модель нейрона МакКаллока-Питтса. Я об этом вспомнил в предыдущем интервью, где говорил такжеи о трех уровнях ментальной активности — перцептивном, вербальном и конклюзивном (уровне умозаключений). Успешное применение нейроимитаторов для решения задач перцептивного уровня — распознавания статических видеообразов в 2012–2015 годах — породило ложную уверенность в том, что на этом техническом базисе можно столь же успешно решать задачи ивысших уровней, то есть вести смысловую обработку текстов и реализовать разговорный ИИ. Результатом стали громадные дата-центры LLM (в США их уже 4000), состоящие из сотен тысяч таких процессоров, пожирающих гигаватты электроэнергии (не отсюда ли ГигаЧат?). По оценкам Национальной лаборатории Лоуренс Ливермор, к 2028 году дата-центры в США будут потреблять до 326 тераватт-часов электричества в год. Столько же сегодня потребляют 22% всех домохозяйств этой страны. К 2030 году глобальный ИИ по потреблению электроэнергии сравняется с сегодняшней Японией.
Свою лепту в этот процесс собирается внести и Россия. Один из руководителей одной стабильно успешной российской бизнес-структуры в интервью агентству Reuters в ноябре 2025 года допустил, что инвестиции в инфраструктуру ИИ могут и не принести ожидаемого эффекта, однако, развитие ИИ в России потребует в течение следующих 16 лет инвестиций в электрогенерацию в объеме 40 трлн рублей и в электросети — в объеме 5 трлн рублей (здесь уместно напомнить, что энергопотребление человеческого мозга, состоящего из 86 млрд нейронов, составляет 20–21 ватт). При этом для охлаждения серверов дата-центров требуются огромные объемы пресной воды (на этот счет появилась даже шутка — пародия на известную песенку Владимира Высоцкого — «воду выпили ИИ»). Согласно имеющимся оценкам, глобальное потребление воды дата-центрами утроится, и ИИ начнет потреблять такие же ее объемы, как сейчас Польша или Греция... Но и это не все.
Дата-центры нагревают земную поверхность вокруг них (от двух до девять градусов), и в зоне таких «тепловых островов» проживают уже около 340 млн человек. А ведь никто не оценивал экологические последствия такого потепления и его влияния на все живое в границах этих «островов» и на прилегающих к ним территориях.
Есть еще одна вредоносная особенность текущего этапа продвижения LLM. Электропитание многих дата-центров организуется по временной схеме — от газотурбинных установок, которые выбрасывают в атмосферу огромное количество вредных для здоровья людей оксидов азота. Наиболее характерный пример — крупнейший в мире дата-центр LLM Colossus — 2, на котором функционирует модель Grok, созданная компанией Илона Маска xAI. Этот дата-центр в период замеров с февраля по август 2026 года, выбрасывал от 730 до 1180 кг оксидов азота в час, тогда как аналогичные выбросы территориально ближайшей к нему газовой электростанции в это же время не превышали 21 кг. И так далее...
Естественно, что все приведенные мною данные известны и населению США, которое все активнее сопротивляется созданию инфраструктуры LLM. Согласно результатам опросов, опубликованным в мае 2026 года, 71% американцев выступают против строительства дата-центров ИИ в своих районах, а 48% категорически против этого. В июле 2026 года прошли общенациональные протесты Human First против дата-центров. Воздействие общественного мнения привело к тому, что в 2026 году было остановлено или отложено более 70 проектов дата-центров общей стоимостью около 130 млрд долларов.
— Но ведь ИИ повсеместно рекламируется как средство решения глобальных проблем, в первую очередь, экологических?
— Поразительно, но это факт: инфраструктура ИИ становится одним из крупнейших и опаснейших загрязнителей атмосферы планеты Земля... Кстати, в июле этого года я как заместитель председателя Комитета РАН по системному анализу был приглашен на инаугурационный семинар создаваемой при Международном институте прикладного системного анализа (International Institute for Applied Systems Analysis, IIASA) Академии Райффа (Говард Райффа — известный американский ученый в области системного анализа и исследования операций, первый директор этого института). Там я предложил следующий семинар Академии посвятить анализу последствий распространения ИИ для глобальной экономики, энергетики и экологии.
Надеюсь, что в 2027 году это событие произойдет, и удастся заложить организационные и научно-методологические основы непрерывной независимой экспертизы упомянутого процесса распространения ИИ. IIASA сегодня — это уникальная площадка для подобной работы.
Разумеется, апологеты LLM, зацикленные на продвижении своей технологии в предвкушении извлечения из нее немыслимой прибыли, не останавливаются и предлагают столь же немыслимые решения, направленные на нейтрализацию обозначенных выше негативных последствий. Впереди планеты всей, разумеется, Илон Маск. Сначала он агитировал за атомные мини-электростанции как средство энергоснабжения дата-центров (к слову, на этой поляне резко активизировались бывший Facebook, Amazon и Google, которые к 2050 году обещают утроить мировые мощности атомной энергетики). Потом — что уж мелочиться, да и свой космический бизнес, что называется, «ближе к телу» — Маск развернул новую пиар-компанию — по созданию космических дата-центров ИИ. В самом деле — в космосе холодно, так что проблема охлаждения процессоров решается как бы сама собой. Энергоснабжение — от солнечных батарей. А заодно и рейгановский проект «звездных войн» реализуется, тоже как бы сам собой — кто проверит, что там на орбите — LLM или средства поражения спутников и ракет других стран?
Здесь я не могу в очередной раз не восхититься рациональностью мышления китайских товарищей. Известны два их подхода к решению проявившихся проблем дата-центров. Первый — строить дата-центры на территории провинции Внутренняя Монголия, где среднегодовая температура минус четыре градуса. Электроэнергия — от ветрогенераторов, размещенных в горных районах c их постоянными плотными ветрами (это совсем не равнинная Европа, где уже стали отказываться от ветровых электростанций). Второй вариант — ставить серверы LLM на дне океана, где тоже холодно, а электроэнергию до подводного дата-центра доводить по кабель-канату от ветрогенератора на привязном аэростате, расположенном на высоте несколько сотен метров над уровнем океана, где, как и в горах, круглый год дуют сильные ветры. И относительно недорого, и экологично. Однако реализация любых таких подходов — это дополнительные инвестиции в и без того безумно дорогую инфраструктуру LLM. И здесь мы естественным образом переходим к экономике и угрозам, которые несут ей большие языковые модели.
— Каковы они? Если можно, в цифрах?
— Ежегодные затраты ведущих технологических компаний США (так называемого «бигтеха») на ИИ (главным образом, дата-центры LLM) достигли 800 млрд долларов, а в 2028 году вырастут до 1,1–1,2 трлн. Чтобы только «отбить» расходы 2026–2027 годов, бигтеху нужно около 1,42 трлн совокупной выручки в 2028–2030 годах. При этом его долговые обязательства уже превышают 3 трлн (убыток OpenAI за 2025 год составил 40 млрд долларов, что в три раза больше ее годовой выручки). Плюс китайцы со своими дешевыми LLM очень быстро отбирают у американских компаний значительную часть глобального рынка чат-пользователей (хотя число дата-центров LLM в Китае на порядок меньше, чем в США — «всего» 400)...
В 2025 году на Anthropic, OpenAI, Google, xAI и бывший Facebook приходилось 75–85% глобального LLM-трафика, а в 2026-м — порядка 25% (!!!). В июне 2025 года американские дата-центры обеспечивали выдачу 72% токенов по запросам пользователей, а китайские — 16%, а в июне 2026 года американские — только 32%, тогда как китайские — уже 47%.
В этой ситуации риски финансового «пузыря» в США растут, и никакие пиар-кампании (в том числе переименование ИИ в суперинтеллект и создание «сил» во главе с «ИИ-царем») эту тенденцию не отменят. Если этот пузырь лопнет, то, согласно обнародованным оценкам, похоронит порядка 20 трлн долларов в самих США и 15 трлн в других странах… Основным бенефициаром всех этих процессов остается производитель графических процессоров для дата-центров NVidia во главе с этническим китайцем Дженсеном Хуангом: капитализация этой компании уже достигла рекордных за всю историю человечества 5,7 трлн долларов. А будущее тех, кто стоял у истоков глобального пиара LLM (в первую очередь, OpenAI и Anthropic) и теперь стоит в начале этой пищевой цепочки, с переменным успехом пытаясь охватить все большее число конечных пользователей по всему миру, весьма туманно…
Поэтому упомянутые OpenAI и Anthropic в последнее время так активно претендуют на госзаказы, и администрация Трампа, как может, им помогает. «Первой ласточкой» стал указ президента США о GENESIS Mission, подписанный в ноябре прошлого года и направленный на расширение сферы применения ИИ в научных исследованиях. Поток «сенсационных» математических результатов, о котором мы говорили в начале интервью, призван убедить администрацию и американскую счетную палату — General Accounting Office — в том, что деньги налогоплательщиков, выделенных на GENESIS Mission, потрачены с пользой. В эту кампанию включился даже директор Агентства национальной безопасности США генерал Радд, который на весь мир объявил, что упоминавшийся мной выше ИИ-агент Claude Mythos взломал практически все самые закрытые сети АНБ… Надо полагать, эта новость увеличит стоимость акций Anthropic перед выходом на IPO. Но выплачивать обещанные дивиденды покупателям этих акций придется весьма скоро, а из каких средств, не очень понятно — погасить бы долги за инфраструктуру… Выручка от госзаказов относительно невелика, и вряд ли она спасет ИИ-стартапы, только 10% из которых сегодня в той или иной степени прибыльны; извините за каламбур, в США генеративный ИИ пока генерирует, главным образом, убытки и долги…
Многие аналитики считают, что сегодняшняя ситуация с LLM напоминает эпизод конца 1990-х годов, когда телекоммуникационные компании потратили на прокладку оптоволоконных кабелей более 500 млрд долларов, а после того, как этот пузырь лопнул, более 90% волокна оказалось ненужным, поскольку совсем не использовалось.
— А что в России?
— У нас 2026 год проходит под знаком невиданной активностив сфере ИИ. Принят Федеральный закон №243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации» от 26 июля 2026 года. 29 сентября принят к исполнению перечень поручений по итогам заседания Совета при Президенте Российской Федерации по науке и образованию, прошедшего 11 августа. Среди этих поручений есть напрямую направленные на реализацию положений указанного ФЗ. 24 сентября Председателем Правительства РФ утверждена «Концепция развития математических наук в Российской Федерации на период до 2030 года и на перспективу до 2036 года», в которой также немало места отведено ИИ. Наконец, правительственная подкомиссия под руководством вице-премьера одобрила проект национального плана по внедрению искусственного интеллекта на 2027–2030 годы.
— Что Вы можете сказать о содержании этих документов?
— Я не считаю возможным комментировать документы, подписанные высшими руководителями государства. Такие документы не обсуждаются, а, в части касающейся, исполняются.
Как председатель Научного совета РАН «Информационная безопасность» могу сказать, что, в соответствии с указанием президента Российской академии наук, мы расширили сферу ответственности нашего Совета направлением «Безопасный (доверенный) искусственный интеллект».
Безопасный искусственный интеллект — это такой ИИ, который, по определению, не может нанести ущерба людям, техносфере и биосфере. Вместо традиционной парадигмы кибербезопасности — защиты корректно работающей системы от киберугроз, то есть защиты от злоумышленников комплекса средств, который сам по себе дефектов не содержит и функционирует безупречно, мы переходим к другой: подвергаем сомнению тот факт, что система, в которой имеются «интеллектуальные» компоненты (например, обращения к LLM), сама не станет источником тех или иных угроз. При этом оценка доверенности нейросетевых систем нередко сводится к оценке целостности обучающих датасетовв предположении о безошибочности нейросетевых алгоритмов. Мы же исходим из того, что начинать нужно с оценки наличия в указанных алгоритмах смысловых, семантических дефектов.
К слову, в США уже появились компании, чей бизнес — верификация ИИ. Известно, что с одной из таких компаний — Irregular — сотрудничает OpenAI. Здесь уместно напомнить также, что в лучшие годы Microsoft в составе дивизиона разработки трудились 1800 программистов и столько же отладчиков-тестировщиков, и не надо думать, что привлечение «ИИ-программистов» типа упоминавшегося Claude отменит подобную пропорцию. Еще раз повторю: кто и как будет верифицировать и сертифицировать те упомянутые выше 500 мегабайт написанного им программного кода?
Не стоит также уповать на открытый код (собственно, «ИИ-программисты» только им и оперируют), как будто сам по себе open source является гарантией бездефектности системы, в которой он имеет место. Мне известны случаи, когда находили глубокие семантические ошибки в открытом коде, который использовался десятки лет в сотнях миллионов устройств по всей планете. С другой стороны, обнаружение кем-либо дефекта в каком-либо open source тексте вовсе не означает, что этот кто-то поделится своим знанием со всем миром. Существует весьма ненулевая вероятность, что этот дефект будет применяться им или его коллегами по цеху для противоправных действий. Сегодня для обмена такими сведениями и их покупки широко используется Даркнет).
— Речь идет о задаче оценки безопасности систем ИИ, причем, для всего человечества?
— Да, это новый взгляд на информационную безопасность и большая комплексная проблема. Ведь для исследования того, насколько корректно будет работать некий «интеллектуальный» девайс в самых разных условиях и ситуациях, нужны глубокие знания из той предметной области, к которой он относится. Образно говоря, если он предназначен для работы в области химии, экспертиза его безопасности должна проводиться с участием химиков. Если он работает с задачами из сферы биологии, то в состав экспертной группы нужно включить профессиональных биологов.
Наш Научный совет «Информационная безопасность» в этом смысле уникален — в нем представлено 13 отделений РАН: от аграрных и медицинских наук до математиков и химиков и даже политиков. Потому он и призван стать ядром, центральным, интегрирующим элементом для решения поставленной задачи — исследования вопросов создания и применения искусственного интеллекта, не создающего угроз окружающей среде и людям и в этом смысле безопасного.
В ноябре планируется провести первое заседание по новому направлению.
— Какие практические задачи ставятся перед новой структурой?
— Основная задача — экспертиза. Вообще говоря, это одна из двух основных задач РАН. Первая — генерация новых знаний; вторая — экспертиза того, что делается. Наша практическая цель в части нового направления — продумать и создать систему экспертизы технологий и решений в сфере искусственного интеллекта. И при правильной организации своей работы РАН могла бы стать центром такой экспертизы, куда мог обратиться любой коллектив, создавший систему ИИ. Специалисты центра всесторонне изучают ее и делают вывод: в таких случаях она будет работать корректно, в таких может приносить вред, а вот в таких нет гарантий, что она способна приносить пользу. Ведь сам автор может не видеть всей картины, поскольку он, скажем так, замкнут на свою область применения, сконструированную в своей голове логику работы, логику функционирования внешней среды и так далее. Это относится к любым областям деятельности, особенно, к военному делу.
В целом это научный центр экспертизы, который вполне может включать те или иные лаборатории или подразделения из состава различных организаций, работающие в плотном контакте с тематическими отделениями РАН. Наша задача — разрабатывать технологии экспертизы и оценки корректности функционирования такого рода изделий и технологий и применять их. Что с этим делать дальше, будут решать разработчики, владельцы системы, но поскольку они предупреждены о конкретных рисках, то и ответственность за потенциально возможные неприятные события ложится полностью на них.
Если сказать кратко, то главная цель и задача нашего Совета в сфере искусственного интеллекта — минимизация возможных негативных последствий его массового внедрения в России.
Беседовала Елена Покатаева
[1] Предыдущее интервью, на которое неоднократно ссылается спикер: https://ib—bank.ru/articles/stoit—voobshhe—otkazatsia—ot—ispolzovaniia—termina—iskusstvennyi—intellekt—genai—ne—opravdyvaet—ozidanii—cto—zdet—mirovuiu—otrasl—ii
Все интервью с Игорем Шереметом, опубликованные в BIS Journal: https://ib—bank.ru/authors/igor—seremet