Российские нейроморфные технологии — на острие мирового прогресса

Российские нейроморфные технологии — на острие мирового прогресса

Уже несколько лет назад эксперты прогнозировали грядущий бум нейроморфных вычислений. Похоже, он уже наступил, если судить по количеству тематических публикаций про импульсные (спайковые) нейросети. С чем это связано?

Хорошо известно, что в настоящее время искусственные нейронные сети (ИНС) могут решать широкий спектр задач в различных сферах жизни человека. Кроме того, идет ускоренное развитие аппаратной составляющей для обучения и инференса (прямого распространение данных в нейросети) таких сетей. Почему же внимание приковано именно к импульсным ИНС? 

Чем так интересны импульсные нейронные сети?

Дело в том, что импульсные сети оперируют не с числами, а с событиями, и входной поток данных для них представляется не в форме действительных чисел, а в виде событийного асинхронного набора так называемых спайков-импульсов единичной интенсивности. Более того, обмен информацией внутри такой сети также подразумевает использование спайков, точно так же, как это наблюдается в реальных живых организмах. Есть несколько преимуществ в передаче и обработке именно такого вида информации. 

Рис. 1. Структура импульсной нейронной сети. Источник: «Лаборатория Касперского»

Событийный обмен позволяет реализовать так называемый локальный механизм обучения сети, который еще называют «синаптическая пластичность» (Spike-timing-dependent plasticity STDP). Он затрагивает лишь активные в текущий момент времени части сети, но не охватывает остальные области. Кроме того, активизация определенных нейронов сети теперь приобретает конкретный смысл и может рассматриваться как самостоятельный фактор. Например, известно, что в мозгу крыс есть устойчивые группы нейронов, активизация которых привязана к определенному месту в пространстве. Кроме того, есть мнение, что именно импульсная природа информации позволяет реализовать долгосрочную ассоциативную память, активируемую лишь по небольшому инициируемому событию, а локальное обучение – краткосрочную память. Нельзя не отметить еще один уникальный механизм, присущий биологическим импульсным сетям, – их непрерывную адаптацию и подстройку внутренней топологии, включающую рост и отмирание межнейронных связей. 

Таким образом, с точки зрения перспектив, развитие импульсных ИНС позволит решать такие сложные задачи, как имитационное и сверхбыстрое (всего на нескольких примерах) машинное обучение, создавать различные типы ассоциативной памяти, осуществлять непрерывное и адаптивное обучение сети, возможно, даже научить сети оперировать абстрактными понятиями и планировать действия без их фактического выполнения и др. Отдельно надо отметить такой интересный аспект импульсных ИНС как их устойчивость к различным атакам на системы искусственного интеллекта (этот вопрос стоит отдельного обсуждения). 

Нейроморфный искусственный интеллект

В целом, развитие импульсных ИНС идет по двум направлениям. Первое — создание алгоритмической и программной составляющей обучения и инференса таких сетей. Второе — создание специализированных нейроморфных процессоров, адаптированных именно под импульсные сети.

Отличительными чертами нейроморфных процессоров являются такие характеристики, как:

• низкое энергопотребление (милливатт-диапазон) и компактный размер;
• легкость встраивания в существующее оборудование;
• возможность их использования для инференса обычных «цифровых» ИНС, в том числе общедоступных. В последнем случае, можно отметить существенное увеличение быстродействия (миллисекунды) инференса таких сетей, которое во многих случаях не будет зависеть от глубины ИНС (так называемый конвейерный способ инференса).

Эти означает, что нейроморфный искусственный интеллект имеет хорошие перспективы стать одной из ключевых технологий для стремительно растущего сегмента промышленных и потребительских конечных (Edge) устройств с ИИ (Edge AI):

• сенсоры, датчики и контроллеры промышленного Интернета вещей (IIoT);
• автономные (мобильные) роботы, в том числе самообучающиеся;
• устройства умного дома;
• носимые пользовательские устройства: смартфоны, планшеты, умные часы, наушники, очки виртуальной и дополненной реальности.
• носимые медицинские устройства.

И это далеко не полный список перспективных устройств класса Edge AI.

Специфика Edge AI заключается в том, что интеллектуальные функции должны работать не в облачной инфраструктуре ЦОД с их возможностями суперкомпьютерных вычислений, а непосредственно на чипе самого устройства. Это обеспечивает преимущества в части быстродействия, снижает объем передаваемых в облако данных, а также снимает многие вопросы, связанные с безопасностью данных и сохранением их конфиденциальности.

В тоже время, как правило, Edge-устройства – это оборудование в компактном форм-факторе с жесткими ограничениями по доступным вычислительным ресурсам, объему памяти и энергопотреблению. Нейроморфные системы как нельзя лучше вписываются в эти ограничения.

Практические задачи для уникальных возможностей нейроморфного Edge AI

Среди областей применения программно-аппаратных нейроморфных систем отметим следующие:

• мобильные роботы с ИИ для распознавания обстановки на местности, привязки к картам, автономной навигации;
• системы быстрого реагирования на препятствия для беспилотных транспортных средств и систем помощи водителю;
• системы трекинга (отслеживания) быстродвижущихся объектов;
• системы контроля сверхбыстрых промышленных процессов, протекающих за миллисекунды;
• системы видеоконтроля ситуационной обстановки (люди, дорожный трафик);
• видеоконтроль состояния оператора критических производств, водителей;
• автономные носимые устройства контроля здоровья человека;
• системы поддержки людей с ограниченными возможностями;
• охранные системы контроля обстановки и системы сохранения приватности;
• системы обнаружения атак на ИИ.

Преимущества нейроморфных систем еще более ярко проявляются при совместном использовании нейроморфных процессоров с видеокамерами класса DVS (Dynamic Vision Sensor, «событийное зрение») или другими устройствами с импульсной и событийной структурой данных. Особенность DVS-камеры заключается в том, что каждый пиксель DVS-матрицы работает независимо от других. Он порождает импульс (событие) при локальном (соответствующем его позиции) изменении яркости в сцене. Общее количество таких импульсов может достигать сотен миллионов в секунду, что позволяет DVS-камерам регистрировать очень быстрые процессы. Правда, в настоящее время DVS-камеры производятся только за рубежом… 

Нейроморфные системы также могут применяться для поддержки работы больших (глубоких) нейросетевых моделей. Приведем конкретный пример. Нейроморфная система, благодаря низкому энергопотреблению, работает на устройстве в режиме «всегда включено» (always-on) и решает задачу обнаружения определенного события. Для умной колонки таким событием может быть, например, произнесенная пользователем команда на начало диалога (key-word spotting), для смарт-камеры видеонаблюдения – появление в поле зрения объекта заданного класса (key-image spotting) или наличие движения. При обнаружении события в работу включается большая нейросетевая модель, которая до этого находилась в режиме ожидания и не потребляла ресурсы. 

Российский опыт создания нейроморфных решений

Экосистема (технологический базис) нейроморфного ИИ состоит из нескольких основных компонентов: разработка и обучение импульсных нейронных сетей, производство и использование нейроморфных процессоров и сенсоров. Все перечисленные компоненты объединяет событийный (импульсный) характер сбора и передачи информации, а также локальный и асинхронный способ ее обработки. Это означает, что в импульсных ИНС отдельные нейроны, по сути, представляют собой вычислители, которые асинхронно обмениваются между собой дискретными импульсами-спайками. При этом генерация таких спайков происходит только в ответ на некоторое стимулирующее воздействие. 

Нейроморфные процессоры фактически реализуют импульсные нейросети на специальной аппаратной архитектуре, в которой вычислительное ядро располагается как можно ближе к памяти. Такая архитектура позволяет избежать проблемы «бутылочного горлышка архитектуры фон Неймана», присущей обычным компьютерам, и связанных с этой проблемой дополнительных затрат по времени и энергии на пересылку данных между памятью и вычислительным ядром. 

«Лаборатория Касперского» разрабатывает и развивает собственную программно-аппаратную платформу Kaspersky Neuromorphic Platform (KNP), предназначенную для проведения исследований в области нейроморфного машинного обучения и создания коммерческих продуктов с элементами нейроморфного ИИ. Архитектура KNP позволяет объединить все компоненты экосистемы нейроморфного ИИ (импульсные нейросети, нейроморфные процессоры и сенсоры) в единый конвейер сквозной разработки ИИ-решений: от стадии замысла до реализации и тестирования на конечном устройстве.

Платформа KNP, анонсированная в 2022 г., сегодня применяется во внутренних проектах компании по тематике нейроморфного ИИ. Отрабатывается и расширяется функционал платформы, в том числе с учетом последних достижений в области импульсных нейросетей, совершенствуется программная архитектура. А в нынешнем году KNP станет доступна внешним пользователям как проект с отрытым исходным кодом.

KNP позволяет создавать импульсные нейросети с гибкой структурной организацией на основе двух подходов:

1. Преобразование нейросетей глубокого обучения в импульсные нейросети.
2. Разработка и обучение импульсных нейросетей с использованием механизма синаптической пластичности (STDP).

Кроме того, в платформе KNP реализована глубокая интеграция с первым российским нейроморфным процессором «Алтай», который является совместной разработкой компаний «Мотив-НТ» и «Лаборатория Касперского». Выпущены прототипы чипа «Алтай» c 16 нейроядрами, 512 нейронами в ядре и возможностью инференса импульсных нейросетей. Потребление одного ядра не превышает 4 миллиВатт.

Рис. 2. Прототип нейроморфного чипа «Алтай». Источник: «Лаборатория Касперского»

Кроме того, изготовлены платы с 8 и 16 чипами на процессорах «Алтай». Плата с 8 чипами представляет собой ускоритель нейроморфных вычислений, подключаемый к объединительной плате в десктопном форм-факторе. На одну объединительную плату может быть подключено до 16 ускорителей. Плата с 16 чипами выполнена в форм-факторе встраиваемых систем и конструктивно совместима с платой OrangePi 5. 

Рис. 3. Объединительная плата с ускорителями нейроморфных вычислений «Алтай»

В «Лаборатории Касперского» разработано несколько прототипов прикладных нейроморфных систем на базе KNP и чипов «Алтай»:

• Нейроморфная система машинного зрения милливатт-диапазона для мониторинга ротационного оборудования. В демонстрационном варианте система решает задачу автоматического определения скорости и направления вращения лопастей вентилятора с использованием импульсной нейронной сети. Нейронная сеть реализована на двух нейроморфных ускорителях «Алтай» и потребляет в процессе работы в среднем 70 мВт электроэнергии. Для сравнения — аналогичное решение, реализованное на базе GPU, потребляет в среднем 13 Вт.
• Нейроморфная система машинного зрения для энергоэффективного измерения быстрых процессов. Демонстрационный прототип решает задачу измерения частоты мерцания светодиода (LED) в диапазоне 0,25-1,25 кГц на чипах «Алтай» с энергопотреблением почти на три порядка меньше энергопотребления аналогичной системы на GPU. При этом скорость инференса нейросети в 10 раз выше, чем на GPU.
• Нейроморфное Edge-устройство на двух чипах «Алтай» для защиты ML/AI-систем от состязательных атак на примере системы распознавания лиц.

В 2025 г. планируется выпуск процессора «Алтай» следующего поколения. Он будет обладать целым рядом новых важных возможностей: обучение нейросетина чипе (on-line learning), программируемая модель нейрона, программируемая синаптическая функция, динамически изменяемая структура нейросети. Это станет новым серьезным  шагом вперед к созданию не только энергоэффективных и быстродействующих, но и адаптивных систем нейроморфного ИИ.

Все новые возможности процессора «Алтай» также будут поддерживаться в платформе KNP, что позволит учесть при разработке импульсных нейросетей особенности аппаратной архитектуры «Алтая» и, как следствие, создавать вычислительно-эффективные конечные решения на данной аппаратной платформе.

Место нейроморфных технологий в развитой суверенной отрасли российского хайтека

У нейроморфных научно-исследовательских разработок – огромный потенциал. В перспективе их развитие должно привести к созданию когнитивной архитектуры ИТ-систем, обладающей возможностями сенсорики и распознавания образов, понимания времени как динамики образов, адаптации к среде, планирования сложных реакций. В ближайшие несколько лет нейроморфные разработки, несомненно, лягут в основу систем ИИ, интегрированных непосредственно в конечные устройства и выполняющих интеллектуальные функции в автономном режиме без использования инфраструктуры облачных вычислений (или с минимальным ее применением). Такие системы будут обладать энергоэффективностью, высоким быстродействием, безопасностью и адаптивностью (возможностью самообучаться) за счет сочетания аппаратных и программных технологий, вдохновленных принципами работы биологического мозга. 

Важно, что «Лаборатория Касперского» с партнерами активно развивает экосистему продуктов для создания российских доверенных программно-аппаратных средств нейроморфного ИИ в интересах промышленности и потребительского рынка. Нынешний уровень зрелости российских нейроморфных разработок уже сейчас позволяет создавать демонстрационные прототипы (proof-of-concept) систем обработки данных различной модальности: изображения/видео, звук, текст, сигналы от контрольно-измерительных приборов. На очереди – этап апробации нейроморфных решений в конкретных практических задачах цифровизации и интеллектуализации промышленного производства, а также в перспективных образцах потребительской электроники. 

Опыт применения и анализ соответствующих эффектов – это тот этап, который поставщикам и потребителям инновационных решений нужно пройти вместе, согласованно и целенаправленно создавая суверенную отечественную инфраструктуру высокоразвитых когнитивных ИТ-систем.