Карты знаний. На пути к доверенным языковым моделям и системам представления знаний

Карты знаний. На пути к доверенным языковым моделям и системам представления знаний

Большие языковые модели (Large Language Model, LLM) находят всё больше применений благодаря эмерджентным навыкам — неожиданным новым способностям, которым их не обучали в явном виде. Такое происходит впервые за семидесятилетнюю историю искусственного интеллекта (Artificial Intelligence, AI) [2].

Приложения LLM

Спустя полтора года после появления ChatGPT десятки новейших версий LLM уже встраиваются в бизнес-процессы по всему миру. Они интегрируются в системы документооборота и видео-конференц-связи, корпоративные порталы и базы знаний. Ожидается всё более широкое их применение для оказания людям юридической, медицинской, психологической и других видов помощи, связанной с поиском информации и ответов на вопросы. В роли удобного языкового интерфейса между человеком и знанием они будут менять подходы к образованию и научным исследованиям, заменяя или дополняя привычные парадигмы информационного поиска. 

В какой степени пользователи смогут доверять этим новым языковым интерфейсам? Пока исследователи констатируют «галлюцинации», ошибки и предвзятость LLM, разработчики трудятся над устранением этих недостатков. 

Аспекты доверенности LLM

Проблемы доверенности касаются всех систем и приложений искусственного интеллекта. Обычно обсуждаются технические аспекты доверенности — качество, эффективность, надёжность, интерпретируемость, робастность и безопасность как устойчивость к изменениям условий среды или злонамеренным атакам [1].

В случае LLM не менее важны психологические аспекты доверенности при коммуникации на естественном языке. Если цель коммуникации не развлечение, а решение профессиональных задач, то попытки обмана пользователя или манипуляций со стороны системы недопустимы. Человек должен быть информирован о том, что общается с машиной, и уверен, что та не оказывает на него психологического давления, не искажает и не скрывает информацию, не выходит за рамки его должностных обязанностей, компетенций, прав доступа. Система должна по возможности предотвращать завышенные ожидания, эмоциональные реакции и прочие когнитивные искажения, возникающие из-за необычности самого факта общения на естественном языке с собеседником, не имеющим личности, характера, желаний, чувств. Общение с машиной должно быть для пользователя эргономично, комфортно по стилю общения и способам адаптации к пользователю, его профессиональному уровню, функциональной роли, коммуникативным навыкам. 

Почему люди доверяют друг другу, и применимо ли это к LLM

Доверие между людьми в процессе деловой коммуникации выстраивается путём непрестанного взаимного оценивания компетентности, ответственности и других деловых качеств. Накапливаясь, эти оценки образуют репутацию и социальный капитал. Эти принципы с некоторыми оговорками переносятся и на коммуникацию между человеком и системой ИИ. Люди, работая в едином контуре с системой (human-in-the-loop), дают обратную связь (user feedback), которая, накапливаясь, позволяет оценивать репутацию системы статистически [4]. Например, если система используется для автоматического формирования краткого содержания (follow-up) совещаний, то насколько часто участники правят эти записи, добавляя пропущенное важное и удаляя лишнее неважное, и насколько много времени тратят на эти правки? Отработка и стандартизация измерений деловой репутации ИИ потребует времени и аккуратного учёта отраслевой специфики. 

Ещё один важный фактор доверия связан с умением выделять важное, структурировать информацию и мыслить системно. Метафора elevator pitch означает способность убедительно рассказать о своём проекте за пару минут, буквально убедить инвестора вложить средства в ваш проект, пока вы вместе поднимаетесь в лифте. Также и система ИИ должна обладать способностью отвечать на запросы пользователей лаконично и в то же время исчерпывающе, структурируя информацию наилучшим образом для понимания и принятия решений. Ответственность за принятие решений могут нести только люди. При этом задача ответственного искусственного интеллекта (Responsible AI) — помогать пользователям избегать ошибок и минимизировать риски.

На пути к доверенным большим языковым моделям мы сталкиваемся с целым рядом проблем, связанным с несовершенством как самих моделей, так и текстовых данных, по которым они обучаются.

Проблема несовершенства моделей

Несовершенны как архитектуры моделей, так и исходные данные. Терабайты текстов из интернета, на которых они обучаются, избыточны, противоречивы и плохо структурированы. Говорят, что текстовые данные для обучения LLM уже закончились. Начинается следующий этап технологической гонки, когда улучшение качества моделей будет достигаться не путём дальнейшего увеличения объёмов данных, а, наоборот, в результате их сокращения после фильтрации и очистки.

Архитектуры LLM плохо интерпретируемы и не моделируют в явном виде никакие человеческие способы рассуждений, системы ценностей, картины мира.

Методики оценивания LLM пока также далеки от идеала, несмотря на значительные усилия по созданию бенчмарков по различным аспектам качества LLM, включая ответственность и этику [3]. Объёмов размеченных тестовых данных и количества критериев всё ещё недостаточно. Многие аспекты остаются непокрытыми тестами или слабо защищёнными от атак и манипуляций.

Многие из этих проблем могли бы быть решены путём обучения больших языковых моделей по структурированным текстам, но как именно их структурировать и откуда взять структурную разметку в «промышленных» объёмах?

Проблема неэффективности текста

В современных условиях текст утрачивает свою эффективность как средство передачи знаний, становясь из драйвера развития цивилизации его тормозом.

Усваивая знания, мы представляем их образно, нечётко, неточно, частично и каждый по-своему, в зависимости от прагматических целей и предшествующего опыта. Стремясь «упорядочить наконец эту кашу в голове» и «разложить всё по полочкам», мы пишем тексты, используя знаковые системы кодирования, придуманные сотни или тысячи лет назад ради других целей и в иных информационных условиях. Читая наш текст, другой человек занимается декодированием, выделяя из него идеи и структуры, укладывая их в свою картину мира, свои «полочки», ограниченные собственной прагматикой и опытом. Процессы кодирования и декодирования ведут к искажению смыслов, требуют затрат энергии и времени, стремительно растущих в масштабах всего человечества. Мы ещё больше запутали наши тексты, научившись скрывать за словами противоречия и нелогичности, манипуляции и обман, демагогию и графоманию. Теперь всё это свободно доступно в интернете, и по этим данным обучаются большие языковые модели. 

Назрел переход к новым способам передачи знаний, более приспособленным к растущим темпам развития цивилизации, менее ресурсоёмким, более эргономичным, учитывающим особенности восприятия, мотивации и памяти людей. Переход от текста к нелинейному чтению меняет привычные способы потребления информации, способствует массовому развитию навыков выделять во всём главное, достигая взаимопонимания и консенсуса при коммуникации. Это определённо путь к коллективному разуму — способности коллектива приходить к единомыслию и находить решения задач более эффективно, чем при индивидуальной интеллектуальной деятельности [8].

Проблема выбора наилучшего способа представления знаний

Проблема в том, чтобы найти наилучший способ представления знаний, удобный и для индивидуального восприятия человеком, и для коллективной интеллектуальной деятельности, и для машинной обработки, и для обучения LLM, и для коммуникации людей с LLM. На эту роль могли бы претендовать многие известные способы, однако в профессиональных сообществах пока нет согласия относительно того, какой из них лучше. Выбор сужается, если поставить целью создание единой доверенной системы знаний, дополненной механизмами коммуникации, выработки консенсуса, интеграции с процессами коллективного принятия решений. 

Интеллект-карты

Мы обращаем внимание на интеллект-карты (mind-map) — широко известный текстографический способ визуального структурирования идей, мыслей или тем, предложенный британским психологом Тони Бьюзеном ещё в 70-е годы [5]. Каждая тема разделяется на подтемы, постепенно детализируя центральную тему (понятие) наглядно, в виде иерархии.

Практика применения интеллект-карт

Чтобы сделать интеллект-карты эффективным инструментом индивидуального и коллективного визуального аналитического мышления, их необходимо усиливать дополнительными дисциплинирующими принципами.

Принципы построения интеллект-карт

Развивая технику майнд-мэпинга, Тони Бьюзен и его последователи предложили множество принципов, которые иногда противоречили друг другу, но допускали компромиссы в зависимости от практических целей и задач. В частности, Бьюзен настаивал на том, чтобы каждая ветвь карты подписывалась как можно короче, в идеале — одним словом. Однако такую карту будет понимать только её автор; в коллективе ему придётся объяснять, что он имел в виду, формируя фоновые знания, не отражённые на карте. Это противоречит принципам однородности, полноты и отторгаемости карты. Всего мы выделяем 16 известных принципов построения интеллект-карт, разбивая их на четыре группы: графическое оформление, ветвление, эргономика и эстетика.

Регулярное следование принципам радиантного мышления, компактности и значимости вырабатывает у человека навык выделения главного в любой теме, о чём бы ни шла речь. Главных подтем в каждой теме должно быть немного, и они должны образовывать сюжет. Мы привыкли мыслить историями, визуальными образами, расставлять опорные точки. Нам так удобнее ориентироваться и запоминать. Это механизмы приспособления и выживания в природной среде, обусловленные биологической эволюцией. Теперь речь идёт о том, чтобы переключить их на решение интеллектуальных аналитических задач.

Сама эта статья целиком служит иллюстрацией того, что карты являются полноценным заменителем текста. Они лучше структурированы, более наглядны, легче запоминаются. Сначала мы давали после каждой карты объяснения, полностью дублирующие её, затем всё менее подробные. Как лучше воспринимать информацию — читая текст или карту? Возможно, поясняющий текст и не нужен, если карта читается как обычный иерархический список, оформленный графически.

Принципы построения карт знаний

Усилив интеллект-карты шестью новыми принципами в дополнение к 16 базовым, мы получаем намного более мощный инструмент мышления, предлагая для него новое название — карты знаний.

Первые три принципа (читабельность, сворачиваемость, отторгаемость) обеспечивают полноценность замены текста картой. Сворачиваемость ориентирована на компьютерную реализацию с графическим интерфейсом.

Принцип коллективной разработки и использования (4) делает карту знаний инструментом совместной интеллектуальной деятельности, а в случае программной реализации механизмов согласования и коллективного принятия решений — технологической основой коллективного разума.

Возможности машинной обработки (принцип 5) позиционируют карты знаний как среду взаимодействия не только людей друг с другом, но и людей с машинным интеллектом. Есть очевидные функции, которые уже могут быть реализованы с помощью существующих технологий, такие как использование LLM для автоматизации построения карт и представление текстов, порождаемых LLM, в виде карт. Более заманчивой и нетривиальной представляется перспектива обучения следующего поколения языковых моделей на текстах, структурированных в виде карт знаний. Особенно если обучающие карты выработаны коллективным разумом — прошли все стадии обсуждения и поиска консенсуса, стали результатом сформировавшегося единомыслия.

Принцип глобальной связности (6) является наиболее существенным отличием карт знаний от обычных интеллект-карт. Тони Бьюзен предлагал размещать в центре каждой карты одно ключевое понятие. Связи между понятиями могут образовывать сложную запутанную сеть. Однако радиантное мышление подсказывает, что любая тема или понятие является частью чего-то более важного. Такие связи в сети являются основными, образуют её скелет, радиантную иерархическую структуру.

Благодаря глобальной связности любая новая деятельность, имеющая свои цели и задачи в рамках некоторой предметной области, встраивается в глобальную карту единой Системы Знаний человечества, охватывающую все предметные области.

Цепочки переходов от дочерних подтем вверх к родительским надтемам приводят к глобальному смысловому (семантическому) ядру. Это знания, которые важны всегда и для всех, важнее которых коллективный разум пока ничего не определил. В ядре находятся точки входа в естественно-научную картину мира и цивилизационную систему ценностей [6, 7]. Здесь же находятся понятия, называемые категориями, которые определяются друг через друга и используются для определения всех остальных понятий.

Смысловое ядро системы знаний

Смысловое ядро должно содержать, в числе прочего, критерии важности для выделения в каждой теме небольшого числа наиболее важных подтем. «Что в теме главное? Для чего и для кого оно главное?» — ответы на эти вопросы достижимы из любой темы на карте за небольшое число шагов вверх до смыслового ядра. Принцип глобальной связности приводит к регламенту сверки целей и задач любой практической деятельности с базовыми принципами существования и развития человеческой цивилизации, записанными в смысловом ядре. Работая с глобально связной картой, мы не можем обойти этот регламент, он оказывается встроенным в любую практическую деятельность, индивидуальную или коллективную.

Итак, мы начали с проблемы построения доверенных больших языковых моделей, способных общаться с людьми более структурированно и уметь выделять главное не хуже, чем это делают люди. В итоге пришли к осознанию трёх ещё более важных фундаментальных задач. Первая — всеобщий переход от плоского текста к более эргономичному способу представления знаний. Вторая — активация человеческого (не машинного) коллективного разума в процессах практической деятельности. Третья — создание единой Системы Знаний человечества как информационной и коммуникативной среды, в которой функционирует коллективный разум.

Экстенсивное развитие LLM путём обучения по массивам текстов интернета несёт в себе угрозу перехвата управления при решении перечисленных выше фундаментальных задач. Мы ещё не научились договариваться друг с другом по важнейшим вопросам выживания цивилизации, всё ещё не включили коллективный разум, а наши LLM уже обучаются по полному массиву наших противоречивых мнений обо всём и уже начинают давать советы. Ответ на эти вызовы необходимо искать быстро. Один из перспективных путей — создание информационной среды для коллективной интеллектуальной деятельности по методологии карт знаний.

Активация визуального аналитического мышления

Интеллект-карты пока не стали популярным рабочим инструментом, хотя и включены в школьную программу по информатике. Грандиозный потенциал визуального аналитического мышления остаётся недооценённым даже в рамках многочисленных школ майнд-мэппинга. Данная проблема имеет простое практическое решение. Естественный человеческий интеллект снабжён высокоэффективным «графическим процессором», который мы используем повседневно для ориентации в пространстве, запоминания образов и событий, однако не привыкли включать его для аналитической деятельности. Выработать и закрепить такие навыки возможно путём практики, в четыре этапа [9].

Первый этап ознакомительный, он заключается в просмотре и обсуждении карт смыслового ядра, описывающих верхние уровни естественно-научной картины мира и цивилизационной системы ценностей. Похоже на быстрое повторение школьной программы и систематизацию общеизвестных истин.

Второй этап практический — это самостоятельное построение карт, в рамках собственной профессиональной деятельности.

Третий этап самый важный. Отработка технических приёмов визуального представления и методологических приёмов коллективной интеллектуальной деятельности с помощью карт — первый шаг к коллективному разуму. Именно на этом шаге происходит яркое эмоциональное включение визуального мышления — в моменты осознания, что совместное рисование и обсуждение карты привело к согласию на порядок быстрее, чем все ранее испытанные способы. Такого рода инсайты и «моменты ясности» бесполезно описывать словами, через этот опыт необходимо пройти.

Четвёртый этап — внедрение практики карт знаний в профессиональную деятельность, как индивидуальную, так и коллективную.

Выводы: карты знаний

Рискованно создавать сильный искусственный интеллект, не приведя в порядок естественный, не научившись приходить к консенсусу и единомыслию в важнейших вопросах выживания и развития цивилизации, не научившись решать сложнейшие задачи современности с помощью коллективного разума, суперинтеллекта. Активация визуального аналитического мышления с помощью карт знаний — это определённо шаг к приведению в порядок своего человеческого интеллекта, доступный каждому. Способствуя взаимопониманию и доверию между людьми, карты знаний могут сыграть ключевую роль и на пути к доверенному ИИ, через обучение следующего поколения больших языковых моделей по картам знаний.

Список литературы:

1. BoLietal. Trustworthy AI: From Principles to Practices. ACM Comput. Surv. 55, 9, 46 pages. 2023.

2. Bubeck S. et al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 // arXiv preprint 2303.12712. — 2023.

3. Fenogenova A. et al. MERA: A Comprehensive LLM Evaluation in Russian // arXiv preprint 2401.04531. — 2024.

4. Xingjiao Wu et al. A Survey of Human-in-the-loop for Machine Learning // Future Generation Computer Systems, Elsevier BV, Vol. 135, pp. 364–381. — 2022.

5. Бьюзен Т. Интеллект-карты: полное руководство по мощному инструменту мышления. —М. : Манн, Иванов и Фербер, 2019. — 199 с.

6. Воронцов К. В. Цивилизационная идеология // в сб. Сверхновая Россия. Какая ты будешь? Изд-во «Наше завтра», 2022.

7. Воронцов К. В. Цивилизационная идеология: мысли о будущем искусственного интеллекта и о будущем вообще. Лекторий «Кругозор», МГУ, 23 ноября 2023. [Электронный ресурс]. — URL: https://www.youtube.com/embed/ snfORWIhz9I (дата обращения: 26.02.2024).

8. Кузнецов П. Г. Искусственный интеллект и разум человеческой популяции // в кн. Е. А. Александров. Основы теории эвристических решений. М. : Сов. радио, 1975.

9. Курилов В. А. Теория счастья. Азбука жизни. Красноармейск : Азбука жизни, 2006. 208с. ISBN 5-91270-001-1.