Критерии оценки ИИ-функциональности в СЭД: что проверять до выбора системы
При выборе корпоративной системы (СЭД, ECM, BPM, HRM) оценка ИИ-функциональности превращается в отдельную задачу. Сегодня почти каждый вендор корпоративных систем упоминает искусственный интеллект в описании своих продуктов: сокращение рутинных операций, автоматическая обработка документов, извлечение реквизитов, ускорение согласований. Формулировки примерно одинаковые.
Проблема в том, что за фразой «искусственный интеллект» может стоять что угодно: от полноценного автономного агента, который работает в фоне без участия пользователя, до кнопки «Перефразировать текст» в одном поле карточки документа. Это не плохо и не хорошо, это просто разные вещи с разным эффектом для бизнеса.
Когда компания выбирает корпоративную систему, нужно понять не есть ли в решении встроенный ИИ, а уточнить, какой именно искусственный интеллект есть в системе, как он работает и решает ли он конкретные задачи организации. Стандартный вопрос на демо: «Покажите, как работает искусственный интеллект», по факту не дает конкретного ответа. Вендор может показать то, что выглядит эффектно. Проверить, как это работает на самом деле, сложнее.
Команда СЭД ТЕЗИС разработала структурированный чек-лист критериев оценки ИИ-функциональности в корпоративных системах. В материале несколько примеров того, что в него вошло и почему именно эти вещи важно проверять.
No-code конструктор с ИИ в СЭД: как проверить реальные возможности на демо
Почти каждая система говорит о no-code конструкторе: визуальном инструменте, где администратор настраивает процессы без программирования.
Попросите на демонстрации настроить простой сценарий с участием искусственного интеллекта. Например: входящий документ поступает в систему, далее ИИ извлекает из него реквизиты, а затем на основе результата автоматически создается задача для ответственного сотрудника. Засеките время. Потребовался ли разработчик хотя бы на одном шаге?
Если настройка занимает больше 20 минут или на каком-то этапе нужен человек с доступом к коду, то no-code в этой системе условный. Для бизнеса это означает: каждое изменение логики процесса будет стоить времени и денег.
ИИ-агент работает в фоновом режиме: что это такое и как это протестировать
Следующий уровень — фоновая работа системы. Здесь речь идет об автоматизации, которая работает, не блокируя пользователю интерфейс. По логике работы это близко к ИИ-агенту. Если такого режима работы нет, то полную мощь ИИ в системе не получится оценить.
Например, сценарий может выглядеть так: сотрудник загружает договор в систему и продолжает работать с другими задачами. Система тем временем проверяет документ на ошибки, ищет риски, формирует замечания и сообщает пользователю о готовности. Или поступило входящее обращение. Агент определяет тип документа, готовит проект ответного письма. По итогу пользователь видит результат и не ждет, когда ИИ выполнит свою работу.
Так с помощью автоматизации можно реализовывать затратные по времени сценарии. Такая работа ИИ действительно снимает рутинную нагрузку, а не просто ускоряет одно конкретное действие.
Что проверять: можно ли перевести уже настроенный сценарий в фоновый режим без доработки? Сколько времени это займет? Привлекался ли разработчик? Если перенастройка требует участия технической команды, то стоит задуматься.
Семантический поиск и агентный поиск: в чем разница для бизнеса
Семантический поиск сегодня стал базовой функциональностью во многих современных системах. Отличия начинаются в том, как система предоставляет ответ пользователю. Выделают два подхода.
- Поиск через LLM с генерацией ответа. Пользователь задает вопрос на естественном языке, а система самостоятельно анализирует информацию в базе и формирует ответ в чате. Такой подход выглядит удобным, но возникают закономерные вопросы: на основе каких данных сформирован ответ, все ли они актуальны и не попала ли в результат информация, которую пользователь не должен видеть.
- Агентный поиск. Пользователь также формулирует запрос на естественном языке. Вместо генерации ответа из базы система использует штатные механизмы: открывает нужный экран, выполняет поиск по существующим правилам, формирует выборку документов или задач с учетом ролевой модели и действующих прав доступа. Например, по запросу «Покажи документы на согласовании» система открывает соответствующий раздел. По запросу «Подготовь подборку задач в работе» — показывает список задач, который пользователь получил бы и при обычной работе с системой.
Второй подход дает предсказуемый результат. Пользователь видит данные, доступ к которым уже предусмотрен системой, а организация сохраняет контроль над тем, какая информация используется и отображается.
Подключение языковых моделей в СЭД: локально, в облаке, российские или партнерские решения
Еще один важный вопрос при выборе системы с ИИ — насколько гибко она работает с языковыми моделями. Рынок развивается очень быстро. Новые модели появляются регулярно, поэтому важно не только то, что поддерживается сегодня, но и насколько легко завтра подключить другую модель или заменить уже используемую.
Здесь важны несколько вещей:
Поддержка популярных API. Система должна поддерживать OpenAI-совместимый API, чтобы можно было использовать как локальные модели, так и облачные сервисы без дополнительной доработки.
- Быстрая замена модели. Уточните, сколько времени занимает подключение новой модели. В зрелых решениях это делается через настройки и занимает буквально несколько минут. Если для смены модели требуется писать код или заказывать доработку, в будущем это может стать серьезным ограничением масштабирования системы или ее развития.
- Поддержка разных сценариев развертывания. Для одних организаций важны локальные модели, работающие в закрытом контуре. Для других — российские или зарубежные облачные сервисы. Система должна позволять выбирать подходящий вариант без изменения бизнес-логики и кода.
- Использование нескольких LLM в одном бизнес-процессе. Система должна поддерживать одновременную работу нескольких языковых моделей в рамках одного сценария, распределяя между ними разные задачи. Так, одна модель отвечает за извлечение данных из документов, другая — за анализ содержимого, третья — за подготовку текста. Настроить такой сценарий можно как в дизайнере бизнес-процессов, так и через чат-бота.
Именно такая гибкость позволяет безболезненно переходить на новые модели по мере их появления и не сталкиваться с неожиданной кастомизацией при каждом изменении ИИ-инфраструктуры.
Подобнее о том, как реализована ИИ-функциональность в СЭД ТЕЗИС.
Чек-лист критериев ИИ в корпоративных системах
Перечисленные выше критерии — не полный список, а несколько примеров из разных блоков оценки. В полном чек-листе их значительно больше: функциональные возможности ИИ, работа с мультимодальными моделями, интеллектуальные подсказки в интерфейсе, голосовое управление, соответствие регуляторным требованиям и ряд дополнительных параметров для организаций, которые хотят строить собственные ИИ-решения поверх корпоративной системы.
Чек-лист разработан командой СЭД ТЕЗИС на основе практики оценки и внедрения корпоративных систем. Он структурирован по блокам, каждый критерий содержит описание и конкретный сценарий проверки на демонстрации.
Если вы сейчас выбираете систему или планируете пересмотреть текущую, то Чек-лист критериев ИИ в СЭД поможет задать правильные вопросы и получить ответы, которые действительно имеют значение.
FAQ
Зачем проверять ИИ отдельно, если система в целом подходит?
Потому что ИИ-функциональность сильно различается по зрелости даже у систем одного класса. Одна и та же формулировка в маркетинговых материалах может означать принципиально разные возможности на практике.
Нужны ли технические знания для оценки ИИ-функциональности системы?
Нет. Критерии сформулированы как конкретные формулировки, которые можно использовать на демонстрации, а не как технические требования. Большинство из них сводится к простому вопросу: «покажите эту функциональность прямо сейчас». В критериях мы подробно объяснили, какие именно функциональность можно запросить на демонстрации и как оценить их пользу для бизнеса прямо в процессе.
Что такое ИИ-агент в СЭД и чем он отличается от обычной автоматизации процессов?
Обычная автоматизация выполняет заранее прописанный сценарий: если произошло событие A, то необходимо выполнить действие B. Это предсказуемо, но негибко: каждый новый сценарий нужно настраивать отдельно.
ИИ-агент работает иначе. Он анализирует ситуацию, принимает решение на основе контекста и выполняет последовательность действий самостоятельно. Например, агент может получить входящий документ, определить его тип, извлечь нужные данные, выбрать подходящий маршрут согласования и инициировать процесс, без участия пользователя и без заранее прописанных правил для каждого конкретного случая.
Как проверить поддержку локальных языковых моделей на демо?
Попросите вендора показать подключение локальной модели прямо в процессе демонстрации, например, через Ollama или llama.cpp. Зафиксируйте: сколько шагов занимает настройка, нужен ли разработчик или администратор справляется самостоятельно, есть ли документация.
Если вендор говорит «поддерживаем», но не может показать это вживую, то стоит уточнить, в каких проектах это уже работает и можно ли увидеть пример конфигурации.
