- Эффективность внедрения ИИ нужно проверять от входящего запроса до принятого результата, учитывая ожидание, проверку и возвраты.
- Трудозатраты сотрудника, длительность процесса и количество принятых результатов отвечают на разные вопросы. Выигрыш по одному показателю ещё ничего не говорит об остальных.
- Для пилота нужны процесс с чёткими границами, исходный замер и владелец, который вправе менять работу участвующих отделов.
- Высвобождённое время приносит финансовый эффект, когда меняются расходы или появляется дополнительный полезный результат.
Почему эффективность внедрения ИИ не видна по сэкономленным минутам?
8 июля 2026 года McKinsey опубликовала исследование о разрыве, из-за которого эффективность внедрения ИИ трудно увидеть в результатах компании. В глобальном опросе участвовали 750 англоязычных сотрудников и руководителей, уже использующих ИИ в работе; ответы собирали с февраля по апрель. Люди были готовы пользоваться инструментами раньше, чем организации – менять работу. Авторы отдельно оговорили границы выводов: ответы участников не представляют организации целиком, а об организационной готовности и ценности отвечали только руководители. Опрос показал связь, но не доказал, что одно стало причиной другого. Источник: McKinsey.
Как руководитель я разделяю «сотруднику стало легче» и «компания быстрее выполнила обязательство». Оба результата полезны. Но для решения, расширять ли пилот, это разные основания.
Представим условную цепочку подготовки предложения: запрос клиента, уточнение состава работ, расчёт, проверка, отправка. ИИ ускорил черновик. А что изменилось для клиента? Если расчёт всё ещё ждёт ответственного, а проверяющему не хватает вводных, срок может остаться прежним. Это пример того, как устроен процесс, не кейс CRT.
Я предлагаю считать отдельно:
- Трудозатраты – сколько времени люди активно работали, включая проверку и исправления.
- Длительность полного цикла – сколько прошло от получения запроса до принятия результата.
- Объём результата – сколько обращений завершили с согласованным качеством за сопоставимый период.
Я бы не объявлял процесс между отделами ускоренным на основании локальной экономии времени. Исключение – самостоятельная задача, результат которой сразу идёт в дело и не требует дальнейшей обработки. Здесь замера времени вместе с проверкой качества может хватить.
Где искать причину: в инструменте, проверке или передаче работы?
Начал бы с нескольких завершённых обращений и пути, который они прошли. Без презентации об ИИ: когда пришёл запрос, кто взял его в работу, где он лежал, почему вернулся. «Инфомаксимум» отдельно предупреждает об ошибке: оценивать только автоматизированный участок, не проверяя, что произошло со всей цепочкой. Авторы рекомендуют учитывать возвраты, длительность и пропускную способность процесса. Источник: «Инфомаксимум».
Для первого разбора мне хватило бы такой таблицы.
| Симптом | Что проверить | Какие данные собрать |
|---|---|---|
| Черновик готов быстрее, ответ клиенту приходит как раньше | Очереди и ожидание согласований | Время поступления, начала и завершения каждого этапа |
| Исполнителю легче, проверяющий перегружен | Полноту результата и объём исправлений | Время проверки, причины возвратов, повторные версии |
| Демонстрация успешна, рабочие обращения застревают | Отличия примеров от реального потока | Типы и сложность обращений, пропущенные случаи |
| В отчёте больше выполненных задач, незавершённая очередь растёт | Где фиксируют завершение | Число принятых результатов, возраст открытых обращений |
| Сотрудники говорят об ускорении, замер его не показывает | Правила учёта времени и параллельную работу | Активное время человека, ожидание ИИ, другие задачи |
С замерами зашла в тупик и METR. В обновлении от 24 февраля 2026 года исследователи объяснили, почему пересматривают эксперимент по производительности разработчиков. Задачи случайно распределяли между условиями с разрешённым и запрещённым ИИ. Но часть разработчиков не хотела участвовать без ИИ, а участники могли не подавать задачи, для которых ожидали особенно большой пользы от инструмента. Получалось, что отбор начинался ещё до случайного распределения.
Подвёл и учёт времени: пока агент работал, разработчик мог заниматься другим делом. Исследователи признали, что новые данные ненадёжно отражают текущий эффект, и начали менять дизайн исследования. Вывода «ускорения нет» они не делали. Они объяснили, почему полученные замеры не позволяют уверенно назвать его величину. Источник: METR.
Вот что я взял бы из этого для корпоративного пилота: проверяйте, что осталось за пределами отчёта. Если команда показывает удачные обращения, а сложные молча обрабатывает по старому маршруту, результат относится лишь к отобранной части работы. Ощущение ускорения – полезный повод начать проверку. Подменять им замер я бы не стал.
Как выбрать один процесс для пилота?
Не стал бы начинать с задачи «внедрить ИИ в продажи». Непонятно даже, где она заканчивается. «Подготовить и согласовать ответ на типовое обращение» уже можно ограничить: есть начало, получатель и условие завершения.
Я бы проверил кандидата по этому списку:
- Работа повторяется, поэтому можно сравнить похожие обращения.
- Вход описан: известны обязательные сведения и действия при их отсутствии.
- Выход проверяем: понятно, кто принимает результат и по каким признакам.
- Сохранилась история работы, либо её можно собрать до изменений.
- Есть конкретная проблема: ожидание, ручная обработка, ошибки или возвраты.
- Последствия ошибки можно ограничить, а прежний маршрут сохранить на время пилота.
Если истории нет, закрывать проект рано. Сначала придётся наладить учёт. Иначе сравнивать будет не с чем.
А нужен ли здесь вообще ИИ? Если документ ждёт подтверждения от человека, который ничего в нём не проверяет и не принимает решений, я сначала предложил бы пересмотреть это согласование. Ускорять подготовку документа перед ненужной очередью бессмысленно. Другое дело, если согласование защищает от существенной ошибки. Убирать его ради скорости нельзя: нужно выяснить, каких сведений не хватает для более раннего решения.
Мы в CRT начинаем внедрение ИИ в бизнес с исследования процессов и выбора кандидата на пилот. Так появляется предмет разговора: какую именно работу меняем. После этого можно выбирать инструмент. Доступ к нейросети сам по себе не подскажет команде ни границы задачи, ни критерий успеха.
Кто отвечает за результат между отделами?
Для меня владелец процесса – человек, который может изменить маршрут работы и договориться о приоритетах участников. Право собирать статусы этого не заменяет. С такими полномочиями задержки между отделами так и останутся чужой проблемой.
До пилота я дал бы владельцу право согласовывать вход и выход процесса, менять порядок передач, выделять время исполнителей и останавливать эксперимент, если качество нарушает согласованные условия. Если решение выходит за его полномочия, должно быть заранее понятно, к какому руководителю идти.
Исполнители расскажут, как работа идёт на самом деле: где не хватает сведений, какие исключения не описаны, почему результат возвращают. ИТ отвечает за доступы, интеграции и техническую работоспособность. А вот критерий «ответ подходит клиенту» должен определять бизнес.
Похожее разделение предлагает ELMA: среди причин неудач названы отсутствие бизнес-владельца и запуск ИИ как отдельного эксперимента ИТ-отдела. Источник: ELMA.
Роль человека тоже нужно оговорить до старта. Например, разрешить ИИ готовить ответ, а нестандартные обязательства перед клиентом оставить на согласование сотруднику. Сразу решите, кому передавать обращение, если сведений недостаточно. Иначе спорный случай зависнет между системой и людьми – формально все сделали свою часть.
Как измерить эффективность внедрения ИИ до и после?
Предлагаю руководителю заполнить короткий паспорт пилота (это заготовка для обсуждения, а не описание внутренней методики CRT).
| Поле | Что записать до запуска |
|---|---|
| Границы | С какого события начинается замер и какое событие означает принятие результата |
| Владелец | Кто отвечает за весь маршрут и какие изменения вправе согласовать |
| Основная метрика | Например, длительность от регистрации обращения до принятого ответа |
| Исходное значение | Фактический показатель до изменений, период и состав обращений |
| Источник данных | История статусов CRM, журнал заявок или согласованный ручной учёт |
| Сопоставимость | Какие типы, сложность и полнота обращений сравниваются |
| Качество | Кто принимает результат, какие ошибки недопустимы, как учитываются возвраты |
| Полные трудозатраты | Подготовка, проверка, исправления и обработка исключений всеми участниками |
| Условие остановки | При каком нарушении пилот приостанавливают и кто возвращает прежний маршрут |
Выбрав основную метрику, не выпускайте из виду соседние показатели. Хотите сократить полный цикл – следите также за качеством и трудозатратами. Иначе за ускорение расплатятся перегруженные проверяющие. Если цель – высвободить время, отдельно проверьте, не стал ли клиент дольше ждать ответа.
Я бы сравнивал обращения одинаковых категорий, с похожей сложностью и полнотой входных сведений. Запишите, что ещё поменялось: состав команды, нагрузка, правила согласования. Если вместе с ИИ отменили лишний этап, честный вывод будет таким: сработала совокупность изменений. Всю заслугу модели приписывать нельзя.
Зависшие обращения тоже должны остаться в отчёте. Быстро закрытые задачи могут улучшить среднее время, пока сложная работа копится в очереди. Покажите отдельно завершённые результаты, незавершённые обращения и причины остановок. Очередь же никуда не делась оттого, что её не посчитали.
С деньгами я был бы так же осторожен. Свободные часы ещё не равны денежной экономии. Если расходы остались прежними, затраты пока не сократились. Появился ресурс. Теперь ему нужно найти применение: принять дополнительный объём, сократить очередь или снять подтверждённую потребность в сверхурочной работе.
В отчёте я показывал бы раздельно высвобождённое время, фактическое изменение расходов и дополнительный результат. Туда же должны попасть затраты на инструмент, интеграцию, обучение, проверку и сопровождение. Умножить освободившиеся часы на расчётную стоимость часа можно: получится оценка ресурса. Но подтверждать, что денежные расходы изменились, придётся отдельно.
Вопросы и ответы
Какие метрики нужны для оценки эффективности ИИ?
Для оценки эффективности ИИ выберите основной показатель цели: длительность процесса, трудозатраты или объём принятых результатов. Дополнительно фиксируйте качество, возвраты и незавершённую очередь. Правила измерения и приёмки нужно согласовать до запуска пилота.
Можно ли ограничиться опросом сотрудников об ускорении?
Опрос сотрудников помогает найти полезные сценарии и трудности использования ИИ, но не доказывает ускорение процесса. Люди могут учитывать только свою часть работы и не видеть нагрузку проверяющих. Сопоставьте ответы с фактическим маршрутом обращений и временем до принятого результата.
Когда локального замера достаточно?
Локального замера может хватить для самостоятельной задачи, результат которой сразу используется. В замер должны входить подготовка, проверка и исправления, а качество должно оставаться сопоставимым. Если результат передают дальше, необходимо проверить влияние на следующий этап.
Что делать, если исходных показателей нет?
До внедрения организуйте учёт текущего процесса: вход, начало работы, передачи, возвраты и принятие результата. Согласуйте категории обращений, чтобы затем сравнивать похожую работу. Оценки по памяти можно использовать как гипотезу, но не как надёжную исходную метрику.
Что делать
Выберите один повторяющийся процесс и проследите путь недавних обращений от входа до принятого результата: с ожиданием, передачами и возвратами. Я бы обсудил эту схему с исполнителями, назначил владельца и заполнил паспорт пилота до выбора инструмента. В CRT AI FLOW включает исследование, пилот одного процесса и замер до/после; метрику, способ измерения и роль человека согласуем заранее, а эффект для конкретного бизнеса проверяем на его процессе.
Обсудить задачу
