ИИ не должен быть последним владельцем решения: за результат отвечает назначенный человек. Для каждого AI-сценария определите владельца процесса, владельца системы, проверяющего, границы автономности, обязательные подтверждения, журнал действий и маршрут эскалации.
Почему строка «ответственный — AI» не работает
Модель не несёт корпоративной ответственности, не согласует риск и не объясняет клиенту, почему компания поступила именно так. Она является компонентом процесса. Ответственность распределяется между людьми, которые определили цель, предоставили данные, допустили систему к работе и приняли результат.
OECD относит accountability к принципам ответственного использования AI наряду с прозрачностью, устойчивостью и безопасностью. На практике это требует возможности установить, кто и на каком этапе принял решение.
Пять ролей
| Роль | Отвечает за |
|---|---|
| Владелец бизнес-результата | Цель, эффект и допустимые компромиссы процесса |
| Владелец AI-системы | Конфигурацию, доступность, версии и технический контроль |
| Эксперт-проверяющий | Качество конкретного результата в заданных случаях |
| Владелец данных | Источник, качество, права доступа и срок хранения |
| Владелец риска | Границы применения, инциденты и требования контроля |
Три режима человеческого участия
- Человек внутри цикла. Система готовит результат, каждое действие подтверждается. Нужен для новых и чувствительных сценариев.
- Человек наблюдает цикл. Система действует сама в узких пределах, человек видит отклонения и может остановить работу.
- Человек управляет контуром. Автоматические действия разрешены, но люди устанавливают правила, тесты, лимиты и регулярно пересматривают качество.
Выбор режима зависит от обратимости ошибки, частоты, суммы, влияния на права и клиента, зрелости данных и способности обнаружить отклонение.
Матрица прав решения
| Действие | AI | Человек |
|---|---|---|
| Собрать факты из утверждённых источников | Выполняет | Определяет источники и выборочно проверяет |
| Предложить вариант | Готовит | Выбирает и отвечает |
| Отправить стандартное уведомление | Может выполнять в пределах шаблона | Утверждает правила и исключения |
| Изменить цену или обязательство | Не выполняет без разрешения | Подтверждает по матрице полномочий |
| Разобрать инцидент | Предоставляет журнал и данные | Принимает меры и меняет контур |
Фраза «человек проверит» недостаточна
Нужно определить, что именно он проверяет, на основании каких фактов, за какое время и имеет ли право отклонить результат. Если сотрудник видит только ответ модели, возникает автоматическое доверие. Полезнее показывать источники, неопределённость, выявленные ограничения и изменения относительно эталона.
След решения
Журнал должен связывать вход, версию модели и инструкций, использованные источники, действия в системах, проверки и окончательное решение. Это не бюрократия ради отчёта: без следа невозможно понять, ошибка возникла в данных, логике процесса, модели или подтверждении человека.
NIST в ядре AI RMF объединяет управление риском в функции Govern, Map, Measure и Manage и подчёркивает постоянный характер контроля в жизненном цикле.
Пример: коммерческое предложение
AI извлекает требования клиента, выбирает утверждённые описания продукта и собирает черновик. Менеджер отвечает за полноту контекста. Продуктовый эксперт проверяет нестандартные обещания. Финансовый руководитель утверждает скидку сверх лимита. Владелец продаж отвечает за срок и конверсию всего потока. AI выполнил большую часть подготовки, но ответственность стала яснее, а не исчезла.
Минимальный регламент
На одной странице зафиксируйте назначение сценария, запрещённое применение, входы, источники, владельцев, лимиты, обязательное подтверждение, показатели качества, журнал, эскалацию и условия остановки. Свяжите это с общей матрицей ответственности компании.
Связанные материалы
Матрица ответственности компании · RACI, DACI и RAPID · Система управления ИИ.
Частые вопросы
Может ли ИИ быть ответственным за результат?
Нет. AI выполняет функции внутри процесса, а ответственность за цель, допуск, проверку и последствия остаётся у назначенных людей и организации.
Всегда ли человек должен подтверждать действие?
Не каждое низкорисковое действие, но люди всегда задают границы, мониторинг и условия остановки. Для критических и необратимых решений подтверждение необходимо.
Что журналировать?
Входы, версию системы, источники, выполненные шаги, проверки, итоговое решение и исключения.
Кто отвечает за ошибку AI?
Это определяется конструкцией процесса: владелец результата, системы, данных и риска имеют разные зоны ответственности, которые нужно зафиксировать заранее.
Собрать решение в систему
ИИ создаёт устойчивый эффект, когда связан со стратегией, процессом, ролями, экономикой и данными. Эта конструкция разобрана в книге «Бизнес. Инструкция по сборке».
Новые материалы об AI и управлении
В Дзене выходят подробные статьи, а в Telegram — короткие наблюдения и практические инструменты.
Александр Селедчик
Предприниматель, инвестор и автор книги «Бизнес. Инструкция по сборке». Пишет о стратегии, системном управлении, сильных командах, технологиях и росте без постоянного ручного контроля.