Управление агентами искусственного интеллекта: журналы, разрешения и контрольно-пропускные пункты, выполняемые людьми
Управление агентами ИИ кажется сложным, пока что-то не пойдет не так. Тогда все хотят знать, что видел агент, почему он действовал и кто это одобрил.
Управление – это не бюрократия. Именно так автоматизация становится заслуживающей доверия.
Разрешения должны быть явными
Агент не должен иметь неопределенный доступ. Он должен был иметь имена возможностей.
Например:
- читать заявки в службу поддержки
- обобщать документы
- проекты ответов
- обновить внутренние заметки
- создавать задачи
- запросить одобрение
Каждая способность должна иметь границы. Чтение и письмо представляют собой разные риски.
Журналы — это функции продукта
Если агент касается бизнес-процесса, журналы не являются обязательными. Они являются частью пользовательского опыта.
Полезный журнал ответов:
- какой вход использовался?
- какие инструменты назывались?
- какая продукция была произведена?
- какая уверенность или предположения существовали?
- кто рассмотрел или одобрил его?
- что изменилось потом?
Без журналов люди не могут доверять системе, когда важен результат.
Очереди проверки снижают риск
Не каждое действие нуждается в одобрении, но рискованные действия нуждаются в нем.
Очереди проверки полезны для:
- сообщения для клиентов
- финансовые решения
- юридические или чувствительные к соблюдению меры
- изменения данных в системах источников истины
- выходные данные низкой достоверности
- необычные случаи
Агент готовится; решает человек.
Эскалация является частью рабочего процесса
Хорошо спроектированный агент знает, когда он не в своей тарелке.
Триггерами эскалации могут быть:
- недостающая информация
- противоречивые данные
- обнар��жена деликатная тема
- уверенность ниже порога
- повторный провал
- переопределение пользователя
Остановка зачастую является самым разумным действием.
Управление обеспечивает большую автономию в дальнейшем
Парадокс заключается в том, что сильный контроль облегчает будущую автономию. Когда разрешения, журналы и пути проверки существуют, команды могут безопасно расширять возможности агента.
Без управления каждая дополнительная возможность кажется рискованной.
Практический стандарт
Прежде чем привлекать агента к реальному процессу, спросите:
Могли бы мы объяснить, что произойдет, если завтра этот вывод будет оспорен?
Если ответ отрицательный, автоматизация не готова.