Фреймворки для ИИ-агентов: LangGraph, CrewAI, AutoGen и другие — как выбрать

Фреймворки для ИИ-агентов — это платформы или наборы инструментов, которые упрощают разработку ИИ-агентов и управление ими. Также они помогают цифровым помощникам эффективнее выполнять задачи и работать в разных приложениях. 

Агент, workflow и мультиагентная система: в чем разница

Прежде чем выбирать фреймворк для ИИ-агента, важно разобраться, какие подходы к организации работы ИИ-систем существуют. Агент, workflow и мультиагентная система отличаются тем, как выполняют задачи, принимают решения и взаимодействуют между собой. Рассмотрим каждый подход подробнее. 

Агент — ИИ-система, которая получает задачу, планирует свои действия и вызывает разные инструменты для достижения цели. Например, не просто находит для пользователя первые попавшиеся билеты на самолет, а сравнивает варианты по цене и времени, чтобы предложить лучшие варианты. 

Workflow — заранее заданный алгоритм, который выполняется с учетом строгих правил. LLM здесь просто инструмент, применяемый на отдельных этапах. Например, пользователь может попросить языковую модель перевести текст и извлечь конкретные данные. 

Мультиагентная система — пул ИИ-агентов, которые совместно работают над одной задачей. Они могут самостоятельно распределять шаги и делиться друг с другом результатами. Например, один агент ищет документы по запросу, второй — выбирает наиболее релевантные, третий — делает отчет. 

Главное различие между этими подходами — в способе организации работы. Workflow следует заранее заданному сценарию, агент самостоятельно планирует свои действия, а мультиагентная система объединяет нескольких агентов для решения общей задачи.

При этом подходы можно сочетать: агент может работать внутри workflow, а мультиагентная система — использовать workflow для координации действий агентов. Это важно учитывать при выборе фреймворка: разные инструменты предлагают разные способы управления логикой и взаимодействием ИИ-агентов.

Что фреймворк берет на себя: инструменты, память, шаги, наблюдаемость

Основные задачи, применимые в разных ИИ-архитектурах:

• Планирование и декомпозиция — разбиение больших целей на шаги и выбор алгоритмов для их выполнения. 

• Управление состоянием — контроль за логикой действий агентов и маршрутизацией процессов.

• Интеграция и вызов инструментов — подключение к API, базам данных, веб-поиску и др. 

• Краткосрочная память — сохранение контекста текущего диалога и контроль лимитов контекстного окна.

• Долгосрочная память — извлечение архивных данных и интеграция с векторными базами в рамках RAG-подхода для обогащения ответов фактами. 

• Координация и оркестрация мультиагентных систем — распределение ролей между ИИ-агентами, организация взаимодействия. 

• Наблюдаемость — логирование промптов, рассуждений и действий агента. 

• Тестирование — проверка ответов агентов на точность, отсутствие «галлюцинаций» и безопасность.  

По сути фреймворк способен превратить языковую модель из обычного чат-бота в автономного цифрового сотрудника, который готов взять на себя часть рабочих задач.

LangChain и LangGraph — семейство фреймворков от одной core-команды. Разберем их архитектурные различия и подходы. 

LangChain: компоненты для LLM-приложений

LangChain — модульный фреймворк для разработки приложений на базе больших языковых моделей (LLM). Он предоставляет готовые компоненты для работы с моделями, памятью, инструментами, промптами и ретриверами. С их помощью можно создавать приложения разной сложности: от простых цепочек обработки запросов до чат-ботов и ИИ-агентов, в том числе с поддержкой RAG.

LangChain позволяет объединять компоненты в цепочки обработки данных (chains), где результат одного шага становится входом для следующего. Например, приложение получает от пользователя запрос, через ретривер ищет релевантные документы, передает контекст языковой модели, ждет ответ и возвращает его пользователю. 

LangGraph: агенты как граф состояний

LangGraph — фреймворк для создания приложений со сложной логикой и сохранением состояния (stateful). Его особенности:

• Логика не в виде пайплайнов, а в виде графов, состоящих из узлов (nodes), связей и общего состояния. Узлы выполняют нужные действия, связи определяют дальнейшую судьбу процессов, а состояние хранит историю диалога агентов и промежуточные результаты.

• Циклы выполнения и ветвления, позволяющие организовывать обратную связь и повторные попытки. Агент может анализировать результаты и решать, что ему делать дальше. 

• Система памяти и чекпоинты — сохранение контекста между шагами и фиксация состояния, к которому агент может вернуться в любой момент.

• Принцип Human-in-the-loop — приостановка работы агента на определенном этапе для проверки или подтверждения действий человеком. 

Например, цифровой помощник анализирует документ, проверяет, хватает ли данных для ответа и при необходимости повторяет поиск. Перед выдачей ответа результаты может проверить человек.

Когда нужен LangGraph, а когда достаточно LangChain

LangChain подходит для создания агентов с относительно простой логикой и последовательным выполнением задач. Если же агенту нужно работать с многоэтапными процессами, принимать решения в зависимости от условий, обрабатывать ошибки и сохранять состояние между шагами, лучше использовать LangGraph. Он позволяет гибко управлять ходом выполнения задач и контролировать переходы между этапами.

CrewAI — мультиагентный фреймворк с низким порогом входа. С момента создания (2023) является независимым фреймворком, построенным с нуля и не имеющим зависимостей от LangChain. Он реализует ролевую архитектуру для мультиагентных систем без использования компонентов LangChain. 

Фреймворк объединяет агентов в команду, где у каждого свои роли, цели, опыт и наборы инструментов. Он поддерживает иерархическую модель, где агент-менеджер (оркестратор) распределяет задачи между агентами-исполнителями и контролирует их работу. 

Например, есть задача на подготовку аналитического отчета. Один агент собирает информацию, второй — проверяет данные, третий — формирует текст. Благодаря CrewAI результаты передаются между этапами без ручной настройки координации. Получается, что фреймворк удобен для проектов, где задачи нужно распределять между узконаправленными агентами. 

AutoGen — открытый фреймворк для создания мультиагентных систем, где модели могут взаимодействовать между собой и через «общение» решать сложные задачи. Заранее заданной последовательности шагов тут нет — цифровые помощники могут обсуждать результаты в групповом чате, анализировать работу друг друга и при необходимости подключать к проверкам человека. 

Например, один ИИ-агент пишет код, другой его запускает и проверяет работоспособность, третий — ищет ошибки и предлагает исправления. Разработчик заранее раздает участникам системы роли, настраивает правила обмена сообщениями и условия завершения задачи. Можно задать фиксированный порядок отправки сообщений или позволить системе самой выбирать следующего участника диалога в зависимости от контекста. 

AutoGen подходит для задач, где полезны совместная работа ИИ-агентов и человека. Это оптимальный вариант для проектов, где предполагается разработка года, анализ информации, исследования. 

Помимо перечисленных популярных решений есть узкоспециализированные. Одни помогают искать данные по большим массивам документов, другие — дают механизмы взаимодействия агентов с инструментами и API, третьи — упрощают интеграцию моделей в приложения. Варианты: 

• LlamaIndex — агенты поверх данных и RAG. Фреймворк помогает подключать внешние сервисы, базы данных и API, искать релевантную информацию. С ним удобно создавать ИИ-агентов, которые используют полученные данные для решения задач.

• OpenAI Agents SDK и Google ADK — открытые фреймворки для разработки ИИ-агентов. OpenAI Agents SDK не привязан исключительно к моделям OpenAI и поддерживает работу с моделями разных провайдеров. Google ADK распространяется под лицензией Apache 2.0 и предоставляет инструменты для создания как отдельных агентов, так и мультиагентных систем. Оба SDK поддерживают взаимодействие нескольких агентов в рамках одной задачи. 

• smolagents — минималистичный фреймворк для создания цифровых помощников с небольшим количеством кода. Подходит для прототипирования, тестов и экспериментов, а также для легких production-задач, где не требуется сложная оркестрация. 

Фреймворк следует выбирать под задачи проекта. LlamaIndex удобен там, где нужно много работать с данными. OpenAI Agents SDK и Google ADK подходят для создания мультиагентных систем. Semantic Kernel помогает интегрировать языковые модели в готовые решения. Smolagents снижает порог входа при разработке простых агентов.

Для наглядности сравним перечисленные решения по ключевым критериям:

Необязательно смотреть в сторону решений с многочисленными функциями, если по факту они не нужны. Стоит ориентироваться на свой проект, требования к нему и реальные бизнес-задачи. Рассказываем, как выбрать подходящий фреймворк, не усложняющий работу агентов. 

Прототип за день или продакшен с контролем шагов

Для старта подойдет фреймворк, который позволит начать с небольшого количества кода и быстро подключить простую модель. Например, smolagents или CrewAI. 

В продакшене важна управляемость, особенно если задачи многоэтапные. Нужно контролировать каждый шаг выполнения, состояния, повторные вызовы модели, расходы. В этом поможет LangGraph. 

Один агент или команда агентов

Не всегда для решения задачи нужна команда ИИ-агентов. Начать лучше с одного: оценить, справляется ли он с поставленными задачами и хватает ли его возможностей по мере роста нагрузки. Если один агент успешно выполняет работу, усложнять архитектуру не стоит. Мультиагентная система потребует дополнительных ресурсов, усложнит координацию и отладку.

Для одного агента можно выбрать любой фреймворк, который соответствует задачам проекта, техническому окружению и бюджету.

Если же работу нужно распределить между несколькими агентами, стоит обратить внимание на фреймворки с поддержкой мультиагентных архитектур, например CrewAI или AutoGen. Когда требуется более сложная логика взаимодействия, управление последовательностью действий и условиями перехода между этапами, подойдет LangGraph. 

Совместимость с моделями по OpenAI-совместимому API

OpenAI-совместимый API позволяет обращаться к моделям разных провайдеров через общий формат запросов. Это упрощает ситуацию, если нужно подключить альтернативный сервис или заменить модель.

Перед выбором фреймворка убедитесь, что можно указать собственный адрес API и ключ. Проверьте, поддерживаются ли вызов инструментов, потоковая передача ответов, структурированный вывод (если все это необходимо вашему приложению). 

Чтобы ИИ-агенты могли связываться друг с другом и с внешними сервисами, нужны общие правила обмена данными. Для этого используют протоколы MCP (Model Context Protocol) и A2A (Agent2Agent Protocol):

• MCP позволяет агенту по единому стандарту подключаться к инструментам, базам данных, сервисам. Это избавляет от необходимости придумывать для каждого инструмента отдельный механизм взаимодействия. Например, через MCP агент поддержки может получить данные о заказе из CRM и проверить статус доставки. 

• A2A позволяет автономным ИИ-агентам обмениваться сообщениями, передавать задачи друг другу и делиться результатами. Например, агент поддержки может поручить агенту логистики разобраться с задержкой доставки. После выполнения задачи тот передает результаты обратно, при этом не раскрывая контекст работы и внутреннюю логику.  

MCP и A2A — важные открытые стандарты, которые упрощают интеграцию агентов с инструментами и между собой, позволяя избежать разработки проприетарных интеграций с нуля. Однако их использование не является обязательным условием для построения сложных агентных систем. Можно подключать готовые инструменты и использовать их по единым правилам. 

Переход от прототипа к продакшену требует не только развертывания приложения, но и подготовки к работе в реальных условиях. Важно заранее продумать, как контролировать поведение агента под нагрузкой, отслеживать ошибки и оценивать затраты на выполнение задач. Это поможет обеспечить стабильную работу системы и избежать непредвиденных расходов.

Упаковка агента в Docker-образ

Перед развертыванием агента вместе с его зависимостями (кодом, компонентами окружения, библиотеками) упаковывают в Docker-образ. Это нужно, чтобы приложение одинаково работало на разных машинах. Секреты и конфигурацию передают отдельно — через менеджер секретов или переменные окружения.

В продакшен-среде Docker-образ оптимизируют с помощью многоэтапной сборки. Это позволяет отбросить всю тяжелую инфраструктуру, исходный код с ошибками и компиляторы на первом этапе сборки. В финальный образ попадает только готовый к запуску результат. Это ускоряет развертывание, сокращает вычислительные ресурсы и снижает количество потенциальных уязвимостей. 

Трассировка и оценка качества

Запросы и ответы ИИ-агента логируются, но по обычным логам не всегда удается понять логику выполнения задач. В этом поможет трассировка — фиксация всей последовательности действий. Записываются вызовы языковой модели, обращения к инструментам, результаты поиска, время каждого шага и ошибки. Посмотрев записи, можно легко выстроить всю цепочку. 

Результаты трассировки позволяют не только искать ошибки в ответах модели, но и оценивать корректность выбора инструмента, количество шагов, задержки. Это помогает глубже проанализировать работу ИИ-агента в продакшене и в дальнейшем формировать промпты и логику так, чтобы они не «ломали» эффективные сценарии и позволяли обойти проблемные. 

Контроль стоимости токенов

На стоимость работы влияет не только число пользовательских запросов, но и количество вызовов модели. Например, ИИ-агент может в несколько приемов обрабатывать данные, ошибаться, что-то уточнять. Чтобы понять стоимость, лучше смотреть не на цену отдельного вызова, а на совокупный расход входных и выходных токенов. 

Есть несколько способов управлять бюджетом:

• Задать лимиты на количество шагов для выполнения задачи, повторных попыток. 

• Ограничить объем передаваемого контекста. 

• Настроить пороги по бюджетам и уведомления об их превышении. 

Для прогнозирования расходов полезно отслеживать стоимость по конкретным моделям и сценариям. Здесь помогает трассировка, благодаря которой удается увидеть причины нецелевых затрат. Например, агент может расходовать больше токенов из-за лишних вызовов модели, слишком длинного контекста или неэффективного цикла действия.

Evolution AI Agents — облачный сервис Cloud.ru для создания, развертывания и эксплуатации автономных агентов и мультиагентных систем. Он предоставляет готовую среду для запуска, подключения инструментов, настройки взаимодействия. 

Агент из маркетплейса, свой Docker-образ или шаблон

В Evolution AI Agents предусмотрено три способа создания агента:

• Выбрать готового агента из маркетплейса. Можно запустить уже подготовленное решение и использовать его для бизнес-задач.

• Загрузить собственный Docker-образ. Для этого используется Evolution Artifact Registry. Такой вариант подойдет, если агент уже разработан и упакован в контейнер.

• Взять за основу шаблон. Он позволяет создать и настроить собственного агента без разработки с нуля.

Поддержка LangChain, ADK, OpenAI API и smolagents

Evolution AI Agents поддерживает разные инструменты и технологии разработки ИИ-агентов. Это позволяет использовать уже знакомый стек и не ограничиваться одним фреймворком.

В частности, можно запускать агентов, созданных с помощью LangChain и Google ADK, использовать OpenAI API для интеграции возможностей языковых моделей в приложения и сервисы, а smolagents — для разработки и проверки прототипов.

MCP-серверы, мультиагентные системы и трассировка в Arize Phoenix

Evolution AI Agents поддерживает подключение готовых и собственных MCP-серверов. С их помощью агенты могут взаимодействовать с внешними системами и получать доступ к нужным данным. Для создания мультиагентных систем предусмотрена поддержка протокола A2A: он позволяет объединить в одну систему до пяти агентов и организовать их взаимодействие.

Для контроля работы агентов доступны интеграция с Arize Phoenix и трассировка с помощью OpenTelemetry. Эти инструменты помогают отслеживать выполнение запросов, анализировать последовательность действий агентов и выявлять ошибки.

Заключение

Чтобы не переписывать агента при выходе в продакшен, не ищите универсальный фреймворк для всех задач. При выборе опирайтесь на особенности своего проекта. LangGraph подойдет для стандартных пошаговых сценариев, CrewAI и AutoGen — для быстрой сборки мультиагентных систем, LlamaIndex для удобной работы с данными. 

FAQ

• Чем LangGraph отличается от LangChain?

  LangGraph создан командой LangChain Inc. и может использовать компоненты LangChain, но также работает как самостоятельный фреймворк без обязательной зависимости от LangChain. Он позволяет организовывать циклические процессы и сложные переходы между шагами. А LangChain ориентирован на пайплайны и стандартные сценарии. 

• Какой фреймворк выбрать для первого ИИ-агента?

  Для прототипа и тестов подойдет smolagents. Если кода много, то LangChain или CrewAI.  

• Чем CrewAI отличается от AutoGen?

  CrewAI ориентирован на командную работу агентов, поддерживает иерархическую модель. AutoGen позволяет агентам взаимодействовать через сообщения и динамически назначать участников. 

• Можно ли использовать фреймворки с российскими LLM?

  Да, если они поддерживают адаптеры или OpenAI-совместимый API. Однако нужно проверить доступные функции. 

• Нужен ли фреймворк, чтобы создать ИИ-агента?

  Он не обязателен — простого агента можно создать и без него. Фреймворк нужен для сложных сценариев, управления состоянием, интеграций. 

• Что такое MCP и A2A и как они связаны с фреймворками для ИИ-агентов?

  Это стандарты взаимодействия ИИ-агентов и их подключения к внешним сервисам. Они позволяют обойтись без отдельных инструментов для каждого конкретного случая. 

• Как развернуть агента на LangGraph в облаке?

  Подготовьте агента, настройте доступ к модели и внешним сервисам. Затем упакуйте приложение вместе с зависимостями в контейнер и разверните в облачной инфраструктуре.