Что такое Dataiku Agentic AI: агенты для больших потоков данных

Dataiku AI обрабатывает большие потоки данных за минуты вместо дней. Вы получаете экономию на обслуживании инфраструктуры, времени и денег, а также практические инсайты, которые обеспечивают конкурентное преимущество. Раз вы здесь, вы, вероятно, уже догадываетесь, что почти всем агентным AI-процессам требуется прокси: а именно — Резидентские прокси с ротацией. 

Это обширная тема, и мы только в начале пути. Я уже собрал для вас информацию: от историй успеха пользователей в интернете до данных из моих интервью с экспертами по AI. Приготовьтесь, давайте погрузимся!

Что такое Dataiku AI и когда он вам нужен

Dataiku — это корпоративная AI-платформа, которая объединяет аналитику, машинное обучение и AI-агентов в единую управляемую среду. Её агенты — это автономные системы на основе больших языковых моделей (LLM), которые планируют, извлекают данные, вызывают внешние инструменты и выполняют многоэтапные процессы без участия человека.

Компании нужны AI-агенты Dataiku, когда у неё есть крупные, сложные операции с данными, которые невозможно масштабировать вручную. Окупаемость платформы становится особенно очевидной, когда процессы включают данные из множества источников, экспертные знания, которые нужно упаковать для более широких команд, или повторяющиеся процессы, которые сейчас отнимают время аналитиков.

Немного цифр Dataiku для ясности:

• ZS Associates достигла на 60% более быстрого анализа первопричин и на 25% меньше ошибок после развертывания

• Euronext сэкономила аналитикам до 20% времени , ранее затрачиваемого на повторяющиеся рыночные запросы. 

• Mitsubishi Electric ускорила поставку аналитики на 60% , развернув агентов Dataiku в своем стеке отчетности. 

• John Lewis Partnership сообщила о 40 миллионах фунтов стерлингов ROI, с конверсией на 25–30% выше и запуском кампаний в 2 раза быстрее. 

Больше всего мне нравится в Dataiku легкий доступ к инструменту — без необходимости программирования. Наши аналитики данных и обычные специалисты могут быстро войти и оперативно создать use case.

— Стефан Калламан, цифровой трансформатор в Michelin

Использование Dataiku AI: процессы с большими объемами данных

AI-агенты Dataiku работают лучше всего в средах, где размер и сложность данных являются наиболее критичными метриками. Они оптимизированы для обработки клиентских, финансовых или научных данных в соответствии с инструкциями. Если ваши процессы попадают в категории ниже, они могут помочь.

Автоматизированные финансовые потоки

Что делают финансовые агенты Dataiku:

• Проверяют счета на соответствие условиям контракта и автоматически отмечают несоответствия

• Анализируют рыночные ценовые данные по тысячам SKU или ценных бумаг

• Отслеживают аномалии в платежах и запускают оповещения или эскалацию

• Направляют транзакции, требующие соблюдения комплаенса, на проверку человеком с AI-сгенерированными резюме

• Генерируют регулярные финансовые отчёты, запрашивая структурированные базы данных на естественном языке

Поддержка и бизнес-операции

Что делают агенты поддержки Dataiku:

• Классифицируют входящие тикеты по категории, срочности и области продукта

• Извлекают ответы из структурированных баз знаний и отправляют проверенные ответы

• Открывают или обновляют тикеты в Jira, ServiceNow или Freshdesk на основе условий триггера

• Эскалируют к специалистам с AI-сгенерированным резюме истории и рекомендуемым действием

• Измеряют время и качество решения в больших очередях поддержки

Цепочки поставок и комплаенс

Что делают агенты Dataiku по цепочкам поставок и комплаенсу:

• Отслеживают риски поставщиков, агрегируя новости, санкционные списки и базы данных публичных должностных лиц

• Запускают рабочие процессы повторного заказа на основе пороговых значений уровня запасов и прогнозов времени выполнения

• Проводят анализ паттернов противодействия отмыванию денег по кластерам транзакций и отмечают подозрительную активность

• Готовят резюме расследований с рекомендуемыми эскалациями для сотрудников комплаенса

• Сопоставляют данные о доставке с прогнозами спроса для проактивного выявления узких мест

Использование в науке и исследованиях

Что делают исследовательские агенты Dataiku:

• Ищут глобальные реестры клинических испытаний и ранжируют потенциальные площадки по пулу пациентов, географии и истории результатов

• Извлекают и сравнивают показатели эффективности исследователей в разных испытаниях

• Агрегируют академическую литературу и возвращают структурированные резюме для исследователей

• Выявляют закономерности в экспериментальных наборах данных и отмечают аномалии для экспертной проверки

• Автоматизируют маркетинговые исследования: собирают конкурентную разведку, извлекают ключевые данные и создают аналитические отчёты

Когда вам нужен прокси для Dataiku

Большинство агентных рабочих процессов Dataiku работают не в чистой контролируемой внутренней среде. Вместо этого они обращаются к внешним источникам, чтобы:

• парсить данные конкурентов

• отслеживать внешние реестры

• получать локализованные цены

• запрашивать глобальные базы данных по соответствию требованиям

Без прокси-слоя эти агенты блокируются, выдают неточные геоспецифичные результаты или раскрывают IP-адреса инфраструктуры компании внешним системам.

Ротационные резидентские прокси решают каждую из этих проблем, поддерживая большой пул IP-адресов реальных пользователей, автоматически меняя их при каждом запросе и направляя трафик агента через географические регионы, соответствующие целевому источнику данных. Они служат операционной основой, которая делает уровень данных агента надёжным и стабильно чистым.

Развёртывание и устранение неполадок ИИ-агентов Dataiku 

По-настоящему знать что-то — значит уметь развернуть и использовать это. Вот базовые алгоритмы использования агентных ИИ Dataiku, применимые к большинству рабочих процессов.

Как развернуть ИИ-агента Dataiku

1. Войдите в свой экземпляр Dataiku и перейдите в панель управления Projects .

2. Создайте новый проект или откройте существующий, в котором хотите развернуть агента.

3. Перейдите в LLM Mesh через Administration → Connections → New Connection и настройте предпочитаемую LLM (OpenAI, Anthropic, Azure OpenAI или пользовательскую/прокси-конечную точку).

4. Откройте Agent Designer (доступен в GenAI flows или через визуальный конструктор рецептов) и определите цель вашего агента, инструменты (API, наборы данных, потоки Dataiku) и настройки памяти.

5. Добавьте инструменты такие как наборы данных, SQL-конечные точки, внешние REST API или рецепты Python/R, которые он может вызывать для выполнения задач.

6. Протестируйте агента в интерактивной студии, просматривая логи цепочки рассуждений, чтобы убедиться, что он вызывает правильные инструменты и выдаёт корректные результаты.

7. Опубликуйте в Agent Hub для доступа всей команды. Установите права доступа и правила управления (проверка выходных данных, триггеры участия человека, логика эскалации).

8. Мониторинг через Agent Management. Отслеживайте время безотказной работы, время отклика, частоту ошибок, количество запросов в минуту и метрики бизнес-влияния (качество выходных данных, соответствие политикам).

Как настроить прокси для AI-агентов в Dataiku

Шаг 1: Получите учётные данные прокси от CyberYozh

• Войдите в свой аккаунт CyberYozh.

• Перейдите в раздел «Резидентские ротационные прокси» и сгенерируйте список учётных данных

• Запишите хост прокси (IP), порт, имя пользователя и пароль, а также настройку стратегии ротации

• Перейдите в раздел API-ключи и сгенерируйте конечную точку API, которую вы будете использовать в рабочих процессах автоматизации

Шаг 2a: Настройте прокси в панели управления Dataiku (глобальный метод)

• Перейдите в Administration → Settings → Misc в веб-интерфейсе вашего DSS.

• Заполните HTTP Proxy Host (ваш шлюз CyberYozh), Portи учётные данные для аутентификации.

• Сохраните. Затем для любого соединения, которое вы хотите проксировать (наборы данных S3, HTTP, плагин API Connect), установите флажок Use global proxy.

• Все запросы агента, направленные через эти соединения, теперь будут автоматически проходить через CyberYozh.

Шаг 2b: Определите прокси непосредственно в коде агента (метод для отдельных задач)

Для инструментов Python или рецептов, вызываемых вашим агентом, добавьте прокси на уровне запроса, используя ваш API-ключ. Вот небольшой пример с базовой настройкой ротационных прокси:

import requests

# Get rotating proxy credentials

credentials = requests.post(
    'https://app.cyberyozh.com/api/v1/proxies/rotating-credentials/',

    headers={'X-Api-Key': “your_API_key”},

    json={

        'connection_login': 'your_login',
        'connection_password': 'your_password',
        'connection_host': 'your_IP',
        'connection_port': ‘your_port’,
        'session_type': 'your_session_type', # short_session, etc.
        'country_code': 'your_country_code', # US, UK, GE, etc.
        'amount': 5  # How many credentials you need
    }

)

# Get credentials in a code-readable JSON format
creds = credentials.json()['credentials']

# Use the first credentials set
proxy = {
    'http': f'http://{creds[0]}',
    'https': f'http://{creds[0]}'
}

# Use the proxy

response = requests.get("https://target-data-source.com", proxies=proxy)

Устранение неполадок и известные проблемы Dataiku

Специалисты в LinkedIn и сообществе Dataiku указывают на несколько повторяющихся проблемных моментов. Вот наиболее распространённые проблемы и способы их решения.

1. Разрастание агентов — слишком много агентов с неясным владением

Симптом: Несколько команд создают дублирующих агентов; IT-отдел теряет контроль; возникают повторяющиеся расходы.

Решение:

• Требуйте, чтобы все агенты были зарегистрированы и опубликованы через Agent Hub перед использованием.

• Назначьте владельца агента для каждого развёрнутого агента.

• Используйте Agent Management от Dataiku в качестве центра управления для аудита активных агентов, их использования и соответствия политикам.

2. Блокировки IP внешних API и источников данных

Симптом: Агент прерывается во время выполнения с ошибками HTTP 403 или 429 при сборе внешних данных.

Решение:

• Настройте ротационные резидентские прокси (например, CyberYozh) в разделе Administration → Settings → Misc или непосредственно в коде Python-инструмента агента.

• Для агентов, получающих доступ к географически ограниченным данным, используйте функцию таргетинга по странам CyberYozh через API.

• Протестируйте подключение прокси перед развёртыванием: сначала проверьте одним запросом, затем запускайте массовые задачи.

3. Утечка конфиденциальных данных через вызовы LLM и инструментов

Симптом: Агенты отправляют персональные данные или конфиденциальную бизнес-информацию во внешние API LLM, создавая риски несоответствия требованиям.

Решение:

• Разверните прокси в качестве локального шлюза между вашими агентами и внешними LLM.

• Настройте LLM Mesh так, чтобы он указывал на конечную точку прокси, а не напрямую на OpenAI или Anthropic.

• Прокси автоматически обнаруживает и маскирует персональные данные до того, как промпты покинут вашу среду, восстанавливая исходные значения в ответах.

4. Сбои в рассуждениях агентов и галлюцинации

Симптом: Агент вызывает неправильный инструмент, выполняет некорректное действие или выдаёт сфабрикованные результаты.

Решение:

• Просмотрите логи цепочки рассуждений агента в Dataiku agent studio, чтобы отследить, какой вызов инструмента вызвал сбой.

• Добавьте явные описания инструментов и ограничения параметров для снижения неоднозначности.

• Внедрите этапы проверки с участием человека для действий с высокими ставками (финансовые транзакции, клиентские выходные данные).

• Используйте Dataiku Reasoning Systems для многоэтапных рабочих процессов, требующих расширенного планирования перед действием.

5. Сложность доказательства ROI для агентских проектов

Симптом: Агенты созданы, но бизнес не видит измеримого эффекта, и финансирование масштабирования отклоняется.

Решение:

• Привяжите каждого агента к конкретному измеримому KPI перед созданием (например, «сократить время обработки счетов на X часов в неделю»).

• Используйте Agent Management → вкладку Business Impact , чтобы отслеживать показатели KPI с течением времени.

• Начните с узких, высокочастотных сценариев использования (маршрутизация заявок в поддержку, валидация счетов), где объём достаточно велик для быстрого получения видимой экономии.

Заключение: Сократите затраты времени и извлекайте выгоду из данных

AI-агенты Dataiku превращают недели работы экспертов в управляемые, повторяемые рабочие процессы, которые выполняются за минуты, с доказанными результатами в различных условиях. Прокси делают этих агентов надёжными в реальном мире: резидентские ротационные IP обходят геоблокировки и лимиты запросов, сохраняя при этом конфиденциальные данные в вашем периметре. Это обеспечивает стабильное качество данных, соответствие требованиям и ROI.