Что такое Dataiku Agentic AI: агенты для больших потоков данных

Dataiku AI обрабатывает большие потоки данных за минуты вместо дней. Вы получаете экономию на обслуживании инфраструктуры, времени и денег, а также практические инсайты, которые обеспечивают конкурентное преимущество. Раз вы здесь, вы, вероятно, уже догадываетесь, что почти всем агентным AI-процессам требуется прокси: а именно — ротационные резидентские прокси. 

Это обширная тема, и мы только в начале пути. Я уже собрал для вас информацию: от историй успеха пользователей в интернете до данных из моих интервью с экспертами по AI. Приготовьтесь, и давайте погрузимся!

Коротко

Что такое Dataiku AI и когда он вам нужен

Dataiku — это корпоративная AI-платформа, которая объединяет аналитику, машинное обучение и AI-агентов в единую управляемую среду. Её агенты — это автономные системы на базе больших языковых моделей (LLM), которые планируют, извлекают данные, вызывают внешние инструменты и выполняют многошаговые процессы без вмешательства человека.

Компании нужны AI-агенты Dataiku, когда у неё есть крупные, сложные операции с данными, которые невозможно масштабировать вручную. ROI платформы становится особенно очевидным, когда процессы включают данные из множества источников, экспертные знания, которые нужно упаковать для более широких команд, или повторяющиеся процессы, которые сейчас отнимают время аналитиков.

Немного цифр Dataiku для ясности:

• ZS Associates достигла на 60% более быстрого анализа первопричин и на 25% меньше ошибок после развёртывания

• Euronext сэкономила аналитикам до 20% времени , ранее затрачиваемого на повторяющиеся рыночные запросы. 

• Mitsubishi Electric ускорила доставку аналитики на 60% , развернув агенты Dataiku в своей отчётной инфраструктуре. 

• John Lewis Partnership сообщила о 40 миллионах фунтов стерлингов ROI, при этом конверсия выросла на 25–30%, а запуск кампаний ускорился в 2 раза. 

Больше всего в Dataiku мне нравится простота доступа к инструменту — возможность работы без кода. Наши аналитики данных и обычные пользователи могут очень быстро войти в систему и оперативно создать сценарий использования.

— Стефан Калламан, специалист по цифровой трансформации в Michelin

Применение Dataiku AI: рабочие процессы с большими объёмами данных

AI-агенты Dataiku лучше всего работают в средах, где размер и сложность данных являются наиболее критичными метриками. Они оптимизированы для обработки клиентских, финансовых или научных данных согласно инструкциям. Если ваши рабочие процессы относятся к категориям ниже, они могут оказаться полезными.

Автоматизированные финансовые потоки

Что делают финансовые агенты Dataiku:

• Проверяют счета на соответствие договорным условиям и автоматически отмечают несоответствия

• Анализируют рыночные данные о ценах по тысячам SKU или ценных бумаг

• Отслеживают аномалии в платежах и запускают оповещения или эскалацию

• Направляют транзакции, требующие соблюдения нормативных требований, на проверку человеком с AI-сгенерированными резюме

• Генерируют регулярные финансовые отчёты, запрашивая структурированные базы данных на естественном языке

Поддержка и бизнес-операции

Что делают агенты поддержки Dataiku:

• Классифицируют входящие заявки по категории, срочности и продуктовой области

• Извлекают ответы из структурированных баз знаний и отправляют проверенные ответы

• Открывают или обновляют заявки в Jira, ServiceNow или Freshdesk на основе условий-триггеров

• Эскалируют к специалистам с AI-сгенерированным резюме истории и рекомендуемыми действиями

• Измеряют время и качество решения проблем в больших очередях заявок

Цепочки поставок и комплаенс

Что делают агенты Dataiku для цепочек поставок и комплаенса:

• Отслеживают риски поставщиков, агрегируя новости, санкционные списки и базы данных PEP

• Запускают процессы повторного заказа на основе пороговых значений уровня запасов и прогнозов времени выполнения заказа

• Проводить AML-анализ паттернов по кластерам транзакций и помечать подозрительную активность

• Готовить сводки по расследованиям с рекомендациями по эскалации для офицеров комплаенса

• Сопоставлять данные о доставках с прогнозами спроса для проактивного выявления узких мест

Использование в науке и исследованиях

Что делают исследовательские агенты Dataiku:

• Искать глобальные реестры клинических исследований и ранжировать потенциальные площадки по пулу пациентов, географии и истории результатов

• Извлекать и сравнивать метрики эффективности исследователей по различным испытаниям

• Агрегировать академическую литературу и возвращать структурированные резюме для исследователей

• Выявлять паттерны в экспериментальных датасетах и помечать аномалии для экспертной проверки

• Автоматизировать маркетинговые исследования: собирать конкурентную разведку, извлекать ключевые данные и создавать аналитические отчёты

Когда вам нужен прокси для Dataiku

Большинство агентских рабочих процессов Dataiku работают не в чистой контролируемой внутренней среде. Вместо этого они обращаются к внешним источникам, чтобы:

• парсить данные конкурентов

• мониторить внешние реестры

• получать локализованные цены

• запрашивать глобальные базы данных комплаенса

Без прокси-слоя эти агенты блокируются, выдают неточные геоспецифичные результаты или раскрывают IP-адреса инфраструктуры компании внешним системам.

Ротационные резидентские прокси решают каждую из этих проблем, поддерживая большой пул IP-адресов реальных пользователей, автоматически меняя их при каждом запросе и направляя трафик агентов через географические регионы, соответствующие целевому источнику данных. Они служат операционной основой, которая делает уровень данных агента надёжным и стабильно чистым.

Развёртывание и устранение неполадок AI-агентов Dataiku 

По-настоящему знать что-то — значит уметь развернуть и использовать это. Вот базовые алгоритмы использования агентских ИИ Dataiku, применимые к большинству рабочих процессов.

Как развернуть AI-агент Dataiku

1. Войдите в свой экземпляр Dataiku и перейдите в панель управления Projects .

2. Создайте новый проект или откройте существующий, в котором вы хотите развернуть агента.

3. Перейдите в LLM Mesh через Administration → Connections → New Connection и настройте предпочитаемую LLM (OpenAI, Anthropic, Azure OpenAI или пользовательскую/прокси-конечную точку).

4. Откройте Agent Designer (доступен в GenAI flows или через визуальный конструктор рецептов) и определите цель вашего агента, инструменты (API, датасеты, потоки Dataiku) и настройки памяти.

5. Добавьте инструменты , такие как датасеты, SQL-конечные точки, внешние REST API или рецепты Python/R, которые он может вызывать для выполнения задач.

6. Протестируйте агента в интерактивной студии, просмотрев логи цепочки рассуждений, чтобы убедиться, что он вызывает правильные инструменты и выдаёт корректные результаты.

7. Опубликуйте в Agent Hub для доступа всей команды. Установите права доступа и правила управления (проверка выходных данных, триггеры с участием человека, логика эскалации).

8. Отслеживайте через Agent Management. Следите за временем работы, временем отклика, частотой ошибок, запросами в минуту и метриками бизнес-влияния (качество выходных данных, соответствие политикам).

Как настроить прокси для AI-агентов в Dataiku

Шаг 1: Получите учётные данные прокси от CyberYozh

• Войдите в свой аккаунт CyberYozh.

• Перейдите в Резидентские ротационные прокси и сгенерируйте список учётных данных

• Запишите хост прокси (IP), порт, имя пользователя и пароль, а также настройку стратегии ротации

• Перейдите в API keys и сгенерируйте конечную точку API, которую вы будете использовать в рабочих процессах автоматизации

Шаг 2a: Настройте прокси в панели управления Dataiku (глобальный метод)

• Перейдите в Administration → Settings → Misc в вашем веб-интерфейсе DSS.

• Заполните HTTP Proxy Host (ваш шлюз CyberYozh), Portи учётные данные для аутентификации.

• Сохраните. Затем для любого соединения, которое вы хотите проксировать (S3, HTTP-датасеты, плагин API Connect), отметьте Use global proxy.

• Все запросы агента, направленные через эти соединения, теперь будут автоматически проходить через CyberYozh.

Шаг 2b: Определите прокси напрямую в коде агента (метод для отдельных задач)

Для инструментов Python или рецептов, вызываемых вашим агентом, добавьте прокси на уровне запроса, используя ваш API-ключ. Вот небольшой пример базовой настройки ротационных прокси:

import requests

# Get rotating proxy credentials

credentials = requests.post(
    'https://app.cyberyozh.com/api/v1/proxies/rotating-credentials/',

    headers={'X-Api-Key': “your_API_key”},

    json={

        'connection_login': 'your_login',
        'connection_password': 'your_password',
        'connection_host': 'your_IP',
        'connection_port': ‘your_port’,
        'session_type': 'your_session_type', # short_session, etc.
        'country_code': 'your_country_code', # US, UK, GE, etc.
        'amount': 5  # How many credentials you need
    }

)

# Get credentials in a code-readable JSON format
creds = credentials.json()['credentials']

# Use the first credentials set
proxy = {
    'http': f'http://{creds[0]}',
    'https': f'http://{creds[0]}'
}

# Use the proxy

response = requests.get("https://target-data-source.com", proxies=proxy)

Устранение неполадок и известные проблемы Dataiku

Практики в LinkedIn и сообществе Dataiku отмечают несколько повторяющихся проблем. Вот наиболее распространённые из них и способы их решения.

1. Разрастание агентов — слишком много агентов с неясным владением

Симптом: Несколько команд создают пересекающихся агентов; IT-отдел теряет видимость; возникают дублирующиеся затраты.

Решение:

• Требуйте, чтобы все агенты были зарегистрированы и опубликованы через Agent Hub перед использованием.

• Назначьте владельца агента для каждого развёрнутого агента.

• Используйте Agent Management Dataiku для аудита активных агентов, их использования и соответствия политикам.

2. Блокировки IP внешних API и источников данных

Симптом: Агент прерывается во время выполнения с ошибками HTTP 403 или 429 при сборе внешних данных.

Решение:

• Настройте ротационные резидентские прокси (например, CyberYozh) в Administration → Settings → Misc или непосредственно в коде инструмента Python агента.

• Для агентов, обращающихся к данным с географическими ограничениями, используйте функцию таргетинга по странам CyberYozh через API.

• Проверьте соединение с прокси перед развёртыванием: сначала выполните проверку одним запросом, затем запускайте массовые задачи.

3. Вызовы LLM и инструментов приводят к утечке конфиденциальных данных

Симптом: Агенты отправляют персональные данные или конфиденциальную бизнес-информацию во внешние API LLM, создавая риски несоответствия требованиям.

Решение:

• Разверните прокси в качестве локального шлюза между вашими агентами и внешними LLM.

• Настройте LLM Mesh на использование конечной точки прокси вместо прямого обращения к OpenAI или Anthropic.

• Он автоматически обнаруживает и маскирует персональные данные до того, как запросы покинут вашу среду, восстанавливая исходные значения в ответах.

4. Сбои в рассуждениях агента и галлюцинации

Симптом: Агент вызывает неправильный инструмент, выполняет некорректное действие или выдаёт выдуманные результаты.

Решение:

• Проверьте логи цепочки рассуждений агента в Dataiku agent studio, чтобы отследить, какой вызов инструмента вызвал сбой.

• Добавьте явные описания инструментов и ограничения параметров, чтобы уменьшить неоднозначность.

• Внедрите этапы проверки с участием человека для действий с высокими ставками (финансовые транзакции, результаты, обращённые к клиентам).

• Используйте Dataiku Reasoning Systems для многоэтапных рабочих процессов, требующих расширенного планирования перед действием.

5. Сложность доказательства ROI по агентским проектам

Симптом: Агенты созданы, но бизнес не видит измеримого эффекта, и финансирование масштабирования отклоняется.

Решение:

• Привяжите каждого агента к конкретному измеримому KPI перед созданием (например, «сократить время обработки счетов на X часов в неделю»).

• Используйте Agent Management → вкладку Business Impact , чтобы отслеживать производительность KPI с течением времени.

• Начните с узких, высокочастотных сценариев использования (маршрутизация заявок в поддержку, проверка счетов), где объём достаточно велик для быстрого получения видимой экономии.

Заключение: Сократите затраты времени и получите выгоду от данных

AI-агенты Dataiku превращают недели работы экспертов в управляемые, повторяемые рабочие процессы, которые выполняются за минуты, с доказанными результатами в различных условиях. Прокси делают этих агентов надёжными в реальном мире: ротационные резидентские IP обходят геоблокировки и ограничения скорости, сохраняя при этом конфиденциальные данные в вашем периметре. Это обеспечивает стабильное качество данных, соответствие требованиям и ROI.