Що таке Dataiku Agentic AI: агенти для великих потоків даних

Dataiku AI обробляє великі потоки даних, обробляючи дані за хвилини замість днів. Ви отримуєте обслуговування інфраструктури, економію часу та грошей, а також практичні інсайти, які забезпечують конкурентну перевагу. Оскільки ви тут, ви вже могли здогадатися, що майже всі робочі процеси агентного AI потребують проксі: а саме, резидентські ротаційні проксі. 

Це велика тема, і ми тільки на початку. Я вже зібрав для вас інформацію: від історій успіху користувачів онлайн до даних з перших рук з моїх інтерв'ю з експертами AI. Готуйтеся, і давайте зануримося в це!

Що таке Dataiku AI і коли він вам потрібен

Dataiku — це корпоративна AI-платформа, яка об'єднує аналітику, машинне навчання та AI-агентів у єдине керованому середовищі. Її агенти — це автономні системи на основі великих мовних моделей (LLM), які планують, отримують дані, викликають зовнішні інструменти та виконують багатоетапні робочі процеси без необхідності втручання людини.

Компанії потрібні AI-агенти Dataiku, коли вона має великі, складні операції з даними, які неможливо масштабувати вручну. ROI платформи стає особливо очевидним, коли робочі процеси включають дані з кількох джерел, експертні знання, які потрібно упакувати для ширших команд, або повторювані процеси, які зараз коштують часу аналітиків.

Трохи цифр Dataiku для ясності:

• ZS Associates побачили на 60% швидший аналіз першопричин та на 25% менше помилок після розгортання

• Euronext заощадив аналітикам до 20% часу , який раніше витрачався на повторювані ринкові запити. 

• Mitsubishi Electric прискорив доставку аналітики на 60% , розгорнувши агентів Dataiku у своєму стеку звітності. 

• John Lewis Partnership повідомив про £40 мільйонів ROI, з на 25–30% вищими показниками конверсії та вдвічі швидшим запуском кампаній. 

Моя улюблена частина Dataiku — це легкий доступ до інструменту — у спосіб без коду. Наші аналітики даних та звичайні користувачі можуть увійти дуже швидко та оперативно створити use case.

— Стефан Калламан, цифровий трансформатор у Michelin

Використання Dataiku AI: Робочі процеси з великими обсягами даних

AI-агенти Dataiku найкраще працюють у середовищах, де розмір і складність даних є найважливішими показниками. Вони оптимізовані для обробки клієнтських, фінансових або наукових даних та їх обробки відповідно до інструкцій. Якщо ваші робочі процеси потрапляють у категорії нижче, вони можуть допомогти.

Автоматизовані фінансові потоки

Що роблять фінансові агенти Dataiku:

• Перевіряють рахунки-фактури на відповідність договірним умовам і автоматично позначають невідповідності

• Аналізують дані про ринкові ціни за тисячами артикулів або цінних паперів

• Відстежують аномалії платежів і запускають сповіщення або ескалації

• Направляють транзакції, чутливі до комплаєнсу, на розгляд людиною зі згенерованими ШІ резюме

• Генерують регулярні фінансові звіти, запитуючи структуровані бази даних природною мовою

Підтримка та бізнес-операції

Що роблять агенти підтримки Dataiku:

• Класифікують вхідні тікети за категорією, терміновістю та продуктовою областю

• Отримують відповіді зі структурованих баз знань і надсилають перевірені відповіді

• Відкривають або оновлюють тікети в Jira, ServiceNow або Freshdesk на основі умов-тригерів

• Ескалують до спеціалістів зі згенерованим ШІ резюме історії та рекомендованою дією

• Вимірюють час вирішення та якість у великих черзі підтримки

Ланцюги постачання та комплаєнс

Що роблять агенти Dataiku для ланцюгів постачання та комплаєнсу:

• Відстежують ризики постачальників, агрегуючи новини, санкційні списки та бази даних PEP

• Запускають робочі процеси повторного замовлення на основі порогових значень рівня запасів і прогнозів часу виконання

• Виконують аналіз AML-шаблонів у кластерах транзакцій і позначають підозрілу активність

• Готують резюме розслідувань із рекомендованими ескалаціями для офіцерів комплаєнсу

• Співвідносять дані про доставку з прогнозами попиту для проактивного виявлення вузьких місць

Використання в науці та дослідженнях

Що роблять дослідницькі агенти Dataiku:

• Шукають у глобальних реєстрах клінічних досліджень і ранжують потенційні сайти за пулом пацієнтів, географією та історією результатів

• Витягують і порівнюють показники ефективності дослідників у різних випробуваннях

• Агрегують академічну літературу та повертають структуровані резюме для дослідників

• Виявляють закономірності в експериментальних наборах даних і позначають аномалії для експертної перевірки

• Автоматизують маркетингові дослідження: збирають конкурентну розвідку, витягують ключові дані та створюють аналітичні звіти

Коли вам потрібен проксі для Dataiku

Більшість агентних робочих процесів Dataiku не працюють у чистому, контрольованому внутрішньому середовищі. Натомість вони звертаються до:

• скрейпінгу даних конкурентів

• моніторингу зовнішніх реєстрів

• отримання локалізованих цін

• запитів до глобальних баз даних відповідності

Без рівня проксі ці агенти блокуються, видають неточні геоспецифічні результати або розкривають IP-адреси інфраструктури компанії зовнішнім системам.

Ротаційні резидентські проксі вирішують кожну з цих проблем, підтримуючи великий пул IP-адрес реальних користувачів, автоматично циклічно змінюючи їх на кожен запит і маршрутизуючи трафік агента через географічні регіони, що відповідають цільовому джерелу даних. Вони служать операційною основою, яка робить рівень даних агента надійним і постійно чистим.

Розгортання та усунення несправностей агентів ШІ Dataiku 

По-справжньому знати щось — це вміти розгортати та використовувати це. Ось базові алгоритми використання агентних ШІ Dataiku, які застосовуються до більшості робочих процесів.

Як розгорнути агента ШІ Dataiku

1. Увійдіть у свій екземпляр Dataiku і перейдіть до панелі управління Проєкти .

2. Створіть новий проєкт або відкрийте існуючий, де ви хочете розгорнути агента.

3. Перейдіть до LLM Mesh через Адміністрування → Підключення → Нове підключення та налаштуйте бажану LLM (OpenAI, Anthropic, Azure OpenAI або власну/проксі кінцеву точку).

4. Відкрийте Agent Designer (доступний у потоках GenAI або через конструктор візуальних рецептів) і визначте мету вашого агента, інструменти (API, набори даних, потоки Dataiku) та налаштування пам'яті.

5. Додайте інструменти як-от набори даних, SQL-точки доступу, зовнішні REST API або рецепти Python/R, які він може викликати для виконання завдань.

6. Протестуйте агента в інтерактивній студії, переглянувши логи ланцюжка міркувань, щоб переконатися, що він викликає правильні інструменти та видає коректні результати.

7. Опублікуйте в Agent Hub для доступу всієї команди. Встановіть права доступу та правила управління (перевірка виводу, тригери за участю людини, логіка ескалації).

8. Моніторте через Agent Management. Відстежуйте час безвідмовної роботи, час відгуку, частоту помилок, кількість запитів за хвилину та метрики бізнес-впливу (якість виводу, відповідність політиці).

Як налаштувати проксі для AI-агентів у Dataiku

Крок 1: Отримайте облікові дані проксі від CyberYozh

• Увійдіть у свій акаунт CyberYozh.

• Перейдіть до Резидентські ротаційні проксі та згенеруйте список облікових даних

• Зафіксуйте хост проксі (IP), порт, ім'я користувача та пароль, а також налаштування стратегії ротації

• Перейдіть до ваших API-ключів та згенеруйте API-точку доступу, яку ви використовуватимете в автоматизованих робочих процесах

Крок 2a: Налаштуйте проксі в панелі управління Dataiku (глобальний метод)

• Перейдіть до Адміністрування → Налаштування → Різне у вашому веб-інтерфейсі DSS.

• Заповніть HTTP Proxy Host (ваш шлюз CyberYozh), Портта облікові дані автентифікації.

• Збережіть. Потім для будь-якого з'єднання, яке ви хочете проксіювати (S3, HTTP-набори даних, плагін API Connect), позначте Використовувати глобальний проксі.

• Усі запити агента, що проходять через ці з'єднання, тепер автоматично проходитимуть через CyberYozh.

Крок 2b: Визначте проксі безпосередньо в коді агента (метод для окремих завдань)

Для інструментів Python або рецептів, що викликаються вашим агентом, додайте проксі на рівні запиту, використовуючи ваш API-ключ. Ось невеликий приклад з базовим налаштуванням ротаційного проксі:

import requests

# Get rotating proxy credentials

credentials = requests.post(
    'https://app.cyberyozh.com/api/v1/proxies/rotating-credentials/',

    headers={'X-Api-Key': “your_API_key”},

    json={

        'connection_login': 'your_login',
        'connection_password': 'your_password',
        'connection_host': 'your_IP',
        'connection_port': ‘your_port’,
        'session_type': 'your_session_type', # short_session, etc.
        'country_code': 'your_country_code', # US, UK, GE, etc.
        'amount': 5  # How many credentials you need
    }

)

# Get credentials in a code-readable JSON format
creds = credentials.json()['credentials']

# Use the first credentials set
proxy = {
    'http': f'http://{creds[0]}',
    'https': f'http://{creds[0]}'
}

# Use the proxy

response = requests.get("https://target-data-source.com", proxies=proxy)

Усунення несправностей та відомі проблеми Dataiku

Практики в LinkedIn та спільноті Dataiku відзначають кілька повторюваних проблемних моментів. Ось найпоширеніші проблеми та способи їх вирішення.

1. Розростання агентів — забагато агентів з неясним власником

Симптом: Кілька команд створюють агентів, що дублюють один одного; ІТ-відділ втрачає контроль; виникають дубльовані витрати.

Рішення:

• Вимагайте, щоб усі агенти були зареєстровані та опубліковані через Agent Hub перед використанням.

• Призначте власника агента для кожного розгорнутого агента.

• Використовуйте Agent Management центр управління Dataiku для аудиту активних агентів, використання та дотримання політик.

2. Блокування IP зовнішніх API та джерел даних

Симптом: Агент зупиняється під час виконання з помилками HTTP 403 або 429 при зборі зовнішніх даних.

Рішення:

• Налаштуйте ротаційні резидентські проксі (наприклад, CyberYozh) у Administration → Settings → Misc або безпосередньо в коді Python-інструменту агента.

• Для агентів, які отримують доступ до геообмежених даних, використовуйте функцію таргетингу за країною CyberYozh через API.

• Перевірте з'єднання з проксі перед розгортанням: спочатку валідуйте одним запитом, потім запускайте масові завдання.

3. Виклики LLM та інструментів призводять до витоку конфіденційних даних

Симптом: Агенти надсилають персональні дані або конфіденційну бізнес-інформацію до зовнішніх API LLM, створюючи ризики для дотримання вимог.

Рішення:

• Розгорніть проксі як локальний шлюз між вашими агентами та зовнішніми LLM.

• Налаштуйте LLM Mesh так, щоб він вказував на кінцеву точку проксі, а не безпосередньо на OpenAI або Anthropic.

• Він автоматично виявляє та маскує персональні дані перед тим, як промпти залишають ваше середовище, відновлюючи оригінальні значення у відповідях.

4. Збої в міркуваннях агента та галюцинації

Симптом: Агент викликає неправильний інструмент, виконує некоректну дію або генерує вигадані результати.

Рішення:

• Перегляньте логи ланцюга міркувань агента в Dataiku agent studio, щоб відстежити, який виклик інструменту спричинив збій.

• Додайте чіткі описи інструментів та обмеження параметрів, щоб зменшити неоднозначність.

• Впровадьте етапи перевірки з участю людини для дій з високими ставками (фінансові транзакції, результати для клієнтів).

• Використовуйте Dataiku Reasoning Systems для багатоетапних робочих процесів, які вимагають розширеного планування перед дією.

5. Складність доведення ROI проєктів з агентами

Симптом: Агенти створені, але бізнес не бачить вимірного впливу, і фінансування для масштабування відхиляється.

Виправлення:

• Прив'яжіть кожного агента до конкретного, вимірного KPI перед створенням (наприклад, «скоротити час обробки рахунків на X годин на тиждень»).

• Використовуйте Agent Management → вкладку Business Impact , щоб відстежувати ефективність KPI з часом.

• Почніть із вузьких, високочастотних випадків використання (маршрутизація тікетів підтримки, валідація рахунків), де обсяг достатньо великий, щоб швидко генерувати видиму економію.

Висновок: Скоротіть витрачений час і отримайте переваги від даних

AI-агенти Dataiku перетворюють тижні роботи експертів на керовані, повторювані робочі процеси, які виконуються за хвилини, з доведеними результатами в різних умовах. Проксі роблять цих агентів надійними в реальному світі: резидентські ротаційні IP обходять геоблокування та обмеження швидкості, водночас зберігаючи конфіденційні дані в межах вашого периметра. Це забезпечує стабільну якість даних, відповідність вимогам і ROI.