Що таке Dataiku Agentic AI: агенти для великих потоків даних

Dataiku AI обробляє великі потоки даних, опрацьовуючи дані за хвилини замість днів. Ви отримуєте обслуговування інфраструктури, економію часу та грошей, а також практичні інсайти, які забезпечують конкурентну перевагу. Оскільки ви тут, ви вже могли здогадатися, що майже всі робочі процеси агентного ШІ потребують проксі: а саме, резидентських ротаційних проксі. 

Це величезна тема, і ми лише на початку. Я вже зібрав для вас інформацію: від історій успіху користувачів в інтернеті до даних з моїх інтерв'ю з експертами зі штучного інтелекту. Готуйтеся, і давайте поринемо в це!

TL;DR

Що таке Dataiku AI і коли він вам потрібен

Dataiku — це корпоративна платформа ШІ, яка об'єднує аналітику, машинне навчання та AI-агентів в єдине кероване середовище. Його агенти — це автономні системи на основі великих мовних моделей (LLM), які планують, отримують дані, викликають зовнішні інструменти та виконують багатоетапні робочі процеси без потреби у втручанні людини.

Компанії потрібні AI-агенти Dataiku, коли вона має великі, складні операції з даними, які неможливо масштабувати вручну. Рентабельність інвестицій платформи стає особливо очевидною, коли робочі процеси включають дані з кількох джерел, експертні знання, які потрібно упакувати для ширших команд, або повторювані процеси, які зараз коштують аналітикам часу.

Трохи цифр Dataiku для ясності:

• ZS Associates побачили на 60% швидший аналіз першопричин та на 25% менше помилок після розгортання

• Euronext заощадив аналітикам до 20% часу , який раніше витрачався на повторювані ринкові запити. 

• Mitsubishi Electric прискорила доставку аналітики на 60% , розгорнувши агентів Dataiku у своєму стеку звітності. 

• John Lewis Partnership повідомила про 40 мільйонів фунтів стерлінгів ROI, з показниками конверсії на 25–30% вищими та вдвічі швидшим запуском кампаній. 

Найбільше мені подобається в Dataiku легкий доступ до інструменту — безкодовий підхід. Наші аналітики даних та звичайні користувачі можуть швидко увійти та оперативно побудувати use case.

— Стефан Калламанд, цифровий трансформер у Michelin

Використання Dataiku AI: Робочі процеси з великими обсягами даних

AI-агенти Dataiku найкраще працюють у середовищах, де розмір і складність даних є найважливішими метриками. Вони оптимізовані для обробки клієнтських, фінансових або наукових даних згідно з інструкціями. Якщо ваші робочі процеси потрапляють у категорії нижче, вони можуть допомогти.

Автоматизовані фінансові потоки

Що роблять фінансові агенти Dataiku:

• Перевіряють рахунки-фактури на відповідність договірним умовам та автоматично позначають невідповідності

• Аналізують дані про ринкові ціни по тисячах SKU або цінних паперів

• Відстежують аномалії платежів та запускають сповіщення або ескалацію

• Направляють транзакції, чутливі до комплаєнсу, на перевірку людиною з AI-згенерованими резюме

• Генерують регулярні фінансові звіти, запитуючи структуровані бази даних природною мовою

Підтримка та бізнес-операції

Що роблять агенти підтримки Dataiku:

• Класифікують вхідні тікети за категорією, терміновістю та продуктовою областю

• Отримують відповіді зі структурованих баз знань та надсилають перевірені відповіді

• Відкривають або оновлюють тікети в Jira, ServiceNow або Freshdesk на основі умов-тригерів

• Ескалують до спеціалістів з AI-згенерованим резюме історії та рекомендованою дією

• Вимірюють час вирішення та якість у великих чергах підтримки

Ланцюги постачання та комплаєнс

Що роблять агенти Dataiku для ланцюгів постачання та комплаєнсу:

• Відстежують ризики постачальників, агрегуючи новини, санкційні списки та бази даних PEP

• Запускають робочі процеси повторного замовлення на основі порогових значень рівня запасів та прогнозів часу виконання

• Виконувати аналіз AML-патернів у кластерах транзакцій і позначати підозрілу активність

• Готувати резюме розслідувань із рекомендованими ескалаціями для офіцерів комплаєнсу

• Співставляти дані про доставку з прогнозами попиту для проактивного виявлення вузьких місць

Використання в науці та дослідженнях

Що роблять дослідницькі агенти Dataiku:

• Шукати глобальні реєстри випробувань і ранжувати потенційні майданчики за пулом пацієнтів, географією та історією результатів

• Витягувати та порівнювати метрики ефективності дослідників у різних випробуваннях

• Агрегувати академічну літературу та повертати структуровані резюме для дослідників

• Виявляти патерни в експериментальних наборах даних і позначати аномалії для експертної перевірки

• Автоматизувати маркетингові дослідження: збирати конкурентну розвідку, витягувати ключові дані та створювати аналітичні звіти

Коли вам потрібен проксі для Dataiku

Більшість агентних робочих процесів Dataiku не працюють у чистому, контрольованому внутрішньому середовищі. Натомість вони звертаються до:

• скрапінгу даних конкурентів

• моніторингу зовнішніх реєстрів

• отримання локалізованих цін

• запитів до глобальних баз даних комплаєнсу

Без проксі-рівня ці агенти блокуються, надають неточні геоспецифічні результати або розкривають IP-адреси інфраструктури компанії зовнішнім системам.

Ротаційні резидентські проксі вирішують кожну з цих проблем, підтримуючи великий пул IP реальних користувачів, автоматично змінюючи їх на кожен запит і маршрутизуючи трафік агента через географічні регіони, що відповідають цільовому джерелу даних. Вони служать операційним фундаментом, який робить рівень даних агента надійним і послідовно чистим.

Розгортання та усунення несправностей агентів ШІ Dataiku 

Справді знати щось — означає вміти розгортати та використовувати це. Ось базові алгоритми використання агентних ШІ Dataiku, які застосовуються до більшості робочих процесів.

Як розгорнути агента ШІ Dataiku

1. Увійдіть до свого екземпляра Dataiku і перейдіть до панелі управління Проєкти .

2. Створіть новий проєкт або відкрийте наявний, у якому ви хочете розгорнути агента.

3. Перейдіть до LLM Mesh через Administration → Connections → New Connection і налаштуйте бажану LLM (OpenAI, Anthropic, Azure OpenAI або користувацьку/проксі-кінцеву точку).

4. Відкрийте Agent Designer (доступний у потоках GenAI або через візуальний конструктор рецептів) і визначте мету вашого агента, інструменти (API, набори даних, потоки Dataiku) та налаштування пам'яті.

5. Додайте інструменти , такі як набори даних, SQL-кінцеві точки, зовнішні REST API або рецепти Python/R, які він може викликати для виконання завдань.

6. Протестуйте агента в інтерактивній студії, переглядаючи журнали ланцюжка міркувань, щоб переконатися, що він викликає правильні інструменти та видає коректні результати.

7. Опублікуйте в Agent Hub для доступу всієї команди. Встановіть права доступу та правила управління (перегляд результатів, тригери «людина в циклі», логіка ескалації).

8. Моніторте через Agent Management. Відстежуйте час безвідмовної роботи, час відповіді, частоту помилок, запити за хвилину та метрики бізнес-впливу (якість результатів, відповідність політикам).

Як налаштувати проксі для AI-агентів у Dataiku

Крок 1: Отримайте облікові дані проксі від CyberYozh

• Увійдіть до свого облікового запису CyberYozh.

• Перейдіть до Резидентські ротаційні проксі та згенеруйте список облікових даних

• Зафіксуйте хост проксі (IP), порт, ім'я користувача та пароль, а також налаштування стратегії ротації

• Перейдіть до ваших API-ключів і згенеруйте API-кінцеву точку, яку ви використовуватимете в автоматизованих робочих процесах

Крок 2a: Налаштуйте проксі в панелі управління Dataiku (глобальний метод)

• Перейдіть до Administration → Settings → Misc у вашому веб-інтерфейсі DSS.

• Заповніть HTTP Proxy Host (ваш шлюз CyberYozh), Portта облікові дані для автентифікації.

• Збережіть. Потім, для будь-якого з'єднання, яке ви хочете проксіювати (S3, HTTP-набори даних, плагін API Connect), позначте Use global proxy.

• Усі запити агента, що проходять через ці з'єднання, тепер автоматично йтимуть через CyberYozh.

Крок 2b: Визначте проксі безпосередньо в коді агента (метод для окремих завдань)

Для інструментів Python або рецептів, які викликаються вашим агентом, додайте проксі на рівні запиту, використовуючи ваш API-ключ. Ось невеликий приклад базового налаштування ротаційних проксі:

import requests

# Get rotating proxy credentials

credentials = requests.post(
    'https://app.cyberyozh.com/api/v1/proxies/rotating-credentials/',

    headers={'X-Api-Key': “your_API_key”},

    json={

        'connection_login': 'your_login',
        'connection_password': 'your_password',
        'connection_host': 'your_IP',
        'connection_port': ‘your_port’,
        'session_type': 'your_session_type', # short_session, etc.
        'country_code': 'your_country_code', # US, UK, GE, etc.
        'amount': 5  # How many credentials you need
    }

)

# Get credentials in a code-readable JSON format
creds = credentials.json()['credentials']

# Use the first credentials set
proxy = {
    'http': f'http://{creds[0]}',
    'https': f'http://{creds[0]}'
}

# Use the proxy

response = requests.get("https://target-data-source.com", proxies=proxy)

Усунення несправностей та відомі проблеми Dataiku

Практики в LinkedIn та спільноті Dataiku відзначають кілька повторюваних проблем. Ось найпоширеніші з них та способи їх вирішення.

1. Розростання агентів — занадто багато агентів з неясним володінням

Симптом: Кілька команд створюють агентів, що перекриваються; ІТ втрачає видимість; виникають дубльовані витрати.

Рішення:

• Вимагайте, щоб усі агенти були зареєстровані та опубліковані через Agent Hub перед використанням.

• Призначте відповідального за агента для кожного розгорнутого агента.

• Використовуйте Agent Management центр управління Dataiku для аудиту активних агентів, використання та відповідності політикам.

2. Блокування IP зовнішніх API та джерел даних

Симптом: Агент зупиняється під час виконання з помилками HTTP 403 або 429 при зборі зовнішніх даних.

Рішення:

• Налаштуйте ротаційні резидентські проксі (наприклад, CyberYozh) в Administration → Settings → Misc або безпосередньо в коді інструменту Python агента.

• Для агентів, що отримують доступ до даних з географічними обмеженнями, використовуйте функцію таргетування за країною CyberYozh через API.

• Перевірте з'єднання з проксі перед розгортанням: спочатку перевірте одним запитом, потім запускайте масові завдання.

3. Виклики LLM та інструментів розкривають конфіденційні дані

Симптом: Агенти надсилають персональні дані або конфіденційну бізнес-інформацію до зовнішніх API LLM, створюючи ризики відповідності.

Рішення:

• Розгорніть проксі як локальний шлюз між вашими агентами та зовнішніми LLM.

• Налаштуйте LLM Mesh на кінцеву точку проксі замість прямого з'єднання з OpenAI або Anthropic.

• Він автоматично виявляє та маскує персональні дані перед тим, як запити залишають ваше середовище, відновлюючи оригінальні значення у відповідях.

4. Помилки міркування агентів і галюцинації

Симптом: Агент викликає неправильний інструмент, виконує некоректну дію або видає вигадані результати.

Рішення:

• Перегляньте логи ланцюжка міркувань агента в студії агентів Dataiku, щоб відстежити, який виклик інструменту спричинив збій.

• Додайте чіткі описи інструментів і обмеження параметрів, щоб зменшити неоднозначність.

• Впровадьте етапи перевірки за участю людини для дій з високими ставками (фінансові транзакції, результати для клієнтів).

• Використовуйте Dataiku Reasoning Systems для багатоетапних робочих процесів, які потребують розширеного планування перед дією.

5. Складність доведення ROI проєктів з агентами

Симптом: Агенти створені, але бізнес не бачить вимірного впливу, і фінансування для масштабування відхиляється.

Рішення:

• Прив'яжіть кожного агента до конкретного, вимірного KPI перед створенням (наприклад, «скоротити час обробки рахунків на X годин на тиждень»).

• Використовуйте Agent Management → вкладку Business Impact , щоб відстежувати показники KPI з часом.

• Почніть із вузьких, високочастотних випадків використання (маршрутизація тікетів підтримки, перевірка рахунків), де обсяг достатньо великий, щоб швидко генерувати помітну економію.

Висновок: скоротіть витрати часу й отримайте вигоду від даних

AI-агенти Dataiku перетворюють тижні роботи експертів на керовані, повторювані робочі процеси, які виконуються за хвилини, з доведеними результатами в різних умовах. Проксі роблять цих агентів надійними в реальному світі: резидентські ротаційні IP обходять геоблокування й обмеження швидкості, зберігаючи чутливі дані в межах вашого периметра. Це забезпечує стабільну якість даних, відповідність вимогам і ROI.