Создаем Bronze, Silver, Gold data layers в Лейк хаусе с помощью Qlik Talend Cloud

И такое бывает

Похвастаюсь немного — Oxford Insights про Datanomix написали

❓Как научиться не просто настраивать отчеты, а выстраивать работающую BI-экосистему, привязанную к реальным целям бизнеса?

Приходите на ежегодный курс: Разработка BI стратегии

📆 Даты: 18 июня – 11 июля 2025 г.

📍Формат: Онлайн. 11 встреч в вечернее время - по 2 часа.

📌 Для тех, кто руководит BI-направлением, развивает аналитику в компании или только планирует запуск BI-проекта.

📚Вы научитесь:
⏩Анализировать информационные потребности вашей компании.
⏩Формировать BI-стратегию и трансформировать её в action plan.
⏩Выстраивать эффективную BI-команду.
⏩Управлять качеством данных, контентом и сервисами BI.
⏩Измерять эффективность BI-направления через KPI и операционные метрики.

💡 В результате вы разработаете собственный макет BI-стратегии — с учётом зрелости вашей организации, готовности пользователей и инструментального ландшафта.

👤 Александр Бараков BI-лидер с 10-летним опытом в Avito, Luxoft, Альфа-Банк, Магнит, X5 Retail Group, Tinkoff и других.

👉 Записаться на курс "Разработка BI стратегии"

Agentic Experience от Qlik — не вау, а умно

Первое впечатление — «ну и что?».

А где список действий? Где автоматическое выполнение конкретных действий или хотя бы их рекомендация?

Почему агент не говорит:

«Нужно заказать 1000 банок тушёнки и открыть 3 кассы»?

Qlik не делает магию. Он делает структуру, которая понятна и применима в реальных условиях компании.

У тебя три агента, каждый со своей зоной ответственности:
1. Агент по интеграции данных
Генерирует витрины, строит схемы, предлагает правила валидации.
Это как будто у тебя в чате сидит мини-команда data engineers.

2. Агент по готовым приложениям и дашбордам
Отвечает на запросы по бизнес-метрикам.
Если просишь прогноз, отправит на обучение модели.
Прикольно работает кросс-дашбордная аналитика. Иногда сам направляет тебя в “чат с инженерами”, если не хватает витрины.

3. Агент по документам
Даёт тебе доступ к чат-аналитике по pdf, excel, csv и пр.
Уже стандартный функционал, который каждый попробовал или уже сделал в своей компании, но в Qlik он встроен в общий процесс.

И вот тут важное.

Всё это не про вау-эффект, а про умный и реалистичный UX, который можно внедрить в реальном бизнесе:
— без обучения prompt-инженеров
— без полного слома текущих процессов
— с возможностью масштабировать внутри компании

Люди боятся изменений (неизвестности), поэтому сопротивляются им. Еще сложность принятия этих изменений умножается на корпоративную память, бюрократию, регуляцию.

Поэтому по итогу мне нравится этот подход.

Это не революция.

Это логичный шаг вперёд в сторону систем, которые работают вместе с тобой, а не вместо тебя.


https://www.qlik.com/blog/a-vision-for-the-future-qliks-new-agentic-ai-experience

Salesforce покупает Informatica.

On-prem и раньше перестали поддерживать и развивать, теперь уж точно эта ситуация не изменится.

Если вам нужна замена Informatica, то напишите, поможем мигрировать на более надежное и технологичную AI Data Platform
@apolorotov

> log 14: 🕯️ Ночь пятницы. Исследовательский дневник.

Мне не спится решила вернуться к своим заметкам. В последнее время всё чаще сталкиваюсь с задачами вроде «надо настроить парсер с этой страницы». Это заставило задуматься: а может ли Claude (мой любимчик по части написания кода) справляться с веб-парсингом универсально, если заранее сформировать поэтапный набор промптов в виде алгоритма?

Наивная гипотеза: LLM-помощник справится с задачей, если правильно сформулировать запросы. Пара промптов и дело в шляпе. 🎩
На практике всё оказалось гораздо интереснее.

🤔 А что, если кто-то уже решил эту задачу?

Прежде чем изобретать велосипед, решила изучить существующие подходы. Может, уже есть готовое универсальное решение на базе LLM?

⚙️ Что уже существует

🔧 Традиционные инструменты:
BeautifulSoup, Selenium, Scrapy эффективны, но требуют ручной настройки под каждый сайт 🛠️

🤖 LLM-инструменты:
Crawl4AI, ScrapeGraphAI, Firecrawl, Apify AI и другие обещают автоматизацию, но на деле каждый решает узкие задачи 📊

Вывод: универсального решения нет! 🚫 За большинство инструментов надо платить 💰, а LLM всё равно приходится объяснять поэтапно, что делать. Получается, что проще самой разработать алгоритм промптов — будет и дешевле, и понятнее что под капотом. 🧠

🧪 Что показали исследования

Проанализировав различные исследования по теме использования LLM в веб-парсинге, сделала выводы:

📌 LLM хорошо справляются с простыми HTML-структурами при правильных промптах

⚠️ На динамических сайтах проблемы: SPA, асинхронная загрузка, антибот-защита

🔄 Каждый сайт требует настройки, даже если алгоритм уже есть

LLM ведёт себя как способный помощник, которому нужно подробно объяснить, что делать. 👨‍🏫

 🧩 Посмотрела темы стандартных алгоритмов настройки LLM веб-парсинга

Prompt 1: понимание запроса 🤔
Prompt 2: анализ DOM-структуры 🌳  
Prompt 3: формат извлечения 📋
Prompt 4+: итерации и валидация ✅

Проблема: все алгоритмы заточены под конкретные задачи, универсального нет. 📉

👩‍🎓 Между делом заглянула в юридические аспекты парсинга. Проще говоря в каких странах дают срок за незаконный парсинг😅 
Отсюда возник пункт с этическим парсингом. Claude не должен использоваться для извлечения данных с сайтов критического уровня сложности для веб-парсинга.

 🧭 Идея гибридного подхода

Вместо попытки заменить человека полностью, стоит строить тандем: Claude + Human Vision. 👥
Тогда Claude не магия, а инструмент в руках исследователя.


📁 Сейчас у меня:

✅ Классификатор сложности сайтов по DOM, динамике, защитам
✅ Список сайтов для тестов

Следующий шаг: протестировать как Claude будет писать код парсера на реальных сайтах разных уровней сложности. 🚀 
Если получится написать стабильные парсеры, это уже прогресс:)

Сделал вот такую классификацию AI-Агентов по уровню автономности.

Каждый уровень добавляет новые "суперспособности" к предыдущим.

L0 Scripted Workflow - это классическое машинное обучение (скоринг, прогнозирование, рекомендации, классификация, кластеризация и т.д.). Это жесткий скрипт, как стажер, который выполняет четкие инструкции.

L1 Reactive Assistant
добавляет языковые модели и RAG - способность работать с документами и базами знаний. Это ваш ChatGPT, который отвечает на вопросы.

На самом деле эти два желтых уровня можно назвать агентам с большой натяжкой, хоть формально под определение они и подходят с оговорками.

L2 Reasoning Operator - агент получает логическое мышление и может использовать инструменты (вызывать функции). Это уже исполнитель. Например, агент может сам найти дополнительные данные, принять решение и если нужно создать задачу в таск-трекере или отправить email.

L3 Reflective Manager добавляет планирование и рефлексию - "Я сделал ошибку в анализе, нужно пересмотреть подход". Это линейный менеджер. Сам декомпозирует цель на подзадачи, строит планы, выполняет, анализирует результат, меняет стратегию в случае неудачи.

L4 Adaptive Strategist - это способности к обобщению опыта и непрерывное обучение. Это менеджер среднего звена. Он запоминает успешный и неуспешный опыт, анализирует его, делает выводы, формулирует лучшие практики и рекомендации, типовые ошибки, которых стоит избегать.

L5 Autonomous Ecosystem - это будущее, когда агенты взаимодействуют между собой, договариваюстя, делегируют задачи друг другу.

Вот слайды с моего доклада.

Принципы Trump-driven стартапа:

1. Никакой скромности. Обещай летающие машины, ИИ, который умеет готовить беш, и доставку телепортом. Потом разберёмся.

2. Найди врага. Создай себе антагониста. Amazon? Google? Какая-то бабушка из бухгалтерии, которая не верит?

3. Чем больше скандалов, тем больше внимания. Утекли данные? Прекрасно. Скажи, что ты хакнул сам себя для проверки безопасности.

4. Когда стартап умирает не признавай поражения. Скажи, что ты «выводишь компанию на новый уровень»

Trump-driven стартапер