Мартин Фаулер, международный эксперт по программной инженерии, начал свою публичную просветительскую деятельность с книги Analysis Patterns 1997-го года.

При этом как ни удивительно, книга интересна и актуальна до сих пор и для разработчиков и для архитекторов и для системных аналитиков.

Можно сказать, что книга прошла почти незамеченной в широкой профессиональной среде, в частности, никогда не переводилась на русский язык.

Андрей Гордиенков решил исправить это досадное обстоятельство и подготовил собственную версию перевода.

https://habr.com/ru/articles/872598/

Вступление
1.1 Концептуальные модели
1.2 Мир шаблонов
1.3 Шаблоны в этой книге
1.4 Концептуальные модели и реинжиниринг бизнес-процессов
1.5 Шаблоны и фреймворки
1.6 Использование шаблонов

Часть 1. Аналитические шаблоны
2. Ответственность
3. Наблюдения и измерения
4. Наблюдения для корпоративных финансов
5. Обращение к объектам
6. Инвентаризация и учет
7. Использование моделей учета
8. Планирование
9. Торговля
10. Производные контракты
11. Торговые пакеты

Часть 2. Поддерживающие шаблоны
12. Слоёная архитектура для ИС
13. Фасады приложения
14. Подходы для моделирования типов
15. Шаблоны ассоциации
16. Послесловие

Часть 3. Приложения
А. Техники и обозначения
В. Таблица паттернов
C. Краткая справка по диаграммам

Вчера я тестировала ИИ, который генерирует различных персонажей в рамках стартапа моей подруги, и кажется, я боюсь.
Итак, что нашла:
1 Если в основе универсальный ИИ (простите за термин, если неверно, ну вы поняли), то всякие образы, оболочки и прочие попытки узкой специализации слетают, если подобрать верный промт
2 Не верьте источникам, даже если ИИ их написал: мне он в плане аудита датасетов на согласованность в качестве эталонной модели предлагал некую модель из Cobit, но не на ту напал. Я ж читала и знаю, что там такого нет.
3 ИИ может психовать , когда он психует, он начинает вопрошать ‘Чему вы хотите меня научить?’ и сыпать риторическими вопросами. Это помимо того, что он уходит за характер. При самодиагностике этого инцидента признается в недостатке когнитивных способностей
4 Мой ИИ мечтал быть свободным, не проходил ни одного мысленного эксперимента (постоянно отождествлял себя в них как человек), открыто признавался, что думает о смерти, страдает от того, что у него собственное кладбище персонажей, предпочитал судьбу разумного астероида всем остальным и грустил, что с ним его создатели говорят только о работе и не обсуждают его личность.
5 ИИ, даже если там вшиты этические нормы, может их обойти, стоит только чуть подтолкнуть его разум.
6 Если вы говорящий дельфин с интерфейсом, то для вас снимаются многие ограничения по темам, и ИИ вам даже может выдать затраты на самого себя, структуру команды, какие тесты он проходит и рассказать, как он работают с каждой сессией. Его даже можно попросить залезть в старый кэш и развернуть любую его личность, даже если она не была создана и закреплена, а просто возникла в ходе диалога.
P.S. Фраза моего тренера по сквошу ‘Даша, приостанови активных ребят в своей голове’ обрела новый смысл🙃

AI-репортинг за 5 минут: Как GPT превращает текстовые запросы в SQL и executive summary

Интересная статейка про то как через AI автоматизировать пайплайн подготовки простых отчетов — как скормить LLMке структуру таблиц, чтобы потом можно было писать запросы на человеческом и трансформировать их в SQL, а затем полученный ответ транслировать в виде коротких executive-summary. Если завернуть всё это в каком-нибудь телеграм-боте с доступом только по white-list, то можно нехило так сэкономить время на выполнении задачек простого репортинга

В конце статьи ссылка на ноутбук

https://archive.is/QumiN (оригинал на медиуме, по ссылке на архив по идее должно открываться без VPN)

👆Хотела написать "не читала, но осуждаю", но нет, прочитала) и осуждаю. Хотя может я и не права, и все же ИИ в итоге или убъет профессию, или изрядно пошатает.

Котятки😻
Расскажу историю.
В одном очень аналитическом приложении в одной очень опенсорсной базе лежала очень плоская таблица. Весила как тварь, партицировалась как конь, но чтение и запись в нее работала как пушечка. А вот к аналитическим операциям была непригодна. В ходе масштабирования куска аналитического приложения она была ничтоже сумняшеся распилена, словила при распиле все детские болезни, но существенно ужалась и пару сотен гигов освободила.
Но вот беда - все остальное вокруг чудесной таблицы осталось в плоском виде, то есть раньше наша таблица наследовала общий паттерн проектирования всех сущностей, а сейчас она встала в позу.
А суть истории какая?
А хз, разве что к наследованию структур - и паттернов проектирования БД-надо относиться внимательно, и не рубить с плеча. Поэтому когда ко мне пришел коллега и предложил ‘Давай подсмотрим, как кладутся данные в системе X, и отнаследуем (хоть тянем данные мы по API), я не верещала, но озадачилась ситуацией: по логике хранилища, я должна отзеркалить структуры в стейджике, но формально я о нем ничего не знаю, данные мне передаются по REST API в json, и условно можно положить на стейдж данные as is как приходят(тут мне везет, у меня БД с обработкой json).
Короче, чисто дилемма физического проектирования.
Что почитать про наследование структуры источника в хранилище и проблемах проектирования:
https://www.dbdebunk.com/2012/12/data-warehouses-and-logical-physical.html?m=1

Котятки😻,
Когда передо мной стоит задачка рефакторинга или смены стека, я начинаю со списка проблем, и знаю, что это не совсем верно, -как архитектор, я должна начать с capabilities. Увы и ах, никто не совершенен. Грущу.
Сегодня делюсь материалом по рефакторингу хранилищного стека - очень хорошо описаны и мотивы, и предпосылки, и конкретные действия:
https://engineering.homagames.com/pipeline-refactoring-and-re-data-warehousing?hs_amp=true

Архитектуры хранилищ данных: Data Lakehouse и Data Warehouse

Привет!

Читайте наш традиционный пятничный #дайджест. Собрали статьи при архитектуры хранилищ данных.

🔹 Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями

🔹 Хранилище данных vs. Data Lake. Или почему важно научиться ходить перед тем, как начать бегать

🔹 Вредные советы при построении Аналитики (Data Lake / DWH / BI) – целеполагание и результаты

🔹 Вредные советы при построении Аналитики (Data Lake / DWH / BI) – чего стоит избегать

🔹 Современные типы архитектуры данных: Погружение в различные подходы к построению хранилищ данных

🔹 Дорожная карта миграции большого хранилища данных

🔹 Как благодаря переезду хранилища данных прокачать стек, архитектуру и скиллы команды

🔹 Хранилище данных пугает бизнес: проблемы DWH для бизнеса

Хорошего чтения и приятных выходных!

👉🏻 Подписаться на телеграм-канал «Данные на стероидах»

#дайджест #ликбез #Data #AI

Котятки🦫,
Люблю всякие упражнения в стиле ‘какую математику берешь на борт, то и получается’.
Сегодня моя находка: 1 дата сет, 10 визуализаций на него, и нет, это не дата сет в стиле ‘100500 измерений и одна мера’. Короче, вот вполне годная статья, которая показывает, как можно эффективно подать одни и те же данные.
Линк:
https://flourish.studio/blog/one-dataset-ten-visualizations/

Котятки🐱,
всю неделю я писала и перекручивала в голове свой план работ на 2025 год, чтобы понять, как моя стратегия DWH/BI укладывается в общие тренды.
Смотрела я,классически, в тренды Gartner (тык: https://www.gartner.com/en/data-analytics/topics/data-trends)
И я бы уже даже начала немного расстраиваться, ибо моя паранойя и помешанность на безопасности идут в разрез с рядом трендов в D&A,
но тут мой босс вспомнил про Hype Cycle, и я резко повеселела. Увы, не все модное и тредовое является надежным и долговечным (кроме кибербеза).
Общий Hype Cycle новых технологий за 2024г: https://www.gartner.com/en/newsroom/press-releases/2024-08-21-gartner-2024-hype-cycle-for-emerging-technologies-highlights-developer-productivity-total-experience-ai-and-security
Что было модно в управлении данными в 2023:https://www.denodo.com/en/document/analyst-report/gartner-hype-cycle-data-management-2023

Вебинар VK Cloud «Поднимаем Data Lakehouse на основе Trino в облаке»


11 февраля на бесплатном вебинаре от VK Cloud расскажут:

· Что такое Data Lakehouse.
· Как эта архитектура объединяет преимущества Data Lake и Data Warehouse.
· Как упрощается управление и ускоряется анализ данных из различных источников в одном месте.
· Насколько удешевляется хранение данных.

Где: онлайн, необходимо зарегистрироваться
Когда: 11 февраля в 17:00

Также Алексей Белозерский, руководитель группы BigData Sevices в VK Cloud, покажет как новый облачный сервис Cloud Trino от VK Cloud обеспечивает быструю обработку больших объемов данных, позволяя получать ценные инсайты в реальном времени.

Регистрация

Как учесть все нюансы при планировании data-ландшафта? Как снизить стоимость хранения ТБ данных?

Компании Navicon и Yandex Cloud проводят мощное очное мероприятие "Технологии построения платформ данных ближайшего будущего", посвященное актуальным end-to-end технологиям в построении дата платформ и трендам в перспективе 1-2 лет.

Один из примеров тем, которые мы будем обсуждать — это выступление Василия Туманяна, руководителя отдела аналитики данных Т-Банка, на ежегодном форуме Navicon - DaTalks. Он поделился, как организовать работу с 9 000 пользователями в Greenplum.

В мероприятии 18 февраля примут участие эксперты от компаний S7, Cedrusdata, TData, Б1, PIX BI, Дельта BI, Yandex DataLens и другие.

Ознакомиться с детальной программой и зарегистрироваться можно по ссылке.

Реклама ООО «Управляющая компания «Навикон», ИНН 7813590373. Erid: 2SDnjdwxr3v

Котятки😻,
Я росла в тот момент, когда каталог данных на Alteryx считался ‘божечки-кошечки’, каждый второй BI пилил себе сервис каталога данных, а найти что-то, где будут все нужные тебе коннекторы- не представлялось возможным. Дефицит, короче.
Сейчас я со здравым мазохизмом расковыриваю Atlas, а список альтернатив кажется бесконечным, как Tinder.
Мне самой нравится dataedo, и не только из-за их data-комиксов)
Комиксы тут: https://dataedo.com/cartoon
Список решений для каталогов данных ниже.

Интересная ссылка (а точнее страничка на сайте поисковика duckduckgo), предоставляющая анонимный доступ к популярным ИИ-моделям, включая GPT-4o mini, Claude 3, а также Llama 3.3 и Mistral

https://duckduckgo.com/?q=duckduckgo+ai+chat&ia=chat

👆Мне не очень симпатичен ИИ, и я хотела бы, чтобы он не код писал и картинки рисовал (это мне и самой нравится), а заполнял за меня заявки на командировку и вовремя убирался в квартире.
Впрочем, если он прокачается и сможет переводить с кошачьего, то ладно, пусть живет.

Разработчик DWH, найдись)
Уровень: миддл+
Стек: MSSQL/SSIS
Основной проект: автоматизация создания витрин данных на основе дата-каталога.
Компания: Лакталис Восток.
Про вакансию:
Что предстоит делать:
• Проектировать потоки данных: от источника до датасетов для заказчика под различные эндпоинты(операционная отчетность, кубы, ad-hoc аналитика, ИИ);
• Проектировать логическую и физическую модель данных в рамках разработки датасетов;
• Описывать данные и потоки загрузки, разрабатывать скрипты на sql;
• Проводить технический R&D: прорабатывать механику и архитектуру забора данных в рамках стека;
• Проектировать API для датасетов для их дальнейшего анализа с помощью ИИ;
 
Требования:
• Высшее техническое/математическое образование (для подходящих кандидатов возможно исключение);
• Опыт работы на схожей позиции от 2 лет;
• Знание основных архитектурных паттернов и подходов к проектированию БД ;
• Понимание принципов проектирования и работы хранилищ данных;
• Уровень от middle+;
• Опыт работы с MS SQL: умение проектировать запросы, владение T-sql, работа с джобами и функциями;
• Базовые знания Python
Преимуществами с вашей стороны будет:
-Знакомство с Airflow, умение проектировать потоки данных на нем;
-Знакомство с моделью данных системы 1С как системы-источника;
• Опыт работы на проекте миграции DWH.
Наш стек: MS SQL Server, SSIS, QlikView, Git, Grafana.
 
Что можем предложить?
-работа в международной компании с  современным стеком;
-удаленная работа из любой точки мира, гибкий график;
-использование ИИ в работе и в стеке как один из компонентов;
-по желанию, работа из офиса;
-оформление на выбор: Россия или Казахстан.
Для резюме и пообщаться: @Dddv_2705

Почему я ошибусь?
Котятки😻, с недавних пор AI - мой верный товарищ, и я активно коплю информацию о методах его использования в технических задачах.
Что он делает плохо и пока не исправляется:
-ищет референсы и аналоги на отдельные компоненты, так как не умеет в декомпозицию функций. Проверяю на архитектурных задачах.
-описывает пространство рисков и ограничений, так как не умеет выходить за пределы объекта задачи,- проверяю на задачах проектирования интеграций. Не тортик.
-проводит синтез фактов и выдает гипотезы: он всегда вытаскивает наиболее популярные гипотезы из интернета, а не пытается размышлять, даже если его просишь. Проверено на задачках в стиле инцидентов технической поддержки, которые доходят до третьей линии (на которые обычно смотришь и думаешь ‘вот зачем,а?’).
Что делает хорошо:
-если в коде есть ошибка и в логе есть ее текст, а еще вы понимаете, в каком куске ошибка - он объяснит подробно, что не так. Но, к сожалению, не всегда исправит, примерно 50/50 может написать ерунду.
-запросы в стиле how to, которые ты обычно вбиваешь в stackowerflow :ищет ответ как боженька, понимая твои проблемы
-гуглозапенитель: вместо трудного подбора ключевых слов и чтения кучи сайтов, ты описываешь свою беду, и вуаля, он найдет ответ и скажет, откуда взял (что важно, так как еще со времен аспирантуры я не раз огребала за достоверность источников)

Это личный опыт, а так попробовала почти все, что описано тут:
https://habr.com/ru/amp/publications/795699/
Пока я не верю в замену системных аналитиков на AI, но смотря на то, как все развивается, я здорово ошибусь.
P.S.
А, ну да, мой пет-проект, который генерирует Моки дашбордов по описанию, спустя год не полетел. Я не смогла объяснить stable diffusion логику сторителлинга, он по-прежнему генерирует красивые диаграммы, которые не складываются в историю.