Forwarded from data.csv (Алексей Смагин)
Прочитал сегодня интересную статью о том, как устроены геоданные в Китае.
Оказывается, Китай использует свою закрытую систему координат, нелинейно отличающуюся от общепринятой в мире. Сделано это в том числе из соображений национальной безопасности, и основной прикол этой системы в том, что к широте и долготе каждого места добавляются случайные смещения от 50 до 500 метров в любую сторону.
Насколько я понял, ни один внешний провайдер не имеет точной карты Китая, и это может весьма интересно проявляться: например, если в картах Гугла посмотреть на центр Шанхая в режиме спутника, то можно увидеть множество улиц прямо посреди реки.
Я бы не удивился, если бы там действительно была какая-то система улиц прямо в воздухе, но в данном случае это именно проблема декодирования китайских координат.
Вообще, чем больше читаю про эту страну, тем больше желания приехать и посмотреть на это всё. Только страшно: заблудишься где-нибудь, и чёрт там разберёшься с картами 🙈
https://habr.com/ru/companies/selectel/articles/815611/
Оказывается, Китай использует свою закрытую систему координат, нелинейно отличающуюся от общепринятой в мире. Сделано это в том числе из соображений национальной безопасности, и основной прикол этой системы в том, что к широте и долготе каждого места добавляются случайные смещения от 50 до 500 метров в любую сторону.
Насколько я понял, ни один внешний провайдер не имеет точной карты Китая, и это может весьма интересно проявляться: например, если в картах Гугла посмотреть на центр Шанхая в режиме спутника, то можно увидеть множество улиц прямо посреди реки.
Я бы не удивился, если бы там действительно была какая-то система улиц прямо в воздухе, но в данном случае это именно проблема декодирования китайских координат.
Вообще, чем больше читаю про эту страну, тем больше желания приехать и посмотреть на это всё. Только страшно: заблудишься где-нибудь, и чёрт там разберёшься с картами 🙈
https://habr.com/ru/companies/selectel/articles/815611/
Котятки🐱,
Когда я рассказывала своим студентам про DataMesh (https://www.datamesh-architecture.com), я всегда использовала эпитет «неудачники»: это концепт для тех, кто не может справиться со своим мусором в даных по разным причинам - от огромного масштаба компании/количества стейкхолдеров до крупного легаси, разбор которого не имеет экономической целесообразности.
И в свое время меня удивляли люди, которые брали этот концепт для отстройки его «с нуля» - видимо, сдавались на старте, после первого же внутреннего аудита и подхода к снаряду.
Откуда пошла история: https://medium.com/codex/data-mesh-zero-to-hero-ec86291f89cb
У Гугла нормальный гайд: https://cloud.google.com/architecture/data-mesh
Медиум намекает, как отстроить процессинг: https://medium.sqldbm.com/data-mesh-overhyped-misunderstood-and-useful-e65c60ba6643
Вот этот канал на ютубчике в свое время так доходчиво мне все разжевал, что во рту было кисло и чутка тошнило от передоза инфы: https://www.youtube.com/@datameshlearning
По концепции есть еще книжечка с птичкой от O’Reilly, но она мне показалась чутка водянистой
Когда я рассказывала своим студентам про DataMesh (https://www.datamesh-architecture.com), я всегда использовала эпитет «неудачники»: это концепт для тех, кто не может справиться со своим мусором в даных по разным причинам - от огромного масштаба компании/количества стейкхолдеров до крупного легаси, разбор которого не имеет экономической целесообразности.
И в свое время меня удивляли люди, которые брали этот концепт для отстройки его «с нуля» - видимо, сдавались на старте, после первого же внутреннего аудита и подхода к снаряду.
Откуда пошла история: https://medium.com/codex/data-mesh-zero-to-hero-ec86291f89cb
У Гугла нормальный гайд: https://cloud.google.com/architecture/data-mesh
Медиум намекает, как отстроить процессинг: https://medium.sqldbm.com/data-mesh-overhyped-misunderstood-and-useful-e65c60ba6643
Вот этот канал на ютубчике в свое время так доходчиво мне все разжевал, что во рту было кисло и чутка тошнило от передоза инфы: https://www.youtube.com/@datameshlearning
По концепции есть еще книжечка с птичкой от O’Reilly, но она мне показалась чутка водянистой
Datamesh-Architecture
Data Mesh Architecture
Data Mesh From an Engineering Perspective
This media is not supported in your browser
VIEW IN TELEGRAM
Эхх, котятки🐱, хотела бы я быть настолько наглой, чтобы брать деньги за вебинары-хуенары. Увы, мой текущий уровень - просто постить всякую хрень сюда, чисто в стиле "вспомнил - записал". Короче, рада, что вы ещё меня читаете))
Котятки🐱,
Вчера поспорила с коллегой на тему статистики.
Статистику я не люблю не меньше, чем Data mesh, так что обсираю ее при первом удобном случае как псевдонауку.
По мне - это выкидыш прикладной математики, который приносит успокоение нашему мозгу, как любая систематизация информации: порядок - это контроль, а контроль - это безопасность.
Ну и вcякие статистические тренды мне всегда казались ересью: статичность условий для появления тренда в реальности стремится к 0, а результаты прогноза зависят от используемого мат.аппарата. Но! Это не значит, что нормальный многофакторный предиктивный анализ надо выкидывать, вовсе нет: он наталкивает на определенные мысли и является одним из столпов принятия решений.
Обосрав это, предлагаю вместе посмотреть видосик о истории статистики (говорят, она древняя, но мне кажется они туда напихали все - от кусков чистой математики до датавиза) и почитать книжечку для самых маленьких👆
https://www.youtube.com/watch?v=x-A3vJ5ZjUI
Ах да, на русском похожего видоса не нашла, поделитесь статистики ради, у кого есть))
Вчера поспорила с коллегой на тему статистики.
Статистику я не люблю не меньше, чем Data mesh, так что обсираю ее при первом удобном случае как псевдонауку.
По мне - это выкидыш прикладной математики, который приносит успокоение нашему мозгу, как любая систематизация информации: порядок - это контроль, а контроль - это безопасность.
Ну и вcякие статистические тренды мне всегда казались ересью: статичность условий для появления тренда в реальности стремится к 0, а результаты прогноза зависят от используемого мат.аппарата. Но! Это не значит, что нормальный многофакторный предиктивный анализ надо выкидывать, вовсе нет: он наталкивает на определенные мысли и является одним из столпов принятия решений.
Обосрав это, предлагаю вместе посмотреть видосик о истории статистики (говорят, она древняя, но мне кажется они туда напихали все - от кусков чистой математики до датавиза) и почитать книжечку для самых маленьких👆
https://www.youtube.com/watch?v=x-A3vJ5ZjUI
Ах да, на русском похожего видоса не нашла, поделитесь статистики ради, у кого есть))
YouTube
Statistics 1. The history of statistics
This video gives some detailed information about the history of statistics from 400 AD to 2012. The information presented in this video is based on the study of American Statistical Association and Royal Statistical Society.
Котятки🐱,
Проекты иногда завершаются🙈, и в этой точке мы всегда пьем, прокрастинируем и убираем за собой.
Хорошая статья (с vpn), как уходить с проекта аналитику: https://medium.com/castor-app/offboarding-guide-leave-your-data-analyst-job-in-style-6509d6042571
P. S. Вообще она мне попалась случайно, когда я сегодня гуглила про аналитический паралич (посмотрела на мой супер избыточный JIRA board и словила минутку "Остолбеней!")
Почитать про него можно тут: https://vc.ru/marketing/797737-analiticheskii-paralich-eto-kogda-ty-vse-tolko-izuchaesh-chitaesh-uchishsya-a-nichego-ne-delaesh
Проекты иногда завершаются🙈, и в этой точке мы всегда пьем, прокрастинируем и убираем за собой.
Хорошая статья (с vpn), как уходить с проекта аналитику: https://medium.com/castor-app/offboarding-guide-leave-your-data-analyst-job-in-style-6509d6042571
P. S. Вообще она мне попалась случайно, когда я сегодня гуглила про аналитический паралич (посмотрела на мой супер избыточный JIRA board и словила минутку "Остолбеней!")
Почитать про него можно тут: https://vc.ru/marketing/797737-analiticheskii-paralich-eto-kogda-ty-vse-tolko-izuchaesh-chitaesh-uchishsya-a-nichego-ne-delaesh
Medium
How To Quit Your Data Analyst Job In Style
The complete checklist for your last weeks. Leave your job without leaving a mess.
Котятки, примерно 2 года назад я очень активно пыталась изобразить активность с https://www.polymersearch.com/ - этакая машинка по распознаванию ваших данных, которая сразу же автоматически на них строит дашборды. Что могу сказать: за 2 года они очень подкачались, и на один и тот же датасет уже выдали что-то более веселое. Но, увы, все же не до конца: они так и не могут распознать, что в таблице в плоском виде лежит граф,и визуализировать надо ну хотя бы диаграммой с суммированием по узлам. А вот мой новый дружбан https://www.prototypr.ai/ развивается более развесисто и спокойно способен сгененировать как и простой незагруженный дашик а-ля "Тафти на минималках", так и нечто креативное (мой типичный кейс - изобразить посещаемость детского садика)))
Forwarded from Хороший/плохой/злой аналитик
Культур-мультур
Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.
Поучительная история становления культуры работы с данными в одном стартапе. Про переход от культуры поощрения выкатки новых фичей (т.н. метод "хуяк, хуяк и в продакшн"), к культуре инкрементального улучшения продукта на основе данных и экспериментов. Прям получил удовольствие от прочтения.
Erik Bernhardsson
Building a data team at a mid-stage startup: a short story
You are brought into a startup to run their three-person data team. This is a story about teams and organization, and how you spend a year getting the team to a good place.
Котятки🐱 Один из постоянных и давних участников прошедшего AnalystDays опубликовал "заметки" о докладах)
https://mtsepkov.org/%D0%91%D0%BB%D0%BE%D0%B3:%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0_%D0%A6%D0%B5%D0%BF%D0%BA%D0%BE%D0%B2%D0%B0/2024-05-30:_AnalystDays_%D0%B2_%D0%9F%D0%B8%D1%82%D0%B5%D1%80%D0%B5_-_%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B8%D0%B5_%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D1%8B_%D0%B8_%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F
От себя: я участвовала в AnalystDays в прошлом году и словила много новых мыслей, касаемо ИБ. В этом сезоне было модно осмысление роли и психологии (на фоне развития ИИ, видимо, инструментальная часть работы отходит на второй план, и вперед вылезает сама составляющая работы аналитика - искать решения и находить ответы).
Ссылку любезно сперла у коллеги😜
https://mtsepkov.org/%D0%91%D0%BB%D0%BE%D0%B3:%D0%9C%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0_%D0%A6%D0%B5%D0%BF%D0%BA%D0%BE%D0%B2%D0%B0/2024-05-30:_AnalystDays_%D0%B2_%D0%9F%D0%B8%D1%82%D0%B5%D1%80%D0%B5_-_%D1%85%D0%BE%D1%80%D0%BE%D1%88%D0%B8%D0%B5_%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4%D1%8B_%D0%B8_%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D1%89%D0%B5%D0%BD%D0%B8%D1%8F
От себя: я участвовала в AnalystDays в прошлом году и словила много новых мыслей, касаемо ИБ. В этом сезоне было модно осмысление роли и психологии (на фоне развития ИИ, видимо, инструментальная часть работы отходит на второй план, и вперед вылезает сама составляющая работы аналитика - искать решения и находить ответы).
Ссылку любезно сперла у коллеги😜
Котятки🐱,
Когда я искала наглядный пример, как работают функции временных интервалов в PostgreSQL, я наткнулась на полезный сайт по базам данных.
В нем статьи разделены не только по БД , но и по характеру материала ( «what-is» и «how-to»).
Собственно, с этого сайта пошли все мои любимые объяснялки в стиле «для самых маленьких» и прикольные примеры, которые я привожу на различные сценарии работы, и отсюда же было своровано немало кейсов для обучалок стажеров и, что главное, именно с него я всегда беру нормальное объяснение транзакций.
Линк
https://database.guide
Когда я искала наглядный пример, как работают функции временных интервалов в PostgreSQL, я наткнулась на полезный сайт по базам данных.
В нем статьи разделены не только по БД , но и по характеру материала ( «what-is» и «how-to»).
Собственно, с этого сайта пошли все мои любимые объяснялки в стиле «для самых маленьких» и прикольные примеры, которые я привожу на различные сценарии работы, и отсюда же было своровано немало кейсов для обучалок стажеров и, что главное, именно с него я всегда беру нормальное объяснение транзакций.
Линк
https://database.guide
Котятки🐱,
Меня случайно занесло в визуализацию ESG-отчетов (это что-то про экологию и человечность, можно почитать на Хабре
И пока я с этом еще разбираюсь(а точнее, разбираюсь в метриках и особенностях макетов), делюсь своими находками по паттернам дизайн-макетов дашбордов:
1. Хорошая статья с объяснением паттернов дизайна дашбордов и, что интересно, там немного про тексты и подписи (типа элементарных вещей - не делать длинных подписей, если дашик будут смотреть с телефона). Читать с VPN: https://yingdesign.medium.com/be-a-designer-who-can-also-help-with-writing-copy-2f4ea02a5646
2. Компромиссы в дизайне дашбордов (сам сайт я уже тут давала, но делала акцент на шаблоны дизайна, а не на параметры балансировки дизайна :https://dashboarddesignpatterns.github.io/tradeoffs.html
Меня случайно занесло в визуализацию ESG-отчетов (это что-то про экологию и человечность, можно почитать на Хабре
И пока я с этом еще разбираюсь(а точнее, разбираюсь в метриках и особенностях макетов), делюсь своими находками по паттернам дизайн-макетов дашбордов:
1. Хорошая статья с объяснением паттернов дизайна дашбордов и, что интересно, там немного про тексты и подписи (типа элементарных вещей - не делать длинных подписей, если дашик будут смотреть с телефона). Читать с VPN: https://yingdesign.medium.com/be-a-designer-who-can-also-help-with-writing-copy-2f4ea02a5646
2. Компромиссы в дизайне дашбордов (сам сайт я уже тут давала, но делала акцент на шаблоны дизайна, а не на параметры балансировки дизайна :https://dashboarddesignpatterns.github.io/tradeoffs.html
Хабр
ESG-софт: из чего состоит рынок программ, которые делают бизнес полезным для общества
Тема ESG, которая развивается на Западе больше десяти лет, сегодня становится популярной и в России. За последние два-три года ESG-отчеты начали публиковать многие крупные компании, такие как...
Котятки🐱,
Я продолжаю для себя тему промышленной аналитики.
ESG-отчеты (содержат набор метрик оценки продукции с точки зрения экологии и социальной ответственности)
для меня лично уперлись в две большие проблемы:
-понимание метрик оценки жизненного цикла продукции LCA и как их считать
-визуализация цепочек поставок для наглядности все тех же метрик LCA
На эту тему есть хорошая статья от инструмента Viser, в ней:
1. Метрики
2. Дата-пайплайн
3. Механика визуализации
Линк:
https://engineering.purdue.edu/cdesign/wp/wp-content/uploads/2014/08/ASME-ViSER.pdf
Бонус моего утра: каталог всех промышленных/экологических датасетов в одном месте, которые можно использовать для оценки жизненного цикла пром продукции
https://ghgprotocol.org/life-cycle-databases
Я продолжаю для себя тему промышленной аналитики.
ESG-отчеты (содержат набор метрик оценки продукции с точки зрения экологии и социальной ответственности)
для меня лично уперлись в две большие проблемы:
-понимание метрик оценки жизненного цикла продукции LCA и как их считать
-визуализация цепочек поставок для наглядности все тех же метрик LCA
На эту тему есть хорошая статья от инструмента Viser, в ней:
1. Метрики
2. Дата-пайплайн
3. Механика визуализации
Линк:
https://engineering.purdue.edu/cdesign/wp/wp-content/uploads/2014/08/ASME-ViSER.pdf
Бонус моего утра: каталог всех промышленных/экологических датасетов в одном месте, которые можно использовать для оценки жизненного цикла пром продукции
https://ghgprotocol.org/life-cycle-databases
Котятки🐱,
Я в большинстве своём имею дело либо с монолитной архитектурой, либо с гибридной (которая часто является следствием попытки распила монолита), поэтому всякие темы, связанные с координацией действий микросервисов мне не сильно доступны в практической плоскости, но интересны как аналитику и бывшему архитектору.
Сегодня я на Хабре нашла статью про осьминога. Сама статья топ, а комментарии с обсуждением архитектуры осьминога и принципов работы его щупалец жгут:
https://habr.com/ru/articles/818991/
Я в большинстве своём имею дело либо с монолитной архитектурой, либо с гибридной (которая часто является следствием попытки распила монолита), поэтому всякие темы, связанные с координацией действий микросервисов мне не сильно доступны в практической плоскости, но интересны как аналитику и бывшему архитектору.
Сегодня я на Хабре нашла статью про осьминога. Сама статья топ, а комментарии с обсуждением архитектуры осьминога и принципов работы его щупалец жгут:
https://habr.com/ru/articles/818991/
Хабр
Разбираем осьминога
Осьминоги странные . Вот представьте, что вы осьминог. Почти всю жизнь вы ребёнок, потому что как только станете взрослым и размножитесь — это запустит эндокринный триггер умирания. В принципе, можно...
Forwarded from Чартомойка (Aleksandr Bogachev)
Версия Tableau Public 2024.1.3 позволяет сохранять проекты локально! Наверное ни одной другой функции я не ждал так, как этой, а я пользуюсь Tableau c 2013 года.
Ура! 👏🏻🍾💣
Ура! 👏🏻🍾💣
Котятки🐱,
мне коллега подогнал очень свеженький видос с новой онлайн-лекцией Сколково, сказал изучать.
Я поизучала, теперь более-менее могу объяснить маме, чем я занимаюсь😂
Ну и да, проблемы, когда ты приходишь к управленцу со своей IT-шной болью, а он не понимает, а также вопрос доверия между менеджерской части команды и разработкой, - всегда актуальны.
https://youtu.be/btgwmY_cQ2Q?si=ujF786XhkTcXCm4c
мне коллега подогнал очень свеженький видос с новой онлайн-лекцией Сколково, сказал изучать.
Я поизучала, теперь более-менее могу объяснить маме, чем я занимаюсь😂
Ну и да, проблемы, когда ты приходишь к управленцу со своей IT-шной болью, а он не понимает, а также вопрос доверия между менеджерской части команды и разработкой, - всегда актуальны.
https://youtu.be/btgwmY_cQ2Q?si=ujF786XhkTcXCm4c
YouTube
Аналитика данных в бизнесе: с чего начать
Образовательная программа "Управление бизнесом на данных" https://clck.ru/3BEyt7
Развитие бизнеса невозможно без аналитики. Но насколько глубоко управленцу нужно погружаться в эту тему? Данные и аналитику в контексте бизнес-задач в новой онлайн-лекции обсуждают…
Развитие бизнеса невозможно без аналитики. Но насколько глубоко управленцу нужно погружаться в эту тему? Данные и аналитику в контексте бизнес-задач в новой онлайн-лекции обсуждают…
Я сейчас переживаю нелегкий период Action Gap (разница между мыслями и поведением) по своей любимой фиче, и поэтому много рефлексию на эту тему.
Это не первый раз, - фрустрацию (напряжение и раздражение) со стороны пользователя по отношению как к конкретному дашборду, так и к BI-продуктам целиком мне уже приходилось ловить.
Статья на эту тему: https://www.zenloop.com/en/blog/dashboard-fatigue/#dashboards-without
Я с ней немного не согласна. Cейчас BI-осознанность сообщества уже на таком уровне, что сложно встретить дашборд, который совсем уж не пригоден для того, «чтобы сделать выводы».
Скорее, раздражение пользователя вызывает неспособность сделать выводы быстро.
Получилось чуть сумбурно, котятки🐱
Это не первый раз, - фрустрацию (напряжение и раздражение) со стороны пользователя по отношению как к конкретному дашборду, так и к BI-продуктам целиком мне уже приходилось ловить.
Статья на эту тему: https://www.zenloop.com/en/blog/dashboard-fatigue/#dashboards-without
Я с ней немного не согласна. Cейчас BI-осознанность сообщества уже на таком уровне, что сложно встретить дашборд, который совсем уж не пригоден для того, «чтобы сделать выводы».
Скорее, раздражение пользователя вызывает неспособность сделать выводы быстро.
Получилось чуть сумбурно, котятки🐱
zenloop
Conquering Dashboard Fatigue
Learn how to utilize dashboards correctly to change your relationships with dashboards, so they are healthier and more productive.
Котятки🐱,
моя сегодняшняя находка - подробный разбор, почему дата-проекты терпят неудачу.
Разбор типичный, факторы тривиальные, но иллюстрации топ, просто зыринг-тыринг.
Линк (с vpn):
https://medium.com/@meskensjan/scoping-data-projects-why-technology-alone-isnt-enough-2f2dafdd1c1c
моя сегодняшняя находка - подробный разбор, почему дата-проекты терпят неудачу.
Разбор типичный, факторы тривиальные, но иллюстрации топ, просто зыринг-тыринг.
Линк (с vpn):
https://medium.com/@meskensjan/scoping-data-projects-why-technology-alone-isnt-enough-2f2dafdd1c1c
Forwarded from Книжный IT сборник
Уилке_Клаус_Основы_визуализации_данных_Библиотека_цифровой_трансформации.pdf
18.2 MB
Книга "Основы визуализации данных. Пособие по эффективной и убедительной подаче информации"
Forwarded from Книжный IT сборник
Манцнер_Тамара_Визуализация_данных,_полный_курс_для_начинающих_специалистов.pdf
11.9 MB
Книга "Визуализация данных: полный курс для начинающих специалистов"
Котятки🐱,
Про сторителлинг уже сказано очень много, но нет, сегодня меня уделала одна из статей Стенфордского университета (статью закину сюда) про про визуальные нарративы.
А дальше я увидела нарратив Dill-down (источник моей ненависти на века) - и понеслось. Scrollytelling меня вообще добил, не проходите мимо и потыкайте в эту дичь.
Ловите оч неплохой гайд по сторителлингу с понятными нарративами, по нему вполне реально сложить из несвязных листов дошила вполне читабельную и законченную вещь.
Линк:
https://data.europa.eu/apps/data-visualisation-guide/drill-down-story-structure
Про сторителлинг уже сказано очень много, но нет, сегодня меня уделала одна из статей Стенфордского университета (статью закину сюда) про про визуальные нарративы.
А дальше я увидела нарратив Dill-down (источник моей ненависти на века) - и понеслось. Scrollytelling меня вообще добил, не проходите мимо и потыкайте в эту дичь.
Ловите оч неплохой гайд по сторителлингу с понятными нарративами, по нему вполне реально сложить из несвязных листов дошила вполне читабельную и законченную вещь.
Линк:
https://data.europa.eu/apps/data-visualisation-guide/drill-down-story-structure