Про переверстку табличек и сусликов, которые есть

Я сам статистик и математик, но коммуникация с "заказчиками" — это важная часть моей работы. Дизайн, чистота, читаемость и эстетика моих отчетов для меня важны. Я подписан на всякие каналы про визуализацию данных, на ребят из мира BI и дэшбордиков, с интересом слежу за тем, что делают в Бюро Горбунова и около него.

Читать мнения дизайнерских кругов нужно, но вот следовать их советам вслепую не стоит. Сегодня про курс Игоря Штанга и Миши Капанаги Таблицы и прочие радости, точнее про одну табличку на его главной странице.

Подписывайтесь на канал Миши табличный дизайн, там здорово!

🧵 1/7

Я не дизайнер, поэтому не буду обсуждать выбор шрифтов-отступов — веб в 2023 по умолчанию читабельнее, чем методички на бумаге из 1993 года от универского издательства. Обсудим изменения в структуре данных.

Таблицу транспонировали. Они прямо пишут: в шапке текста много, в первом столбце мало, надо поменять местами.

Выбросили строку-итог, где в каждом столбце получалось по 100%. Кажется, с точки зрения дизайнера, это избыточная информация и ей можно пренебречь.

Добавили столбец с галочками и крестиками. Видимо, попытка быть дружелюбным к читателю.

Вторая таблица читается легче, это правда. Зачем тогда пост? А затем, что переверстывали дизайнеры, а не люди со знанием статистики, и с водой выплеснули ребеночка.

🧵 3/7

Проблема философская

Насколько я вижу, сейчас модно заботиться о пользователях и делать так, чтобы им приходилось поменьше думать. Галочка с крестиком про это же:
Мы подумаем за читателя, и раз 37% самая большая доля, то обозначим вариант В галочкой, а вариант Г крестиком, вдруг пользователь не освоил программу начальной школы и у него не получится сравнить четыре числа.

Давайте смотреть детальнее. Варианты Б и В по количеству ответов "Оправдано" отличаются всего на один процент; вряд ли разница статитистически значима. Так почему он отмечен галочкой? Или мы его выбрали потому, что у него меньше всего ответов "Неоправдано"? Здесь нет однозначной метрики. Более того, вообще не факт, что на основании этой таблицы можно принять такое решение или что такая цель стояла.

В терминах Тафти галочка с крестиком — это визуальный шум. Он сбивает с толку и вызывает больше вопросов, чем дает ответов.

Что делать? Это вопрос целевой аудитории и жанра текста.

В коммерции, популярных и "продающих" текстах для широкой аудитории такой подход окнорм и на своем месте. В академии и BI погода другая.

* Если это табличка в рапорте для топ-манагера, то мб это и оправдано.

* Пишете отчет для коллеги-ученого без статобразования и он четко сформулировал шкалу лучше-хуже? Может, да, а, может, не да.

* Если речь идет про текст от равного для равных, то разделение на секции Results и Discussion придумали не просто так. Твердые числа — отдельно, ваши интерпретации — отдельно. Читатель не тупой, позвольте ему вчитаться в данные и самому составить свое мнение.

Здесь еще можно развести конспирологию про то, что если вы не думаете сами, а кто-то думает за вас, то теория наджа, гроб гроб кладбище, кто заплатил дизайнеру, чтобы галочка появилась у варианта В, масоны-рептилоиды, мы все под колпаком, но мы устоим перед этим искушением.

🧵 4/7

Нарушение конвенций

Табличка относится к интервенционному исследованию: респондентам предлагают разные формулировки (treatment / независимая переменная), а потом сравнивают их реакцию (response / зависимая переменная).

В той литературе, с которой сталкивался я, обычно уровни тритмента расположены в шапке (по столбцам), а уровни респонса ставят по строкам (в боковик). В исходной таблице эту конвенцию соблюдают, а вот в переверстанной таблице на это забили.

Табличка в вакууме выглядит красивее; как оно будет работать в реальном тексте — вопрос.

Как быть? Отвечу за "академию", в других избушках свои погремушки.

Пункт ноль. Выбрать один вариант (тритмент по строкам или по столбцам) и придерживаться его на протяжении всей единицы текста. Понимание структуры эксперимента первично, конкретные уровни тритмента и респонса вторичны и разжевываются в главах перед самой таблицей несколько раз.

Формулировки в исходной таблице закодированы буквами А–Г. Если не нравится разползающаяся шапка, то я бы оставил только буквы, а сами формулировки либо убрал вообще, либо вынес списком в текст перед таблицей / в подзаголовок таблицы / в примечания к таблице / в подпись к таблице.

🧵 5/7

О чем эта таблица?

Посмотрите на переверстанную таблицу; какого она типа? в ней указаны какие-то проценты, но проценты чего в структуре чего?

Может, это таблица сопряженности 4×3, а проценты — это доля респондентов в конкретной ячейке от всех опрошенных?

Или это таблица в которой сделали conditioning по строкам: проценты в ячейках — это доля респондентов от тех, кому была предложена конкретная формулировка?

Лично я на этом подзавис. Разгадка проста: строчка со 100% строго говоря избыточна, но она несет важную информацию об устройстве самой таблицы. Можно и без нее, но придется потратить время и заняться сложением чисел в строчках, а потом еще и дурное послевкусие сомнений и неуверенности остается: я все правильно посчитал? я правильно разгадал, что хотел сказать автор?

Как быть? Оставить столбец "Всего" с построчными суммами. Для лучшей читаемости отделить его от тела таблицы отступом побольше, мб 100% печатать не жирным шрифтом, а обычным. Кому надо, те сразу поймут, что в таблице оценки условных вероятностей. При этом засчет отделения столбик не будет путать остальных.

🧵 6/7

Вместо заключения

"Избыточность" и "шум" в глазу смотрящего
Что дизайнеру избыточная строка, то статистику важная опора, облегчающая жизнь и понимание. Где дизайнер видит упрощение для пользователя и подсветку главной мысли, там исследователь видит тенденциозность и предвзятость.

Суслик, скорее всего, есть. Хоть вы его и не видите.
Хороший дизайн — это когда на вопрос "почему так" есть ответ. Если дизайнер не понимает, что хотел сказать автор, и не видит ответа на вопрос "почему и зачем", то это не значит, что этого ответа нет и не предполагается. Более того, если сам автор таблички не может ответить на этот вопрос внятно и говорит что-то типа "все так делают и я тоже", то это тоже не значит, что этого ответа нет. Просто автор таблички может быть не статистиком, а человеком, который делает, как статистики.

Контекст и его понимание роляют
Если брать еще шире, то переверстки таблиц в вакууме — сегодняшней таблицы, таблицы про выбросы химотходов на курсе Ильи Бирмана или таблица про сварщиков из разбора Миши Капанаги — это упражнение для студентов и дизайнерский междусобойчик, а не реальная ситуация. Потому что если вы не знаете откуда и зачем эта таблица, кто ей будет пользоваться, в каких условиях и на какие вопросы она должна отвечать,
если вы не понимаете прикладную область (domain-specific knowledge, он самый), то с ненулевой вероятностью при переверстке потеряется информация и появится шум.

Никто не знает ваши данные лучше вас
Если вам не нравится, как верстак составил табличку, вам перестало быть понятно, что в ней, у вас есть несогласия — возможно, стоит послать верстака / дизайнера лесом. Потому что у дизайнеров другой анамнез и решают они другие задачи.

Сходите на канал к Михаилу, читайте Илью Бирмана, развивайте насмотренность. Но прежде всего думайте своей головой.

🧵 7/7

Торжественно открываю комменты, обсуждать пост можно вот тут.

Всяко лыко в строку. Вот тут Илья говорит, что привычка — важная штука, и не стоит ломать ожидания пользователя при пересборке таблички.

Про ковариацию альтернативных случайных величин

Рубрика #очевидное_невероятное.

Пусть есть случайные явления А и B.

Первую строчку на картинке можно прочитать так: явления независимы тогда и только тогда, когда вероятность их одновременного наступления равна произведению вероятностей каждого явления по отдельности; это мы знаем с курсов введения в теорвер.

Если нам захочется померять зависимость событий, мы можем, например, перенести левую часть равенства в правую, так мы получим "индекс зависимости". Оказывается, что ковариация индикаторов явлений — это и есть этот самый индекс зависимости (вторая строчка на пикче)!

1. Для независимых событий индекс равен нулю — по определению независимости. Заметим, что "некоррелированные" события всегда независимы.

2. Если индекс положительный, то события позитивно коррелируют; одновременное наступление событий случается чаще, чем при независимости событий, мы с Тамарой ходим парой.

3. Если индекс отрицательный, то наоборот, события имеют склонность "избегать друг друга" и происходить по отдельности, но не вместе.

Это все можно дальше увязывать с интеракциями между категориальными переменными в бинарной регрессии, таблицами сопряженности и анализом Пирсоновских остатков в таблицах сопряженности.
Это же рассуждение проливает свет на устройство хи-квадрат статистики и объясняет, почему хи-квадрат -- это действительно аналог корреляционного анализа для дискретных величин.
А еще оно, возможно, позволит сконструировать что-то типа коэффициента зависимости для дискретных величин (и получится что-то близкое к хи-квадрат статистике).

Вторая строка снизошла на меня вот прям сегодня. Админ не тормоз, он очень-очень медленный газ.

Про проценты, процентные пункты и аффинные преобразования

Рубрика #очевидное_невероятное.

На днях статью, для которой я делал статанализ, приняли в публикацию. По такому случаю покажу #бэкстейдж и поделюсь закулисными деталями.

Преамбула
Гликированный гемоглобин (HbA1c) — показатель, который любят диабетологи. Глюкоза образует устойчивое соединение с гемоглобином (гликирует его, duh) в эритроцитах, а скорость протекания этой реакции зависит от концентрации глюкозы в крови. Эритроциты живут примерно 120 дней, в итоге HbA1c отражает что-то типа среднего уровня гликемии на протяжении последних трех-четырех месяцев. То есть имеем интегральную метрику, которая еще и менее волатильна, чем просто уровень сахара в крови.

Подстава состоит в том, что разные конфессии меряют HbA1c в разных единицах: в Чехии, например, принято выражать его в ммоль/моль, поэтому весь анализ делали именно в миллимолях на моль. Существуют еще две шкалы, в которых гликогемоглобин выражают в процентах: IFCC и DCCT.

Амбула
Конечно же рецензенты попросили продублировать все результаты и в шкале DCCT. Формула для перевода из ммоль/моль в проценты DCCT приведена на картинке к посту. С переводом самих измерений все понятно. Трудности начинаются, когда мы хотим пересчитать эффекты из ммоль/моль.

Так в одной из групп HbA1c снижался на −2,2 ммоль/моль за три месяца. Если мы пересчитаем этот эффект по формуле, то получим, что за три месяца гликогемоглобин вырос на 1,9 единиц DCCT.

Подвох в том, что формула перевода содержит свободный член: это аффинное, а не линейное отображение. Поэтому для перевода дельт, разниц и эффектов нужно отбросить 2,15 и оставить только линейную часть. Похожие приколы можно встретить при переводе температуры между градусами Кельвина, Цельсия и Фаренгейта.

На сладкое
Рассуждения выше — еще одна причина, почему не надо путать проценты (percents, %) и процентные пункты (percentage points, %pt., п.п.). Гликированный гемоглобин по шкале DCCT выражается в процентах. Разности, эффекты и дельты по шкале DCCT выражаются в процентных пунктах.

В нашем примере снижение −2,2 ммоль/моль за визит эквивалентно снижению на −0,2 п.п. по шкале DCCT.

Комиссия ООН по выборкам. Вездесущая бюрократия.

Из книжки Sampling Techniques авторства William Cochran.

А вот и статья подъехала. До середины марта доступ по ссылке бесплатно, несказанная щедрость от Эльзевира.

Подводки к статье у Даниэль Наварро читаются как тексты Лавкрафта: наивные оптимистичные людишки сталкиваются с холодным бездушным нечеловечным хаосом реального мира.

...embittered old data analyst whose heart has shrivelled into a dark ball of data cynisim...

Real world data are horrible.

Прервем молчание в эфире радостной вестью: у меня вышла очередная статья. На самом деле, первая (ну ок, первая с половиной), которую я писал. Пролежала больше года в редакции, но в итоге вышла.

О чем статья: в Чехии наблюдение за диабетиками осуществляется только в специализированных центрах, их всего 16 в стране. Раз в три месяца дети с диабетом должны приходить на осмотр и многие пациенты проводят кучу времени в поездках.
Мы провели рандомизированное non-inferiority исследование, в котором задались вопросом: можно ли заменить очные консультации перепиской со специалистом. Скидываете доктору телеметрию со своего глюкозного сенсора за последние две недели, он в ответочку присылает свои рекомендации.
Оказалось, что да, так делать можно, показатели в среднем не снижаются, зато экономится куча времени.

Ссылочка на статью, там всего пять страниц.

Картиночка в тему

Продолжаем ярмарку тщеславия #бэкстейдж

Свеженькая публикация в форме letter'а. Изначально была в виде труЪ статьи, но после пары реджектов ужалась до письма. Обидно, я там такую красоту наводил в табличках из приложений.

Никакой сложной статистики, просто игра в бирюльки.

Для меня самым интересным было вот что: этот день настал, у меня нашелся повод применить contrast sum параметризацию. Исследователя интересовало, есть ли какие-то странные регионы, которые необычно настроены по отношению к профилактике. Я решил, что мы можем это операционализировать через contrast sum. Интерсепт соответствует какому-то суррогатному "среднему" региону, а эффекты регионов можно интерпретировать как то, насколько они отличаются от "среднего" региона. В итоге похоже, что Африка необычно сильно интересуется скринингом и профилактикой DM.