#libraries
PythonMeta - библиотека для мета-анализа в Pyhton. Внутри все основные инструменты для проведения мета-анализа (строит funnel, forest plot, позволяет оценить гетерогенность, производит оценку общего эффекта).
К сожалению, все на китайском, но есть небольшой материал по использованию библиотеки (в нем есть ссылки на еще пару библиотек для проведения мета-анализа).
PythonMeta - библиотека для мета-анализа в Pyhton. Внутри все основные инструменты для проведения мета-анализа (строит funnel, forest plot, позволяет оценить гетерогенность, производит оценку общего эффекта).
К сожалению, все на китайском, но есть небольшой материал по использованию библиотеки (в нем есть ссылки на еще пару библиотек для проведения мета-анализа).
Forwarded from Python Nation🐍🇺🇦
Вы, наверное, слышали фразу "wild import - зло". В коде это выглядит так:
Как же быть? Можно поочерёдно импортировать только нужные переменные и функции/классы, но это плохая практика если у вас много импортов. Ведь должен быть альтернативный вариант.
Он есть - это переменная
Например, есть некий
from my_module import *
Ответ почему это "зло" очень простой - вы импортируете всё - то что надо и то что не надо. Как же быть? Можно поочерёдно импортировать только нужные переменные и функции/классы, но это плохая практика если у вас много импортов. Ведь должен быть альтернативный вариант.
Он есть - это переменная
__all__ .__all__ в Python - это список публичных объектов данного модуля.Например, есть некий
my_module.py, в нём очень много объектов, и не требуется давать пользоваться ими всеми. В my_module.py вы списком определяете названия объектов, которые можно импортировать:__all__ = ["MyClass", "MyClass2"]И тогда конструкция
from my_module import *Импортирует только те объекты, которые вы описали в
__all__.#books
"Мультипотенциалы. Руководство для тех, кто уже вырос, но так и не решил, кем хочет стать"
В книге рассказывается про особый тип людей, которым многое интересно, у них широкая (но не всегда глубокая) сфера интересов. В книге их называют мультипотенциалы, я слышал еще вариант - сканеры.
Приведено много интересной информации к размышлению. Как же жить человеку, которому интересно столь многое в мире, где больше ценится концентрация на одной области и глубокая специализация? Какие бывают карьеры у таких людей? Как понять, какая карьера подойдет разным типам мультипотенциалы.
Краткие форматы карьеры из книги:
1. Групповое объятие. Такой вариант, при котором в одной должности совмещаются несколько разных направлений. Работа DS вполне может подходить под такое описание, т.к. в рамках одной должности частенько приходится заниматься весьма разными задачами;
2. Подход Эйнштейна. Здесь совмещается не очень напрягающая работа, которая приносит основной доход и множество увлечений "для души". Мне такой подход показался наиболее классическим.
3. Слэш-карьера. Здесь человек совмещает несколько part-time карьер. Например, преподает и является маркетологом на фрилансе.
4. Феникс-карьера. В данном варианте каждые n лет одна карьера завершается, после чего происходит переход к новой интересной теме.
Если вы чувствуете, что вам интересно множество тем, и вы совсем не можете выбрать, за что же взяться - прочитайте книгу. Возможно найдете идеи о том, как уместить все вместе гармоничным образом.
"Мультипотенциалы. Руководство для тех, кто уже вырос, но так и не решил, кем хочет стать"
В книге рассказывается про особый тип людей, которым многое интересно, у них широкая (но не всегда глубокая) сфера интересов. В книге их называют мультипотенциалы, я слышал еще вариант - сканеры.
Приведено много интересной информации к размышлению. Как же жить человеку, которому интересно столь многое в мире, где больше ценится концентрация на одной области и глубокая специализация? Какие бывают карьеры у таких людей? Как понять, какая карьера подойдет разным типам мультипотенциалы.
Краткие форматы карьеры из книги:
1. Групповое объятие. Такой вариант, при котором в одной должности совмещаются несколько разных направлений. Работа DS вполне может подходить под такое описание, т.к. в рамках одной должности частенько приходится заниматься весьма разными задачами;
2. Подход Эйнштейна. Здесь совмещается не очень напрягающая работа, которая приносит основной доход и множество увлечений "для души". Мне такой подход показался наиболее классическим.
3. Слэш-карьера. Здесь человек совмещает несколько part-time карьер. Например, преподает и является маркетологом на фрилансе.
4. Феникс-карьера. В данном варианте каждые n лет одна карьера завершается, после чего происходит переход к новой интересной теме.
Если вы чувствуете, что вам интересно множество тем, и вы совсем не можете выбрать, за что же взяться - прочитайте книгу. Возможно найдете идеи о том, как уместить все вместе гармоничным образом.
#management
Правило 5 почему?
Простой и достаточно классический способ анализа ситуаций и проблем. Состоит он в следующем - вы описываете ситуацию, после чего начинаете спрашивать себя "почему это произошло". Обычно 5 раз (или меньше) хватает, чтобы дойти до корневой проблемы и осмыслить свои действия.
Пример: в master постоянно попадает код с ошибками.
1 Почему: потому что в master мерджат без ревью кода
2 Почему: потому что ревью ждать долго, а спринт горит
3 Почему: потому что помимо своих задач из спринта коллегам нужно выделять время на ревью
4 Почему: потому что в спринте нет отдельных задач на ревью кода
5 Почему: потому что не умеем оценивать задачи по ревью кода
Итого:
1. Нужно откалибровать наши оценки таким образом, чтобы появилось понимание, сколько займет ревью той или иной задачи;
2. Нужно помимо основной задачи вносить в спринт задачу по ревью кода основной задачи. И впоследствии учитывать, что наша capacity меньше, чем мы думали ранее (за счет дополнительных трат на ревью).
Правило 5 почему?
Простой и достаточно классический способ анализа ситуаций и проблем. Состоит он в следующем - вы описываете ситуацию, после чего начинаете спрашивать себя "почему это произошло". Обычно 5 раз (или меньше) хватает, чтобы дойти до корневой проблемы и осмыслить свои действия.
Пример: в master постоянно попадает код с ошибками.
1 Почему: потому что в master мерджат без ревью кода
2 Почему: потому что ревью ждать долго, а спринт горит
3 Почему: потому что помимо своих задач из спринта коллегам нужно выделять время на ревью
4 Почему: потому что в спринте нет отдельных задач на ревью кода
5 Почему: потому что не умеем оценивать задачи по ревью кода
Итого:
1. Нужно откалибровать наши оценки таким образом, чтобы появилось понимание, сколько займет ревью той или иной задачи;
2. Нужно помимо основной задачи вносить в спринт задачу по ревью кода основной задачи. И впоследствии учитывать, что наша capacity меньше, чем мы думали ранее (за счет дополнительных трат на ревью).
Forwarded from AI для Всех
WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:
* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей
И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.
🖥 Код
#training #inference #theory
* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей
И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.
🖥 Код
#training #inference #theory
#AB
Не бывает бесплатных А/Б тестов.
Да, именно так. Практически каждый А/Б тест чего-то, да стоит.
Не все это понимают, когда начинают гнаться за модным способом показать эффективность своей фичи/проекта/улучшения. Но проведение А/Б теста - это инвестиция в получение информации.
Нам нужно потратить силы на новую фичу или ее прототип, сделать инфраструктуру для проведения теста, провести дизайн эксперимента, а потом еще и проанализировать результаты. Все это выливается в человеко-часы.
Поэтому, стоит хотя бы примерно оценивать, стоит ли какой-либо эксперимент денег, потраченных на его проведение.
Например, ваше изменение предположительно будет приносить дополнительный 1 рубль с пользователя. У вас 10000 пользователей. Проведение эксперимента со всеми изменениями, подготовкой и анализом будет стоить 100000 рублей. Кажется, что инвестиция крайне невыгодная, верно?
Понятное дело, что реальный эффект не всегда совпадает с расчетным. Да и результаты иногда получаются весьма контринтуитивными. Но все же можно хотя бы примерно оценить "окупаемость" нашего А/Б теста, чтобы не стрелять из пушки по воробьям. А на сэкономленные ресурсы лучше провести более полезный тест (ну или работяг в бар сводить - авось продуктивность подрастет ;)).
Не бывает бесплатных А/Б тестов.
Да, именно так. Практически каждый А/Б тест чего-то, да стоит.
Не все это понимают, когда начинают гнаться за модным способом показать эффективность своей фичи/проекта/улучшения. Но проведение А/Б теста - это инвестиция в получение информации.
Нам нужно потратить силы на новую фичу или ее прототип, сделать инфраструктуру для проведения теста, провести дизайн эксперимента, а потом еще и проанализировать результаты. Все это выливается в человеко-часы.
Поэтому, стоит хотя бы примерно оценивать, стоит ли какой-либо эксперимент денег, потраченных на его проведение.
Например, ваше изменение предположительно будет приносить дополнительный 1 рубль с пользователя. У вас 10000 пользователей. Проведение эксперимента со всеми изменениями, подготовкой и анализом будет стоить 100000 рублей. Кажется, что инвестиция крайне невыгодная, верно?
Понятное дело, что реальный эффект не всегда совпадает с расчетным. Да и результаты иногда получаются весьма контринтуитивными. Но все же можно хотя бы примерно оценить "окупаемость" нашего А/Б теста, чтобы не стрелять из пушки по воробьям. А на сэкономленные ресурсы лучше провести более полезный тест (ну или работяг в бар сводить - авось продуктивность подрастет ;)).
#AB
Что такое негативный АБ тест?
Негативный (или ухудшающий) АБ тест предполагает под собой обратное классическому АБ тест действие - ухудшение сервиса для пользователя.
Например: что будет, если наш сайт будет отвечать на 100мс дольше? Или другой пример - что будет, если мы выключим персональные рекомендации для части наших пользователей?
Обычно, такого рода тесты используют, чтобы оценить негативные эффекты от ухудшения сервиса. Либо для оценки оказываемого эффекта через некоторое время после запуска теста.
Основные проблемы, которые могут быть при проведении такого эксперимента:
1. Сопротивление менеджмента, продакта и прочих коллег, которые не очень понимают, что бесплатно узнать нам такую информацию вряд ли удастся (только если не возникнет "естественного АБ теста", где у части пользователей что-то сломается само, а мы это проанализируем);
2. Сопротивление пользователей. К примеру, если мы отключим части пользователей рекомендации, которые стали удобным для них инструментом, то поддержке стоит ждать множества обращений, а-ля "Дуров - верни стену". С этим что-то придется делать (вплоть до остановки эксперимента, если все совсем плохо).
В итоге получаем достаточно полезный, но неоднозначный инструмент.
Что такое негативный АБ тест?
Негативный (или ухудшающий) АБ тест предполагает под собой обратное классическому АБ тест действие - ухудшение сервиса для пользователя.
Например: что будет, если наш сайт будет отвечать на 100мс дольше? Или другой пример - что будет, если мы выключим персональные рекомендации для части наших пользователей?
Обычно, такого рода тесты используют, чтобы оценить негативные эффекты от ухудшения сервиса. Либо для оценки оказываемого эффекта через некоторое время после запуска теста.
Основные проблемы, которые могут быть при проведении такого эксперимента:
1. Сопротивление менеджмента, продакта и прочих коллег, которые не очень понимают, что бесплатно узнать нам такую информацию вряд ли удастся (только если не возникнет "естественного АБ теста", где у части пользователей что-то сломается само, а мы это проанализируем);
2. Сопротивление пользователей. К примеру, если мы отключим части пользователей рекомендации, которые стали удобным для них инструментом, то поддержке стоит ждать множества обращений, а-ля "Дуров - верни стену". С этим что-то придется делать (вплоть до остановки эксперимента, если все совсем плохо).
В итоге получаем достаточно полезный, но неоднозначный инструмент.
Интересный портал с древними играми. Ученые из Нидерландов пытаются для найденных игр воссоздать вероятные правила с использованием машинного обучения (в основном, чтобы тестировать наборы правил и искать похожие игры по структурным элементам) и экспертных знаний антропологов.
#video
Интересное видео про использование бутстрапа для вычисления p-values. Рекомендую к просмотру, всего 8 минут, так что заскучать не успеете. Правда, подача несколько специфическая, но тут ничего не поделаешь.
Интересное видео про использование бутстрапа для вычисления p-values. Рекомендую к просмотру, всего 8 минут, так что заскучать не успеете. Правда, подача несколько специфическая, но тут ничего не поделаешь.
#мысли
Проводить собеседования очень непросто.
Личная эвристика - если в день больше двух собеседований, или в неделю больше трех-четырех, то это лично меня вгоняет в дикую усталость. Потому что остальную работу никто не отменял, ясное дело. Приходится потом несколько дней, а то и неделю отходить на неполной мощности работы.
Как с этим бороться?
1. Выделять кого-то только на собеседования (дежурный по собеседованиям);
2. Ходить по несколько человек. Тогда один может вести одну часть, пока другой слушает вполуха. Потом вы меняетесь. Нагрузка ложится на вас более равномерно;
3. Давать какие-то предварительные задачки на отсев. Я такой подход не люблю, но выкинуть из списка рука не поднялась;
4. Устраивать "сезон собеседований". Похоже на 1й метод, но тут вы уже выходите группой. Концентрированно проводите много собеседований. Подводите итог и успокаиваетесь до нового "сезона". Правда, в таком случае у нас должна быть общая шакала оценки, чтобы разные группы оценивали примерно похоже, а кандидаты были хоть как-то сравнимы между собой.
Проводить собеседования очень непросто.
Личная эвристика - если в день больше двух собеседований, или в неделю больше трех-четырех, то это лично меня вгоняет в дикую усталость. Потому что остальную работу никто не отменял, ясное дело. Приходится потом несколько дней, а то и неделю отходить на неполной мощности работы.
Как с этим бороться?
1. Выделять кого-то только на собеседования (дежурный по собеседованиям);
2. Ходить по несколько человек. Тогда один может вести одну часть, пока другой слушает вполуха. Потом вы меняетесь. Нагрузка ложится на вас более равномерно;
3. Давать какие-то предварительные задачки на отсев. Я такой подход не люблю, но выкинуть из списка рука не поднялась;
4. Устраивать "сезон собеседований". Похоже на 1й метод, но тут вы уже выходите группой. Концентрированно проводите много собеседований. Подводите итог и успокаиваетесь до нового "сезона". Правда, в таком случае у нас должна быть общая шакала оценки, чтобы разные группы оценивали примерно похоже, а кандидаты были хоть как-то сравнимы между собой.
#management
Услышал интересный метод учета времени на коммуникацию и какие-то собственные задачи, связанные с управлением.
Суть в том, чтобы повторить типичный процесс оценки "а-ля Agile". Берем задачи, выбираем самую маленькую и назначаем 1 или XS (ну или что еще вы используете для оценки задач). Оцениваем свои задачки в бэклоге, считаем capacity. Вуаля - вы великолепны, т.к. знаете, сколько персональных задач вмещает ваше расписание. Ну и можете планировать ваш личный бэклог с учетом его вместимости.
Реально очень удобно представлять, насколько "вместим" ваш день. Иначе есть шанс переутомиться и выгореть дотла.
Услышал интересный метод учета времени на коммуникацию и какие-то собственные задачи, связанные с управлением.
Суть в том, чтобы повторить типичный процесс оценки "а-ля Agile". Берем задачи, выбираем самую маленькую и назначаем 1 или XS (ну или что еще вы используете для оценки задач). Оцениваем свои задачки в бэклоге, считаем capacity. Вуаля - вы великолепны, т.к. знаете, сколько персональных задач вмещает ваше расписание. Ну и можете планировать ваш личный бэклог с учетом его вместимости.
Реально очень удобно представлять, насколько "вместим" ваш день. Иначе есть шанс переутомиться и выгореть дотла.
Forwarded from AI для Всех
TorchGeo - PyTorch‘овая библиотека от Microsoft, аналогичная torchvision. В ней есть наборы данных, преобразования, семплеры и предварительно обученные модели, специфичные для geospatial (ГИС) данных.
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
🖥 Код
📎 Статья
#earthscience #geo #ScientificML #library
#books
Дофамин: самый нужный гормон. Как молекула управляет человеком
Весьма интересная книга. Авторы пишут про то, что такое дофамин и как он влияет на нашу жизнь. Причем, в разных аспектах жизни - карьера, любовь, политика. Для себя узнал нечто новое, какие-то собственные действия и действия других людей стали понятнее в свете того, как нами управляют гормоны.
Из минусов - много реалий США. Поэтому глава про политику была скучноватой для меня.
Дофамин: самый нужный гормон. Как молекула управляет человеком
Весьма интересная книга. Авторы пишут про то, что такое дофамин и как он влияет на нашу жизнь. Причем, в разных аспектах жизни - карьера, любовь, политика. Для себя узнал нечто новое, какие-то собственные действия и действия других людей стали понятнее в свете того, как нами управляют гормоны.
Из минусов - много реалий США. Поэтому глава про политику была скучноватой для меня.
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Отвал башки! Тут пацаны из гугла обучили NERF на RAW фотках. Получается просто башенного качества рендеринг HDR изображений. Можно менять экспозицию, фокус. Вы только посмотрите на получаемый эффект боке в ночных сценах!
Дополнительное преимущество этого метода перед обычным нерфом - это то, что он хорошо работает на шумных снимках с малым освещением. За счет того, что информация агрегируется с нескольких фотографий, метод хорошо справляется с шумом и недостатком освещения, превосходя специализированные single-photo denoising модели.
Статью ознаменовали как NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images. Ну, разве что кода еще нет.
Сайт проекта | Arxiv
Дополнительное преимущество этого метода перед обычным нерфом - это то, что он хорошо работает на шумных снимках с малым освещением. За счет того, что информация агрегируется с нескольких фотографий, метод хорошо справляется с шумом и недостатком освещения, превосходя специализированные single-photo denoising модели.
Статью ознаменовали как NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images. Ну, разве что кода еще нет.
Сайт проекта | Arxiv
#libraries
Заметил, что пропал causalimpact, который был в репозитории dafiti (и многие примеры в интернете ссылаются на него). Это печально, но, к счастью, есть новая версия на tf - tfcausalimpact
Выглядит весьма похоже, так что может быть хорошей заменой
Заметил, что пропал causalimpact, который был в репозитории dafiti (и многие примеры в интернете ссылаются на него). Это печально, но, к счастью, есть новая версия на tf - tfcausalimpact
Выглядит весьма похоже, так что может быть хорошей заменой
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
А теперь мы будем смотреть на эксперименты с системами ИИ, которые подарили нам Epic.
И маленькие проблемы на дорогах будут приводить к многокилометровым пробкам, без подгрузки лодов и исчезания акторов, когда вы просто отвернули голову.
И маленькие проблемы на дорогах будут приводить к многокилометровым пробкам, без подгрузки лодов и исчезания акторов, когда вы просто отвернули голову.