Всратые нейрокоты с цифрой 33. Что бы это могло значить?

А это значит, что сегодня у меня день рождения. И мне исполнилось уже 33 года. Самое время переходить на похожие открытки в whatsapp...

Но я не сдамся. Только всратые стикеры - только хардкор!

Более актуальная для 21 века поговорка:
"Скажи мне, какую тебе показывают рекламу, и я скажу, кто ты"

С другой стороны, тут не альтушка. А это значит, что я пока еще не совсем скуф ¯\_(ツ)_/¯

P.S. Хз, можно ли это считать бесплатной рекламой. В общем, не является рекламой, а является кеком, если что (пускай и скрин рекламы).
P.P.S. Пока еще Сбер не достиг уровня рекламы мобильных игр. Есть куда стремиться!

Вот это огнище! Женя, автор канала Женя Покидина Творит, записала озвучку моего рассказа.

Это по-настоящему магическое ощущение, когда твое творение оживает, наполняется объемом, звучит! Очень приятно это видеть и, конечно же, слышать ;)

Очень благодарен Жене. Получился такой вот прекрасный подарок к дню рождения, за что отдельное спасибо.

Обязательно послушайте другие рассказы с ее канала. Ну и подписывайтесь, конечно.

#LLM

А вот про что забыл рассказать на прошлой неделе. У коллег из нашей команды вышла статья про то, как мы в команде строили инфраструктуру работы с LLM.

Тут все как обычно: читайте, ставьте плюсики, спрашивайте вопросы в комментариях к статье (если они у вас есть). Ну и узнавайте новое, конечно же!

​​#cv #ml

Оказывается, не вся информация хорошо считывается с дисплеев. Не так давно узнал, что для обычных экранов, типа весов, бензоколонок и электронных часов есть отдельная задача распознавания.

Такой тип отображения на экранах называется seven segment digits. То есть, у нас есть 7 полосок: 3 вверху, 3 внизу и еще одна посередине.

И для этой задачки есть отдельные модели, которые улучшают распознавание (проверено не себе, решения из коробки с обычным распознаванием нещадно тупили, хотя, казалось бы, такая простая задачка). Напрмиер, в PaddleOCR (которые, видимо, должны теперь мне миска рис за рекламу) есть модели DBNet для детекции и PARSeq для распознавания. Как только мы решили применить эти модели, качество распознавания сразу подросло.

Какой же вывод из этой истории? Даже если что-то кажется очень простым или банальным, то всегда случиться так, что мы попадем не corner case, для которого нужно будет искать специфичное решение. Второй вывод - попробуйте получше порыться в вашей "черной коробке" (если используете коробочное решение). Как знать, возможно в ней есть то, о чем вы просто не знали.

P.S. Пара статей по теме:
Detecting and recognizing seven segment digits
using a deep learning approach
Real-Time Seven Segment Display Detection and
Recognition Online System using CNN

Оп, новый опрос о зарплатах в этом вашем data science. Интересно, какие выйдут результаты?

💸 Сколько ты зарабатываешь на Data Science?

👉 Пройди опрос сейчас, не откладывай на потом❗️

🤔 Вы можете примерно оценить вилку на вашей позиции благодаря вакансиям из каналов, где они публикуются. Тем не менее вилки довольно широкие и одни работодатели недоплачивают или платят строго по низу вилки, другие наоборот переплачивают и выходят за ее пределы. Вам в свою очередь нужно на собеседовании или при повышении назвать одно число, ровно столько вам будет платить довольно продолжительный период времени.

📊 Запускаю опрос, который в будущем поможет подписчикам сопоставить свой набор навыков с рынком труда. Прошу вас ответить на вопросы про ваш опыт, текущую роль в компании, ваш уровень удовлетворенности и планы на будущее. Чем прозрачнее будет рынок труда, тем выгоднее будет обоим сторонам, ведь дата сайентисты не будут смотреть в лес рынка труда.

🔖 Результаты опроса буду порционно публиковать в канале Нескучный Data Science @not_boring_ds.

😉 классические вопросы с популярных интервью тоже включены)

P.S. при публикации статистики дам ссылки на каналы поддержавшие опрос.

#random

Я тут недавно быстренько накидал короткий стишок на 8 марта. Собственно, почему бы и не запостить.

"Товарищи женщины!
Во все громогласное горло
Готовы поздравить вас
Снова и снова.

Не зря ведь боролись
Роза и Клара:
Марта восьмое —
Не просто забава!

И наши слова —
Не просто игра,
А слово и дело.
Ура вам, ура!"

Конкретный автоэнкодер [2019] и его улучшение [2024]

Итак, обычно в автоэнкодерах мы решаем задачу сжатия изначального вектора фичей в пространство маленькой размерности. Мы обучаем энкодер q(z|x) и декодер p(x|z) таким образом, чтобы у нас получалось восстановить изначальный вектор x из вектора скрытых переменных z.

Конкретный автоэнкодер ставит задачу более интересным образом - вместо перевода вектора фичей в скрытое пространство мы хотим выбрать список фичей в x, который и будет этим самым вектором скрытых переменных.

Иначе говоря, какие фичи содержат наибольшее количество информации, которое позволит восстановить исходный вектор x наилучшим образом? Конкретный автоэнкодер решает именно эту задачу.

Слово "конкретный" в названии - "concrete" - на самом деле сокращение от Continuous Discrete - это параллельное изобретение того самого Gumbel Softmax трюка, который я описывал в позапрошлом посте.

Единственным параметром энкодера является матрица KxN - размерность скрытого вектора на кол-во фичей. В каждой строке у нас находится обучаемый вектор "логитов" для каждой фичи, к которому мы применяем Gumbel Softmax и получаем soft one-hot вектор-маску для всех фичей, которую затем скалярно умножаем на исходный вектор фичей - получая таким образом дифференцируемую аппроксимацию выбора одной фичи из всего списка.

Делая это независимо K раз, мы выбираем K фичей, которые и становятся выходом энкодера. В базовой статье про конкретный автоэнкодер иллюстрация на MNIST демонстрируют способность такой схемы обучиться игнорировать пиксели по краям и при этом задействовать по 1 пикселю из всех остальных частей картинки, никогда не беря соседние. Эксперименты на других датасетах там тоже есть.

Indirectly Parameterized CAE - улучшение данного подхода. Я с CAE не развлекался, но утверждается, что у базовой модели есть проблемы со стабильностью обучения, а также она почему-то всё же дублирует фичи по несколько раз, что, вроде как, тоже связано с этой нестабильностью.

Один простой трюк очень сильно улучшает ситуацию. Вместо обучаемой матрицы KxN используется Indirect Parameterization - эта матрица вычисляется как функция от 3 обучаемых штук: умножения матрицы KxN на матрицу NxN и прибавления вектора размера N к каждой строке результата.

Честно говоря, в статье не хватает нормальной мотивации и интуиции, но, судя по результатам, у них это обучается гораздо лучше бейзлайна и всегда выдаёт уникальные фичи.

Главный вопрос - а нахрена вообще всё это нужно?

Внезапно эта идея имеет отличное практическое применение в нейросетях, а именно для проведения Feature Selection! В ситуации, когда обучать сеть супердорого и вы можете позволить это делать единичное число раз, а фичей у вас тысячи, использование Конкретного Энкодера в самом начале модели позволяет обучить Selection K фичей из N напрямую. При этом, если качество модели совпадает с качеством изначальной модели, можно смело выкидывать из прода целых N-K фичей.

Коллеги рапортуют о том, что у нас это заработало, так что, с чистой совестью делюсь хаком.

@knowledge_accumulator

#random

Только что увидел, что победил в номинации "сценарий комикса" во всероссийском конкурсе фантастики и проектирования будущего в сеттинге «Берлога».

Очень доволен. Теперь буду ждать акселерации по тексту и публикации комикса (напишу потом, когда про это будут новости).

Наверное, могу считать себя титулованным автором, хехе ;)

#llm

На Хабре вышла статья по мотивам моего прошлогоднего выступления по разметке с использованием LLM (в канале про это тоже были посты). Чуть причесал и обновил текст под современные реалии.

Все как обычно: читайте, просвещайтесь, ставьте плюсики! (ну и кайфуйте с моего текста, конечно же)

Кстати, 5 апреля буду рассказывать про то, как мы делали автоматическое протоколирование встреч в X5.

Регистрация по ссылке. Залетайте послушать, пообщаться в кулуарах, просто поинтересоваться (доклады клевые собрались)!