Your Transformer is Secretly Linear

Спешу познакомить вас с новой публикацией лаборатории FusionBrain про линейность большинства слоёв языковых моделей декодеров (принята на конференцию ACL 2024 - Main Track, Core A*). Наше исследование позволяет проанализировать внутренние представления языковых моделей, а также без потери качества избавиться от 10-15% слоёв.

Еще мы придумали новый механизм регуляризации, чтобы снизить пресловутую линейность и, тем самым, получить небольшой буст в качестве.

Ниже ссылочки на статью на архиве и код на гитхабе нашей прошлой статьи про анизотропию и внутреннюю размерность эмбеддингов (представляли на EACL 2024).

Статья уже на Hugging Face Daily Papers и уверенно занимает первое место, но мы будем очень рады вашим upvote голосам ⬆️

https://huggingface.co/papers/2405.12250

📕arXiv
👨‍💻GitHub
📖Хабр

@complete_ai

🏦На конференции действительно много активностей и конференция по масштабу можно считать одной из крупнейших в России. Среди привычных и уже знакомых «покатушек на великах», настольных игр мне понравился больше остальных новый стенд Сбера

В этом году команда HR бренда сделала интересный ход: вместо привычного мерча в виде маек, настолок и прочей символики ребята устроили благотворительный марафон — за выполнение заданий в ходе активностей на стенде участники будут зарабатывать виртуальные рубли

После конференции Сбер конвертирует виртуальные деньги в реальные, дополнит сумму и закупит на неё технику в Новосибирский лицей

🔥На мой взгляд, это реально крутой кейс, как можно сменить парадигму привычных подходов к привлечению новых сотрудников в сторону пользы для человека и общества

👋🏻 Всем привет!

Хочу пригласить вас на один пушечный IT-фестиваль, где соберётся 1000+ IT специалистов от Middle до C-Level, как в Development, так и в бизнес направлениях!

Формат — не обычная конфа с докладами, основная фишка — это интерактив, которые точно понравятся всем, кто работает в мире IT! (организаторы обещают, скучно не будет)

Итак, Летний ProIT Fest 2024
📅 Когда: 6-7 июля
📍 Где: SPA отель «Новый Петергоф»

Вас ожидают:

▫️ 18 секций для представителей различных сфер IT, которые будут интересны как Senior, так и организаторам
▫️ Более 150 ведущих специалистов из крупнейших ИТ-компаний в качестве спикеров, которые готовы размывать границу между спикерами и участниками: это всеми любимые Александр Крылов (DevOps for Love), Ирина Матвеева (SPb HR Meetup), Виталий Левченко (Golang, DevOps, Highload), Анна Белянина (Аналитика), PiterJS, SPb Founders, Дмитрий Безуглый (Product), Евгения Ковалевская (PM Lunch), Дмитрий Торшин (C Level) и другие

☝️ А ещё: плодотворный нетворкинг, актуальные темы, игровые активности, классное after party, в общем, своя атмосфера!

Вместе с организаторами мы подготовили для вас небольшой подарок: сейчас у вас есть возможность приобрести билеты на Летний ProIT Fest со скидкой 10% по промокоду KUZNETSOVPROIT
Но надо поспешить, с 1 июня цены поднимутся ⬆️

🎟 Для приобретения билетов жмите сюда 👈🏻
🤔 Остались вопросы? Подробности и программа на нашем сайте и в телеграм-канале 👈🏻

Очень жду встречи с вами на Летнем ProIT Fest! 🤍

🤖В рамках международной конференции AI Journey стартовал открытый отбор статей по AI/ML

Отобранные работы будут опубликованы в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.

📖Журнал:
· Индексируется в крупнейших библиографических базах данных научного цитирования
· Доступен международной аудитории и публикуется на площадках мировых электронных библиотек

✍️Успейте подать заявку до 20 августа и получить возможность не только опубликовать свое исследование в авторитетном научном издании, но и представить его на площадке конференции AI Journey.

🏆За лучшую статью предусмотрен приз 1 млн рублей!

ℹ️ Более детальную информацию можно найти в Правилах -> AI Journey.

⚡️Сегодня мы выложили наш фреймворк для обработки и фильтрации изображений и видео

DPF - это наш внутренний фреймворк, с помощью которого мы обрабатывали и чистили датасет для обучения моделей Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. Надеемся, что открытие кода ускорит развитие библиотеки и даст возможность ресерчам сосредоточиться на ресерче, а не на чистке данных ❤️‍🔥

А ещё мы написали статью на habr, в которой подробно рассказали про то, как собирали датасет для обучения Kandinsky 3.0 & 3.1 и Kandinsky Video. В ней также рассказали про DPF и процесс обработки датасетов у нас в Sber AI.

💻 github DPF
📖 Статья на Хабр