Экспериментальный пост про кучи

Решаю значит задачи на Leetcode. Не то что бы я большой любитель, скорее набираю форму к потенциальным собесам. Попалась мне такая задачка:

Given an integer array nums and an integer k, 
return the k most frequent elements. 
You may return the answer in any order.

Input: nums = [4,1,1,1,2,2,3], k = 2
Output: [1,2]

Ну я парень простой, завел python'а, взял dict() / collections.Counter(), посчитал частоту элементов, а дальше сделал sort() — и в этот момент отсосал, потому что в конце задачи было доп. условие:

Follow up: Your algorithm's time complexity must be 
better than O(n log n), where n is the array's size.

Нюанс в том, что sort() как раз по времени O(N * log N), где N — длина массива nums. Полез в решения, а там куча (heap) — структура данных, то ли дерево, то ли массив. А я в универе в свое время положил на лекции по кучам и вместо этого катал в CS (не Computer Science).

В общем, решил исправиться. Вчера сел и плотно задрочил кучи: послушал лекции, реализовал основные алгоритмы и даже сделал конспект. Сегодня сел и размотал задачу. Был доволен собой как слон ровно 2 минуты. А затем зашел в ответы и снова отсосал, потому что обнаружил там еще более быстрое решение через некий Quickselect (Hoare's selection algorithm).

Мораль: наслаждайтесь моментом, пацаны, иначе рискуете нон-стоп сосать🧐 (c) Стэтхам.

https://leetcode.com/problems/top-k-frequent-elements/description/

Холодный чай с привкусом мочи

Когда я учился в школе, мальчиков после 10 класса вывозили на неделю на военные сборы. Меня эта учесть также постигла, и летом 2012 года я оказался в военной части. Нас поселили рядом с ребятами, которые проходили срочную службу. Один из срочников нас дико бесил, то еду из тумбочки украдет, то целую пачку сигарет настреляет.

Помните напиток Nestee с лимоном? У него еще бутылка с широким горлышком словно от пятилитровой баклашки. Так вот, перед отъездом со сборов у меня осталось полбутылки. Не долго думая, я нассал в широкое горлышко и оставил бутылку на тумбочке недалеко от парня, который нас напрягал.

Сегодня 1.5 часа решал hard-задачку на литкоде. Заморачивался, расписывал на бумажке, тестировал решение. Сабмит, все тесты пройдены — успех. А потом смотрю на метрики и вижу, что 95% решений обгоняют мое по времени и по памяти. В этот момент почувствовал во рту привкус того самого Nestee с легкими нотками мочи. Карма…

В интернетах обсуждают слив про GPT-4: архитектура модели, $64M и 25k GPU на обучение, инференс на нескольких кластерах со 128 A100 и тд. Откуда инфа и можно ли ей верить — хз.

https://threadreaderapp.com/thread/1678545170508267522.html

LLama 2

Фейсбук выкатил свой аналог ChatGPT в open source с лицензией, разрешающей коммерческое использование. Есть модели на любой вкус от 7B до 70B параметров, с RLHF и без. Вишенка на торте — статья на 70 страниц со всеми подробностями.

Статья
Модели

Минутка самопиара

Через неделю снова торгую лицом. Заходите послушать.
Скидка на билеты по промокоду: ARTIFACTORY25
https://heg.ai/conference_ai

Пашка завез сториз в телегу! Добавляйте в контакты и вперед ставить лукасы: https://www.tgoop.com/KPACAB4NK_PELLIAET_BOTTPOCbl

Там веса SDXL 1.0 выкатили. Я еще не пробовал, но авторы утверждают, что работает бодро

Анонс
HF
GitHub

Анимация 3D-персонажей с помощью AI

На картинке представлена раскадровка промпта "to crouch-walk towards a target, kick when within range, and finally raise arms and celebrate".

На днях разбирал статью от Nvidia, где авторы предлагают анимировать человекоподобных персонажей с помощью Reinforcement Learning в Physical Environment.

Основная идея в том, что мы один раз делаем Motion Capturing датасет на людях, а потом имеем возможность описывать текстом сложные анимации и быстро переносить их на произвольных 3D-персонажей.

В качестве датасета в статье использовали 160 клипов общей продолжительностью 30 минут. Модель из себя представляет несколько MLP. Для тренировки использовали PPO. Учили на одной A100.

Основной нюанс в том, что набор доступных анимаций ограничен датасетом. Если у вас нет примера того, как человек делает заднее сальто, сколько модель ни просите, все равно не сделает.

Из хорошего, можно создавать анимации для произвольного 3D-персонажа. Хотя здесь я не совсем понимаю, насколько это актуально для индустрии, не проще ли напрямую связывать кости с motion caputure датасетом?

Видео
Статья

Когда зашел почитать обзоры на игру в Steam

Завертелся, закрутился. Не скучайте. Скоро вернусь. В крайнем случае — нет.

Подъехала возможность тюнить GPT-3.5 на своих данных

https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates

У Осетинской подъехал годный контент с Либерманами. Особенно интересно мне было на втором часу видео.

Например, там хорошо объясняется юридическая структура OpenAI. Также было интересно послушать про рост числа пользователей Snapchat за счет улучшения инженерной культуры компании и как следствие, ускорения приложения.

Ну а разгон про устройство общества и инвестирование в людей — вообще пушка.

https://youtu.be/UHP1lgmS8GE?si=VozXBoRjZ6nJucVa

Штаты на горизонте

Давайте расскажу, как у меня дела. Летом я решал задачки, много задачек: тервер, литкод, линал, мл и все в этом духе. Это дало свои плоды, в августе я присоединился к американскому стартапу, который пытается анимировать игровых 3D-персонажей с помощью ML.

На следующей неделе лечу к ним в гости в Лос-Анджелес. Пока что по туристической визе, а ближе к концу осени планирую податься на О-1.

Контраст стартапов из США и Европы поражает. В Artifactory у нас продукт, клиенты, выручка, и все равно я не смог поднять даже пару сотен килобаксов. В Калифорнии ребята без трекшена прошли a16z батч, сделали видео, подняли $1.5М pre-seed. Хотя вполне возможно, что я просто слабоват или чего-то не понимаю.

Поскольку в 3D и анимации я тоже ничего не понимаю, дни складываются из задачек по геометрии, уроков по Blender, чтения пэйперов про ML-анимацию и кодинга.

Хочу выдать контента, но не знаю о чем конкретно. Такие дела. С идеями велкам в комменты