Forwarded from 42 секунды
NYT: OpenAI расшифровала миллионы видео на YouTube для обучения модели GPT-4
– OpenAI перестало хватать авторитетных источников около 2022
– Ей потребовалось больше англоязычных текстов для обучения
– OpenAI создала сервис распознавания речи из видео Whisper
– Whisper расшифровывал речь из миллионов видео на YouTube
– При этом подобное решение противоречило правилам сервиса
– Все же OpenAI расшифровала 1+ млн часов видео на YouTube
– Затем тексты расшифровки загружались для модели GPT-4
– Об этом знали часть сотрудников Google, но не остановили ее
– Они боялись, что шумиха покажет, что Google тоже так делает
– Google также использовал видео на YouTube для своего ИИ
– Это потенциально нарушало авторские права их создателей
– Исследователи Цукерберга также думали про обход правил
– Они согласились собирать данные под авторским правом
– Переговоры про права заняли бы слишком много времени
@ftsec
– OpenAI перестало хватать авторитетных источников около 2022
– Ей потребовалось больше англоязычных текстов для обучения
– OpenAI создала сервис распознавания речи из видео Whisper
– Whisper расшифровывал речь из миллионов видео на YouTube
– При этом подобное решение противоречило правилам сервиса
– Все же OpenAI расшифровала 1+ млн часов видео на YouTube
– Затем тексты расшифровки загружались для модели GPT-4
– Об этом знали часть сотрудников Google, но не остановили ее
– Они боялись, что шумиха покажет, что Google тоже так делает
– Google также использовал видео на YouTube для своего ИИ
– Это потенциально нарушало авторские права их создателей
– Исследователи Цукерберга также думали про обход правил
– Они согласились собирать данные под авторским правом
– Переговоры про права заняли бы слишком много времени
@ftsec
😱4😁3
Паша Дуров анонсировал годные криптофичи в Telegram
- CEO Tether официально анонсировал запуск USDT на блокчейне TON
- В Telegram появится возможность покупать цифровые товары за криптовалюту.
- Telegram собирается токенизировать стикеры и эмоджи
- С сегодняшнего дня владельцы каналов начнут получать первые выплаты в TON с рекламы
- CEO Tether официально анонсировал запуск USDT на блокчейне TON
- В Telegram появится возможность покупать цифровые товары за криптовалюту.
- Telegram собирается токенизировать стикеры и эмоджи
- С сегодняшнего дня владельцы каналов начнут получать первые выплаты в TON с рекламы
👏9
Forwarded from эйай ньюз
Принес еще несколько примеров как работает наш Imagine Flash.
Попробовать можно на meta.ai под американским VPN-ом.
@ai_newz
Попробовать можно на meta.ai под американским VPN-ом.
@ai_newz
❤9
Вакансия ML Engineer в Artifactory
Ищу крепкого Middle ML Engineer в проект по генерации анимаций. Фокус на 3D-персонажах в играх.
Работать предстоит непосредственно со мной над задачами:
- Изучение кода статей
- Ретаргетинг — перенос анимаций между скелетами различных персонажей
- Пайплайны подготовки данных и обучения моделей
- Интеграция результатов в прод
- Эксперименты с LLM для ускорения вышеперечисленного
ML:
- VQ-VAE
- Transformers
- Reinforcement Learning
- Diffusion Models
Стэк:
- PyTorch, SciPy, Numpy, Matplotlib
- ClearML, Google Cloud
- Flask, GraphQL
- PostgreSQL, Redis
Необязательно иметь опыт во всем, достаточно иметь хорошую базу и огонь в глазах.
Зарплата в евро или USDT. Можно парт-тайм.
За успешную рекомендацию шлю лучи добра и $200, либо играю с вами пару каток в дотку/кс 😏
Пишите в лс: @KPACAB4NK_PELLIAET_BOTTPOCbl
Ищу крепкого Middle ML Engineer в проект по генерации анимаций. Фокус на 3D-персонажах в играх.
Работать предстоит непосредственно со мной над задачами:
- Изучение кода статей
- Ретаргетинг — перенос анимаций между скелетами различных персонажей
- Пайплайны подготовки данных и обучения моделей
- Интеграция результатов в прод
- Эксперименты с LLM для ускорения вышеперечисленного
ML:
- VQ-VAE
- Transformers
- Reinforcement Learning
- Diffusion Models
Стэк:
- PyTorch, SciPy, Numpy, Matplotlib
- ClearML, Google Cloud
- Flask, GraphQL
- PostgreSQL, Redis
Необязательно иметь опыт во всем, достаточно иметь хорошую базу и огонь в глазах.
Зарплата в евро или USDT. Можно парт-тайм.
За успешную рекомендацию шлю лучи добра и $200, либо играю с вами пару каток в дотку/кс 😏
Пишите в лс: @KPACAB4NK_PELLIAET_BOTTPOCbl
🔥12
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
StoryDiffusion: генерация консистентных наборов изображений без дообучения
Если вам нужно сгенерировать последовательную историю из фотографий, чтобы везде чётко прослеживалась единая локация, а главные персонажи не меняли одежду и причёску от фото к фото, то StoryDiffusion — именно то, что вам нужно.
Идея гениальна в своей простоте — ничего даже учить не нужно, только заменить блок self-attention на версию, которая "смотрит" на соседние фотографии в батче. Оказалось, этого более чем достаточно, чтобы генерации стали согласованными между собой.
StoryDiffusion идеально подходит для создания комиксов и даже видео (нужно только интерполировать сгенерированные ключевые кадры, что авторы и делают). Код уже в открытом доступе! Должно работать почти с любыми обученными диффузионными моделями.
Статья, GitHub, HuggingFace
Если вам нужно сгенерировать последовательную историю из фотографий, чтобы везде чётко прослеживалась единая локация, а главные персонажи не меняли одежду и причёску от фото к фото, то StoryDiffusion — именно то, что вам нужно.
Идея гениальна в своей простоте — ничего даже учить не нужно, только заменить блок self-attention на версию, которая "смотрит" на соседние фотографии в батче. Оказалось, этого более чем достаточно, чтобы генерации стали согласованными между собой.
StoryDiffusion идеально подходит для создания комиксов и даже видео (нужно только интерполировать сгенерированные ключевые кадры, что авторы и делают). Код уже в открытом доступе! Должно работать почти с любыми обученными диффузионными моделями.
Статья, GitHub, HuggingFace
🔥10
Forwarded from Denis Sexy IT 🤖
Примеры возможностей нового GPT4o ассистента – серьезно, фильм "Her" теперь реальность
❤4🔥3😱2
Forwarded from 42 секунды
The Information: Stability AI обсуждает продажу бизнеса, стартапу не хватает средств на развитие
– Стартап начал переговоры с потенциальными покупателями
– Stability AI стало не хватать средств на дальнейшее развитие
– За все время от инвесторов стартап привлек около $101 млн
– Среди инвесторов: Coatue Management и Lightspeed Venture
– Оценка Stability AI для раунда два года назад была $1 млрд
– Стартап так и не научился зарабатывать деньги на своем ИИ
– Конкуренция от OpenAI и Midjourney усложнила ситуацию
– Выручка за 2023 составила $8 млн, за 2022 была $1,5 млн
– Доход Stability AI по итогам Q1 2024 составил уже $5 млн
– Но это далеко от планируемых десятков миллионов за год
– При этом за тот же Q1 2024 стартап потерял $30+ млн
– Stability AI также должен облачным поставщикам $100 млн
@ftsec
– Стартап начал переговоры с потенциальными покупателями
– Stability AI стало не хватать средств на дальнейшее развитие
– За все время от инвесторов стартап привлек около $101 млн
– Среди инвесторов: Coatue Management и Lightspeed Venture
– Оценка Stability AI для раунда два года назад была $1 млрд
– Стартап так и не научился зарабатывать деньги на своем ИИ
– Конкуренция от OpenAI и Midjourney усложнила ситуацию
– Выручка за 2023 составила $8 млн, за 2022 была $1,5 млн
– Доход Stability AI по итогам Q1 2024 составил уже $5 млн
– Но это далеко от планируемых десятков миллионов за год
– При этом за тот же Q1 2024 стартап потерял $30+ млн
– Stability AI также должен облачным поставщикам $100 млн
@ftsec
👍2❤1
Дмитрий Савостьянов Вещает
Альтман с Брокманом возвращаются в OpenAI. Остаётся вопрос, уйдет ли Chief Scientist (главный мозг конторы) Илья Суцкевер и какова вообще была его роль во всем переполохе? https://x.com/openai/status/1727206187077370115?s=46&t=zKsuhjPsLNK5nNwd2FB7rQ h…
Илья Суцкевер официально объявил об уходе из OpenAI.
Это бывший Chief Scientist, легендарный чувак, с которого началась компания в плане ресерча.
https://x.com/ilyasut/status/1790517455628198322
Это бывший Chief Scientist, легендарный чувак, с которого началась компания в плане ресерча.
https://x.com/ilyasut/status/1790517455628198322
👍2❤1
Forwarded from эйай ньюз
Курс по квантизации для тех, кто хочет быть в теме
Эндрю Ын, о котором здесь писалось уже не раз, вместе со спецами из обнимающего лица _marcsun и younesbelkada дропнул очередной эйай #ликбез. На этот раз о квантизации.
Квантизация — это сжатие модели с 32 до 16, 8 или даже 2 бит, не особо теряя при этом в качестве. Считай, raw перевели в jpeg. Так же как и без MoE современные ллм дорого тренировать, так и без квантизации их дорого инференсить - железо которое тянет эти килотонны весов влетает в копеечку.
Чему учат:
- применять си/асимметричную линейную квантизацию.
- квантизации на разных уровнях: по тензорам, по каналам, по группам.
- созданию квантизатора на практике с упаковкой до 2-х бит.
Ссылочка на курс
#ликбез
@ai_newz
Эндрю Ын, о котором здесь писалось уже не раз, вместе со спецами из обнимающего лица _marcsun и younesbelkada дропнул очередной эйай #ликбез. На этот раз о квантизации.
Квантизация — это сжатие модели с 32 до 16, 8 или даже 2 бит, не особо теряя при этом в качестве. Считай, raw перевели в jpeg. Так же как и без MoE современные ллм дорого тренировать, так и без квантизации их дорого инференсить - железо которое тянет эти килотонны весов влетает в копеечку.
Чему учат:
- применять си/асимметричную линейную квантизацию.
- квантизации на разных уровнях: по тензорам, по каналам, по группам.
- созданию квантизатора на практике с упаковкой до 2-х бит.
Ссылочка на курс
#ликбез
@ai_newz
www.deeplearning.ai
Quantization in Depth - DeepLearning.AI
Try out different variants of Linear Quantization, including symmetric vs. asymmetric mode, and granularities like per tensor, per channel, and per group.
🔥1
Notion сделал конструктор сайтов.
В комплекте:
- Возможность прикрутить свой домен
- Фирменный дизайн
- База данных на основе notion-таблиц
- SEO оптимизация и аналитика
- AI для генерации контента
https://www.notion.so/product/sites
В комплекте:
- Возможность прикрутить свой домен
- Фирменный дизайн
- База данных на основе notion-таблиц
- SEO оптимизация и аналитика
- AI для генерации контента
https://www.notion.so/product/sites
Notion
Notion – Publish anything, fast
The easiest way to launch a website. Drag-and-drop building blocks. Effortless content management. AI to help you fill in the gaps.
👍10🤮1
Анализ видео на GPT-4o
Давненько я вам ничего не писал. Исправим это недоразумение.
Ездил пару недель назад в Лос-Анджелес к своим америкосам, с которыми делаем проект text-to-motion — генерация анимаций для игровых персонажей по текстовому описанию. Там мы придумали занятный метод, про который сейчас расскажу.
В промпт GPT-4o можно прикладывать картинки. Видео — последовательность картинок с ~30-120 кадрами в секунду. Так вот оказывается, если у вас есть короткие ролики по 1-3 секунды, которые нужно проанализировать, то можно сэмплировать их на пару десятков кадров, которые влезут в context window модели.
Так уж вышло, что для обучения хорошей text-to-motion модели вам нужно несколько вещей: видеокарты, ML-специалисты и данные. Если по первым двум пунктам все неплохо, то вот с данными мы буксовали. Мы записывали анимации с помощью motion capture, покупали ассет-паки в сторах, собирали из открытых источников, но везде сталкивались с тем, что помимо анимации нужна аннотация — описание того, что на этой анимации происходит.
Руками людей размечать выходило долго и дорого. Поэтому решили попробовать генерировать описания с помощью GPT, а силами людей оценивать качество и исправлять ошибки. В итоге ускорили процесс х100 и удешевили х10. Такая вот история.
Держите инструкцию по заведению шарманки: https://cookbook.openai.com/examples/gpt_with_vision_for_video_understanding
Давненько я вам ничего не писал. Исправим это недоразумение.
Ездил пару недель назад в Лос-Анджелес к своим америкосам, с которыми делаем проект text-to-motion — генерация анимаций для игровых персонажей по текстовому описанию. Там мы придумали занятный метод, про который сейчас расскажу.
В промпт GPT-4o можно прикладывать картинки. Видео — последовательность картинок с ~30-120 кадрами в секунду. Так вот оказывается, если у вас есть короткие ролики по 1-3 секунды, которые нужно проанализировать, то можно сэмплировать их на пару десятков кадров, которые влезут в context window модели.
Так уж вышло, что для обучения хорошей text-to-motion модели вам нужно несколько вещей: видеокарты, ML-специалисты и данные. Если по первым двум пунктам все неплохо, то вот с данными мы буксовали. Мы записывали анимации с помощью motion capture, покупали ассет-паки в сторах, собирали из открытых источников, но везде сталкивались с тем, что помимо анимации нужна аннотация — описание того, что на этой анимации происходит.
Руками людей размечать выходило долго и дорого. Поэтому решили попробовать генерировать описания с помощью GPT, а силами людей оценивать качество и исправлять ошибки. В итоге ускорили процесс х100 и удешевили х10. Такая вот история.
Держите инструкцию по заведению шарманки: https://cookbook.openai.com/examples/gpt_with_vision_for_video_understanding
🔥11❤1