Ровно месяц назад я писал об анонсе GPT-4V, который сегодня уже доступен всем пользователям. Эта модель умеет распознавать текст, формулы, эмоции, считать объекты и ставить диагнозы по картинке, умеет в в навигацию в реальном мире.

Но, как известно, месяц в ИИ это как год в крипте и как 5 лет в любой другой индустрии. Сегодня давайте поугораем по LLaVA, новой SotA (то есть, самой клёвой) vision модели.

Из новостей:
— модель открытая и бесплатная, включая датасет для тьюнинга
— показывает более крутые результаты по сравнению с GPT-4V
— последняя версия натренирована за 1 день на кластере из 8 A100 (то есть, за $700)
— демо доступно на сайте авторов
— довольно легко тьюнить на своих данных (еще не пробовал)
— звучит как тема для нашего следующего вебинара (кстати, сегодня на mastermind сессии для участников сообщества codex.town мы будем разбирать и изучать лайфхаки для vision моделей!)

#PDF_Summary

Sam Lessin про текущий кризис VC.

Закрытие "фабрики VC” и конец эры единорогов: Традиционная модель создания единорогов через "фабричное фермерство" закончилась. Этот канал больше не работает и вряд ли возобновится, так как публичный рынок теперь ценит органический, без пестицидов и естественный рост.

Сосредоточение на начальном этапе инвестиций: Мультистадийные и даже поздние фирмы входят в сферу начального этапа инвестирования для размещения капитала в отсутствие традиционной фабричной линии. Этот сдвиг обусловлен стремлением построить репутацию и опередить конкурентов, хотя и основан на расширении инноваций, а не на деструктивных технологиях.

Постпандемические культурные изменения: Пандемия привела к фундаментальным культурным изменениям, влияющим на стартапы. Экономическая непредсказуемость, переосмысление личных приоритетов и поиск независимости и безопасности меняют направление движения талантов и их цели.

Приоритет финансовой гибкости в инвестициях: В современных условиях VC крайне важно придавать приоритет финансовой гибкости для инвестиций и как фонд. Компаниям и фондам необходимо сосредоточиться на создании устойчивых бизнесов с начальным капиталом и позиционировать себя так, чтобы использовать возможности при совмещении раундов финансирования. Ждать публичного размещения компании или её приобретения больше не является ответственным подходом, и фирмы должны активно разрабатывать варианты ликвидности.

Эффективность капитала вместо масштабируемости: Инвесторы на начальной стадии должны приоритизировать эффективность капитала вместо масштабируемости инвестиционных возможностей. Они должны сосредоточиться на тех местах, где доллары дефицитны и ценны для компаний, а не только на компаниях, способных увеличить свой спрос на доллары.

Терпение и дисциплина: Основателям, фондам и LP необходимо проявлять терпение и дисциплину в новую эру VC.

https://huggingface.co/NousResearch/Yarn-Mistral-7b-128k

Nous-Yarn-Mistral-7b-128k is a state-of-the-art language model for long context, further pretrained on long context data for 1500 steps using the YaRN extension method. It is an extension of Mistral-7B-v0.1 and supports a 128k token context window.

Yarn Paper v2 on Arxiv: https://arxiv.org/abs/2309.00071

Obsidian-3B:
Worlds smallest multi-modal LLM. First multi-modal model in size 3B
(Worked on iphone!)

This is likely not just a first for Nous but likely the Worlds first 3B sized open-source multi-modal model with vision+text capabilities.

This model is based on the Capybara-3B model, holds robust conversational abilities, and even competes in benchmarks with first-gen SOTA models such as WizardLM-13B and GPT4-X-Vicuna 13B.

It's efficient enough to briskly run on even a non-pro iphone, while demonstrating surprisingly accurate understanding of images and holding back and forth conversations!

Download the direct version of Obsidian here: https://huggingface.co/NousResearch/Obsidian-3B-V0.5

Or download the optimized quantized version by @nisten here: https://huggingface.co/nisten/obsidian-3b-multimodal-q6-gguf

https://llava-vl.github.io/llava-interactive/

LLaVA-Interactive
Image Chat, Segmentation and Generation/Editing -- All-in-one

Новая модель:
— контекст длиннее. 128K токенов (365 страниц обычной книги)
— модель более аккуратна при работе с длинным текстом, не теряет то, что было в серединке
— фича для разрабов: можно заставить модель писать ответы в JSON-формате
— можно вызывать несколько функций за раз
— можно указать seed генерации, чтобы получать воспроизводимость
— скоро добавят logprobs в API
— Retrieval прямо из коробки, можно загружать документы на платформу и они будут подтягиватсья (F стартапам chatWithPDF)
— Теперь модель знает события не до сентября 2021го, а апреля 2023го
— Эта новая модель принимает картинки на вход через API

— DALLE-3 + text-to-speech (6 голосов) сегодня появятся в API
— Для GPT-4 появится файнтюнинг сегодня (но на узкую выборку пользователей)
— Custom Models: программа плотной работыт инженеров OpenAI с вашей компанией, чтобы помочь адаптировать тренировку под ваши проблемы

ЦЕНА НА GPT-4-TURBO (Sam говорит, что эта модель ещё и умнее GPT-4) уменьшена в 3 раза для промпта и в 2 раза для генерации!

Обещают скоро ещё больше ускорить GPT-4 Turbo

https://langfuse.com/
https://github.com/langfuse/langfuse
Open source tracing and analytics for LLM applications

https://huggingface.co/01-ai/Yi-34B-200K

The Yi series models are large language models trained from scratch by developers at 01.AI. The first public release contains two bilingual(English/Chinese) base models with the parameter sizes of 6B(Yi-6B) and 34B(Yi-34B). Both of them are trained with 4K sequence length and can be extended to 32K during inference time. The Yi-6B-200K and Yi-34B-200K are base model with 200K context length.

Бесплатный, очень короткий, но познавательный курс пр промтингу.

Курс "ChatGPT Prompt Engineering for Developers" обучает использованию больших языковых моделей (LLM) через OpenAI API для быстрого создания приложений. Ведущие, Isa Fulford (OpenAI) и Andrew Ng (DeepLearning.AI), раскрывают принципы LLM, делятся лучшими практиками запросов и демонстрируют применение LLM API в разнообразных задачах.

https://www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/

Lobe Chat - это инновационный чат-клиент с открытым исходным кодом, поддерживающий расширяемость и визуальное распознавание. Он позволяет легко развертывать частные приложения ChatGPT/LLM с помощью одного клика. С изящным дизайном, настраиваемыми ролями агентов, поддержкой плагинов и улучшенной мобильной версией, Lobe Chat обеспечивает удобное и персонализированное взаимодействие.

https://github.com/lobehub/lobe-chat

Bill Gates про будущее ИИ и агентов.

ИИ-агенты радикально изменят использование компьютеров, обеспечивая индивидуальную помощь в различных задачах. Эти агенты будут влиять на многие сферы, включая здравоохранение, образование и развлечения, поднимая важные вопросы о конфиденциальности данных и общественных последствиях.

Полная статья доступна здесь: ИИ собирается полностью изменить то, как вы используете компьютеры

Быстрый Whisper

Huggingface на днях опенсорснули Distil-Whisper — пожатую версию модели OpenAI для распознавания речи. Получилось в 6 раз быстрее, в 2 раза меньше объёмом и всё это без потери качества распознавания. Но пока только для английского, мультиязычность обещают добавить позднее.

Другие умельцы уже умудрились засунуть Whisper прямо в браузер, благодаря инструментам WebGPU.

X-LLM. Новая библиотека для обучения LLM в экосистеме Huggingface.

Она поддерживает все современные методы (QLoRA, Flash Attention 2, Gradient checkpointing, GPTQ квантизацию, W&B, обучение на нескольких GPU с помощью DeepSpeed, даже каждый чекпоинт сохраняет сразу в Huggingface Hub). Подходит как для быстрого прототипирования, так и для production-ready решений.

Репозиторий, внутри много примеров: https://github.com/BobaZooba/xllm

Colab с обучением 7B модели: ссылка

Open source модель: https://huggingface.co/BobaZooba/Shurale7B-v1

Интерактивная текстовая игра (с моделью выше) с динамическими персонажами и историями: @TaleQuestBot (да, бот в телеграм)

Microsoft проводят свою конференцию для разработчиков Ignite, главный месседж: «мы теперь Copilot Company». Работают над этим на всех уровнях:

- Hardware и инфраструктура. Анонсировали свои чипы для ИИ-вычислений, чтобы поконкурировать с Nvidia.

- Foundation models. Все последние модели OpenAI доступны в Azure. Также запустили «Models as a service» — можно файнтюнить Llama 2 и Mistral через их облако. Выкатили и свою модель Phi-2 в опенсорс, только для исследовательских целей.

- Софт для разработчиков ИИ-моделей. Объединили все инструменты разработки в Azure AI studio.

- Софт для конечных пользователей. Copilots в ближайшее время появятся везде — в самой винде, продуктах Microsoft Office, Teams и другом корпоративном софте. Также запустили свой заметочник Loop — конкурент Notion на ИИ-стероидах. Можно создавать своих копилотов без кода, используя внешние данные и плагины.

С генерацией картинок и текстов уже давно всё хорошо и мейнстрим, а музыка с видео пока отставали. Вот теперь Deepmind взялся за музыку:

https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/

Один из лучших отчетов об AI который я встречал

Компания Coatue в своем отчете затрагивает развитие AI и сранивает с другими прорывными технологиями: интернет и смартфоны.

Огромное количество интересных графиков и аналитики.
Одним постом невозможно описать многообразие затронутых тем.

Самое основное:
- Много уделяется сравнению скорости роста.
Сколько дней потребовалось ChatGPT чтобы набрать миллион юзеров.

- Сколько человек покинули корпорации чтобы основать стартапы? (Inflection, Anthropic, Mistral)

- Рост размера моделей.

- Роль опен-соурса и закрытость OpenAI.

- Запуск Iphone породил Uber, Airbnb, Instagram.
Какие еще революционные компании породит GenAI?

Согласен с авторами что революция AI только начинается и все самое интересное еще впереди.

Пока просмотрел отчет бегло, по мере продвижения буду делиться еще интересными моментами.

https://github.com/BerriAI/litellm

LiteLLM - это библиотека для работы с различными API крупных языковых моделей (LLM) в формате OpenAI. Она позволяет интегрировать и использовать модели от таких провайдеров, как Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace и Replicate. Основные возможности LiteLLM включают:

Перевод входных данных для endpoints completion и embedding различных провайдеров.
Гарантированное получение текстовых ответов в одном формате, независимо от используемой модели.
Exceptions- общие исключения от различных провайдеров преобразуются в типы исключений OpenAI.
Поддержка streaming.
Балансировка нагрузки между несколькими развертываниями (например, между Azure и OpenAI), выбирая развертывание с наименьшим количеством использованных токенов и находящееся в пределах лимита запросов.
Возможность использования моделей, не связанных с OpenAI, в кодовой базе OpenAI с помощью прокси LiteLLM