Пожары в Калифорнии с ноткой ностальгии

Лол, Трамп в преддверии инаугурации запустил свой мемкоин. Чиста без страха, без уважения, памп, дамп и в президентское кресло.

Ну либо его твиттер взломали.

https://x.com/realDonaldTrump/status/1880446012168249386

Пакую чемоданы и сваливаю из США. Челы забанили тикток. Как жить то. Это уже ни в какие ворота…

GPT-4b

Ходят слухи, что на радость биохакерам из Кремниевой Долины, мужики из OpenAI занялись вопросом продления молодости.

Возможно Альтман посмотрел на Демиса с Нобелевкой за Alphafold и захотел также. А возможно просто может себе позволить, потому что зарядил $180M в некую Retro Biosciences, совместно с которой и учили модель.

Нейросети заберут у тебя работу и дадут бессмертие, чтобы ты наконец смог выбраться из 3к помойки в доте.

https://the-decoder.com/openais-new-gpt-4b-micro-model-optimizes-proteins-for-longevity-research/

Интересная статистика подъехала

FT: На рынке США сокращается количество активных венчурных фондов

– От пикового 2021 их количество сократилось на четверть
– Их количество снизилось на 2+ тыс., до 6,2 тыс. фондов
– Эта тенденция дала власть небольшой группе мегафондов
– Более 50% из $71 млрд за 2024 собрали всего 9 фондов
– При этом $25 млрд приходится всего на 4 фонда из США
– Это General Catalyst, AH, Iconiq Growth и Thrive Capital
– Время возврата капитала на рынке сильно увеличилось
– На возврат средств может потребоваться около 10 лет
– При этом собранные $71 млрд стали минимумом за 7 лет
– Это было менее двух пятых от общего объема за 2021
– Примерно 30-50% венчурных фондов могут закрыться

@ftsec

The Stargate Project — $500 млрд на AI дата центры для OpenAI. Мужики серьезно настроены. Финансирует вечеринку вроде как SoftBank, Oracle и правительство США?

https://openai.com/index/announcing-the-stargate-project/

Сэм Альтман конечно молодец. Этот уж в жопу без мыла залезет. Трамп только вступил в должность, а молодой уже в белом доме тусует. Вроде недавно брал у Microsoft $10B в OpenAI, а тут бац и $100B от SoftBank с Oracle под некий Stargate. Ловкач.

Вышла Hunyuan3D 2.0 — нейросеть для генерации и текстурирования 3D-моделей. По ощущениям качество вышло на новый уровень. Вроде как игры с <1M MAU могут использовать модель в коммерческих целях бесплатно.

Попробовать можно здесь: https://huggingface.co/spaces/tencent/Hunyuan3D-2

Код и лицензия: https://github.com/Tencent/Hunyuan3D-2?tab=readme-ov-file

DeepSeek R1

В штатах какое-то безумие на фоне выхода R1. Разошелся слух, что Китайцы обучили свою модель за $6M и понеслась:
- Люди на новостях стали продавать акции бигтеха, рынок пролился
- Менеджеры в корпорациях с ЗП по $1M+ обосрались, ведь им надо выбивать бюджеты на $100M для своих команд
- Трамп вчера говорил про Stargate для OpenAI за $500B, а сегодня deepseek приложение в топ-1 апстора, когда на повестке торговые войны с Китаем, тарифы и баны тиктока

Забавно наблюдать всю эту панику на ровном месте. Оптимизация уже давно идет, GPT-2 можно обучить чуть ли не на тостере. Но за фронтир модели первопроходцы всегда платят больше, потому что метод проб и ошибок требует кучи ошибок, прежде чем найдутся бодрые идеи.

OpenAI Deep Research

Во времена, когда я прикидывался начальником в Сбере, а позже консультировал крупные конторы, я очень радовался наличию там людей, занимавшихся аналитикой рынков, чтением отчетов и прочим бизнес/продуктовым-ресерчем. С одной стороны, без этого сложно запускать компании, продукты, фичи и обосновывать решения. С другой стороны это то, на что мне зачастую не хватало интереса и усидчивости.

Сегодня мужики из OpenAI заанонсили Deep Research — end-to-end fine-tune o3 модели с возможность искать в интернете и собирать информацию 30+ минут. Задаете тему: “Сделай аналитику мобильных приложений для изучения языка”, отвечаете на пару уточняющих вопросов от модели и через 10 минут получаете отчет по рынкам и метрикам.

Работает не только для маркетинга. Можно попросить помочь выбрать лыжи для катания в горах или собрать материалы по научным статьям.

Пока доступно только pro-подписчикам ($200/month). Я сначала попробую купить за счет конторы, а там дальше мб и сам раскошелюсь.

GL&HF аналитикам в корпорациях, фондах, стартапах в 2025.

https://youtu.be/YkCDVn3_wiw?si=KoJsIdLeczeUzWQc

Вы ничего не знаете про AI (NLP), если не читали эти 10 статей

Выбил себе про-план в опенаи, теперь могу делать дип ресерч с кликбейтными заголовками. Потестил на NLP, звучит разумно.


1. Hochreiter & Schmidhuber (1997) – LSTM. Решает проблему исчезающего градиента в RNN, позволяя моделировать длинные зависимости. (LSTM, sequence modeling)

2. Mikolov et al. (2013) – Word2Vec. Ввел плотные векторные представления слов, заложив основу для современных эмбеддингов. (word2vec, embeddings, distributed representations)

3. Charniak (2000) – Probabilistic Parsing. Показал, что вероятностные методы улучшают синтаксический разбор текста. (probabilistic parsing, syntax, NLP pipelines)

4. Bahdanau et al. (2015) – Attention in Seq2Seq. Ввел механизм внимания, улучшив машинный перевод и работу с длинными текстами. (attention mechanism, seq2seq, neural machine translation)

5. Vaswani et al. (2017) – Transformer: Attention Is All You Need. Убрал рекуррентность, введя self-attention, сделав NLP модели быстрее и мощнее. (Transformer, self-attention, deep learning)

6. Devlin et al. (2019) – BERT. Ввел bidirectional attention и pre-training, задав стандарт NLP-моделям. (BERT, masked language modeling, transfer learning)

7. Brown et al. (2020) – GPT-3: Few-Shot Learning. Доказал, что масштабирование параметров улучшает генерацию текста без дообучения. (GPT-3, few-shot learning, autoregressive models)

8. Lewis et al. (2020) – RAG (Retrieval-Augmented Generation). Улучшил генерацию текста, добавив поиск в базе знаний. (retrieval-augmented generation, knowledge-intensive NLP)

9. Christiano et al. (2017) – RLHF (Reinforcement Learning from Human Feedback). Ввел RLHF, позволяя моделям обучаться на человеческих предпочтениях. (RLHF, reinforcement learning, AI alignment)

10. Ouyang et al. (2022) – InstructGPT (RLHF для инструкций). Сделал LLM послушными, научив следовать инструкциям через RLHF. (instruction tuning, RLHF, safe AI)

Пасхалка

Ситуация: сидим с женой, смотрим на ютубе, как индусы копают дом в земле. Деградируем.

И я такой: «Подожди 5 минут, я пойду дам комментарий для австралийского телевидения».

Она хлопает глазами. Да я и сам не ожидал, что они позовут, поэтому и не готовился. Просто пришла смска.

В процессе не всегда понимал, что говорил ведущий, но что-то набалякал. Будет забавно, если это выйдет в эфир. На что только ни пойдёшь ради визы.

Такие дела. Сижу в шоке — индусы сделали аквапарк из глины.