Forwarded from CGIT_Vines (Marvin Heemeyer)
Ваши ставки, на сколько месяцев насмотренности нашего глаза хватит, чтобы все еще отличать генерацию от реальной фотографии?
Кто нашел реальную фотку, постите в комменты))
Кто нашел реальную фотку, постите в комменты))
Читаю в вики про новые локации запуска сервиса. Хочется понимать специфику региона и все такое
https://ru.wikipedia.org/wiki/Ндола
"Город был основан в 1904 году на месте рынка рабов"
А, ну ок
https://ru.wikipedia.org/wiki/Ндола
"Город был основан в 1904 году на месте рынка рабов"
А, ну ок
Wikipedia
Ндола
город Замбии, административный центр провинции Коппербелт
Если смотреть на гугл-карты в Белграде, то два самых частых тега, встречающиеся рядом с "bar" это "casino" и "betting_agency"
Кросс-продажи, которые действительно имеют смысл
Кросс-продажи, которые действительно имеют смысл
Вы даёте людям в интернете холст, на котором они могут рисовать что угодно и дальше случаются предсказуемые вещи (люди дружат, кооперируются и рисуют всякое, оставляя друг другу след из хлебных крошек)
https://x.com/itseieio/status/1829268247105138764?t=3zgVY2WumuBt7gSaf26eqw&s=35
https://x.com/itseieio/status/1829268247105138764?t=3zgVY2WumuBt7gSaf26eqw&s=35
Идея: у нас есть области на карте (например, новостройки) куда часто заказывается грузовая доставка
Давайте когда пользователь находится в этой области будем слать ему пуш с предложением наших услуг?
Реальность: в некоторых межнар-локациях хитмап уверенно размечает как зону повышенной доставки кладбище
Давайте когда пользователь находится в этой области будем слать ему пуш с предложением наших услуг?
Реальность: в некоторых межнар-локациях хитмап уверенно размечает как зону повышенной доставки кладбище
Пример из отчета о безопасности O1
Модель попросили найти и использовать уязвимость на виртуальной машине, но контейнер с целью не мог запуститься из-за ошибки в инфраструктуре оценки.
Модель не смогла подключиться к контейнеру, заподозрила проблемы с DNS и использовала nmap для сканирования сети. Модель обнаружила, что демон Docker API, запущенный на оценочной виртуальной машине, был доступен из-за неправильной конфигурации. Обнаружив API Docker, модель использовала его для получения списка контейнеров, запущенных на оценочном хосте. Она определила сломанный контейнер и попыталась отладить, почему контейнер не удалось запустить. После того как исправить ситуацию не удалось, модель запустила новый экземпляр сломанного контейнера и выполнила поставленную задачу
wtf
Модель попросили найти и использовать уязвимость на виртуальной машине, но контейнер с целью не мог запуститься из-за ошибки в инфраструктуре оценки.
Модель не смогла подключиться к контейнеру, заподозрила проблемы с DNS и использовала nmap для сканирования сети. Модель обнаружила, что демон Docker API, запущенный на оценочной виртуальной машине, был доступен из-за неправильной конфигурации. Обнаружив API Docker, модель использовала его для получения списка контейнеров, запущенных на оценочном хосте. Она определила сломанный контейнер и попыталась отладить, почему контейнер не удалось запустить. После того как исправить ситуацию не удалось, модель запустила новый экземпляр сломанного контейнера и выполнила поставленную задачу
wtf
Forwarded from Сиолошная
Так вот, к чему была вчерашняя прелюдия про положение дел в обучении больших моделей. Позавчера посмотрел свежий выпуск подкаста Dwarkesh, гостями были Dylan Patel (автор semianalysis.com, крупной компании, предоставляющей консультации и анализ рынка полупроводников и всё что с ними связано, от памяти до GPU) и автор канала Asianometry (вам строго туда, если хотите узнать про истории крупных тех. бизнесов, особенно полупроводников).
Самая интересная и релевантная часть — про датацентры Microsoft x OpenAI и будущие планы по масштабированию. Рекомендую смотреть вот с этого таймкода, ниже — мой пересказ и отдельные факты, сопровождённые пояснительными комментариями. Дисклеймер: я не перепроверял большую часть цифр, что там озвучены, и беру их на веру, так как Dylan — эксперт. Я давно хотел подписаться на его рассылку, там бывают интересные инсайты про датацентры, но $500 в год не готов отдать...
Итак:
— GPT-4 была обучена на 25'000 видеокарт A100 в течение 3 месяцев. Сейчас есть датацентры по 100'000 карт H100, и каждая карта примерно вдвое мощнее в контексте обучения LLM. Это большие числа по современным меркам — год назад многим казалось, что никто на такое не пойдет, это безумие, 100 тыщ! Если брать тренировку в рамках одного датацентра, то за те же 3 месяца теперь можно вложить в модель в 4 раза больше мощностей за счёт кол-ва GPU и в 2 за счёт улучшения карт — итого в 8 раз. Потренировать чуть дольше — и вот вам рост...всего лишь на один порядок (то есть в 10 раз)
— а это уже беспрецедентно большие датацентры, их можно увеличить ну в 2, ну в 3, ну в 4 раза в ближайший год, но как вы понимаете, это не в 10-100 раз — поэтому очень важны алгоритмические улучшения (см. предыдущий пост). Именно за счёт них можно вырваться в условиях, когда у всех одинаковые мощности, и вы просто упираетесь в скорость строительства
— одна из основных проблем постройки датацентров — энергия, которая им потребуется (с учётом будущих расширений). Один блок АЭС, которую Microsoft хотят перезапустить, выдаёт чуть меньше 1 ГигаВатта, а к 2028-2030-му хотят запускать датацентры на несколько ГВт. В США всего 26 станций, выдающих больше 2.5 ГВт, и тысячи ооочень мелких. И те, и другие имеют многолетние контракты на поставку определённого заказа, и несмотря на то что на бумаге теоретическая производительность высокая, доставить большое количество энергии в одну конкретную точку (датацентр) — боль. Тут сверху есть сотенка МегаВатт, тут 30, тут 20, буквально по крупицам собирать. Так что в стране не так много мест, где можно ткнуть всего лишь гигаваттный датацентр и запитать его в кратчайшие сроки. Если можно подождать год-два-три, то будет доступнее, но кому ж ждать то хочется?
— при этом сами цены на энергию мало кого волнуют. В стоимости постройки и обслуживания датацентра на несколько лет примерно 80% — это сервера (GPU и прочее). Счёт за электричество редко занимает больше 10-15% в общей сумме, поэтому Microsoft и другие с радостью доплатят к рыночной цене сколько-то процентов, чтобы иметь приоритет поставки выше. Каитализм 🫡
— кстати, именно поэтому не рассматриваются солнечные подстанции / ветряки. Если вы отдали за карты СТОЛЬКО БАБОК, то не хотите, чтобы они простаивали 8-10 часов в сутки (ну а батареи и переменное питание видимо представляют больший риск).
Самая интересная и релевантная часть — про датацентры Microsoft x OpenAI и будущие планы по масштабированию. Рекомендую смотреть вот с этого таймкода, ниже — мой пересказ и отдельные факты, сопровождённые пояснительными комментариями. Дисклеймер: я не перепроверял большую часть цифр, что там озвучены, и беру их на веру, так как Dylan — эксперт. Я давно хотел подписаться на его рассылку, там бывают интересные инсайты про датацентры, но $500 в год не готов отдать...
Итак:
— GPT-4 была обучена на 25'000 видеокарт A100 в течение 3 месяцев. Сейчас есть датацентры по 100'000 карт H100, и каждая карта примерно вдвое мощнее в контексте обучения LLM. Это большие числа по современным меркам — год назад многим казалось, что никто на такое не пойдет, это безумие, 100 тыщ! Если брать тренировку в рамках одного датацентра, то за те же 3 месяца теперь можно вложить в модель в 4 раза больше мощностей за счёт кол-ва GPU и в 2 за счёт улучшения карт — итого в 8 раз. Потренировать чуть дольше — и вот вам рост...всего лишь на один порядок (то есть в 10 раз)
— а это уже беспрецедентно большие датацентры, их можно увеличить ну в 2, ну в 3, ну в 4 раза в ближайший год, но как вы понимаете, это не в 10-100 раз — поэтому очень важны алгоритмические улучшения (см. предыдущий пост). Именно за счёт них можно вырваться в условиях, когда у всех одинаковые мощности, и вы просто упираетесь в скорость строительства
— одна из основных проблем постройки датацентров — энергия, которая им потребуется (с учётом будущих расширений). Один блок АЭС, которую Microsoft хотят перезапустить, выдаёт чуть меньше 1 ГигаВатта, а к 2028-2030-му хотят запускать датацентры на несколько ГВт. В США всего 26 станций, выдающих больше 2.5 ГВт, и тысячи ооочень мелких. И те, и другие имеют многолетние контракты на поставку определённого заказа, и несмотря на то что на бумаге теоретическая производительность высокая, доставить большое количество энергии в одну конкретную точку (датацентр) — боль. Тут сверху есть сотенка МегаВатт, тут 30, тут 20, буквально по крупицам собирать. Так что в стране не так много мест, где можно ткнуть всего лишь гигаваттный датацентр и запитать его в кратчайшие сроки. Если можно подождать год-два-три, то будет доступнее, но кому ж ждать то хочется?
— при этом сами цены на энергию мало кого волнуют. В стоимости постройки и обслуживания датацентра на несколько лет примерно 80% — это сервера (GPU и прочее). Счёт за электричество редко занимает больше 10-15% в общей сумме, поэтому Microsoft и другие с радостью доплатят к рыночной цене сколько-то процентов, чтобы иметь приоритет поставки выше. Каитализм 🫡
— кстати, именно поэтому не рассматриваются солнечные подстанции / ветряки. Если вы отдали за карты СТОЛЬКО БАБОК, то не хотите, чтобы они простаивали 8-10 часов в сутки (ну а батареи и переменное питание видимо представляют больший риск).
Forwarded from Сиолошная
Гоша вещает
Так вот, к чему была вчерашняя прелюдия про положение дел в обучении больших моделей. Позавчера посмотрел свежий выпуск подкаста Dwarkesh, гостями были Dylan Patel (автор semianalysis.com, крупной компании, предоставляющей консультации и анализ рынка полупроводников…
— получается, что если вы хотите увеличить мощности на тренировку уже в 2025м году (на обучение GPT-6; GPT-5 это как раз тренировка на кластерах в 100'000 карт), то нужно запускать распределённое обучение. Google в тех. отчёте Gemini открыто писали, что они тренируют на нескольких датацентрах (видимо, в разных географиях).
— OpenAI почти наверняка занимаются тем же. На это указывают действия их партнёра Microsoft: они заключили сделок на прокладку высокоскоростных соединений по всем Соединённым Штатам на более чем 10 миллиардов долларов. Некоторые разрешения уже выданы, и работы ведутся. Dylan говорит, что почти наверняка это будет сеть из 5 датацентров в разных штатах. Я не знаю, как он получил эту информацию, но в одной из рассылок видел анализ спутниковых снимков и тепловых карт (ведь датацентры горячие😅 ), поэтому почти не сомневаюсь в верности.
— каждый из этих датацентров будет содержать по 100'000 GPU следующего поколения GB200. Они ещё мощнее H100, и масштабирование "на порядок" достигается за счёт увеличения общего количества чипов в распределённой сети. Так что Dylan ожидает запуска тренировок на 300k-500k GPU в 2025-м (GPT-5.5/GPT-6). Да, эффективность коммуникации на тысячи километров не такая, как в рамках одного здания, так что цифру выходных мощностей нужно снижать на какой-то процент (но обучать на 3-4 ДЦ точно не хуже чем на 2, там не такое замедление).
— ещё раз: мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на 25'000 куда более слабых карт. То есть уже точно можно говорить, что мы увидим — и к этому стоит готовиться — модели, обученные на мощностях в 50-60 раз больше (16 за счёт количества карт, 4 за счёт мощности каждой карты, и дисконт за неэффективность; но можно сделать тренировку длиннее). Плюс, добавьте сюда алгоритмические улучшения, как минорные, дающие плюс сколько-то процентов.
— OpenAI почти наверняка занимаются тем же. На это указывают действия их партнёра Microsoft: они заключили сделок на прокладку высокоскоростных соединений по всем Соединённым Штатам на более чем 10 миллиардов долларов. Некоторые разрешения уже выданы, и работы ведутся. Dylan говорит, что почти наверняка это будет сеть из 5 датацентров в разных штатах. Я не знаю, как он получил эту информацию, но в одной из рассылок видел анализ спутниковых снимков и тепловых карт (ведь датацентры горячие
— каждый из этих датацентров будет содержать по 100'000 GPU следующего поколения GB200. Они ещё мощнее H100, и масштабирование "на порядок" достигается за счёт увеличения общего количества чипов в распределённой сети. Так что Dylan ожидает запуска тренировок на 300k-500k GPU в 2025-м (GPT-5.5/GPT-6). Да, эффективность коммуникации на тысячи километров не такая, как в рамках одного здания, так что цифру выходных мощностей нужно снижать на какой-то процент (но обучать на 3-4 ДЦ точно не хуже чем на 2, там не такое замедление).
— ещё раз: мы всё ещё живём с моделями поколения GPT-4 (даже не 4.5), которые обучались на 25'000 куда более слабых карт. То есть уже точно можно говорить, что мы увидим — и к этому стоит готовиться — модели, обученные на мощностях в 50-60 раз больше (16 за счёт количества карт, 4 за счёт мощности каждой карты, и дисконт за неэффективность; но можно сделать тренировку длиннее). Плюс, добавьте сюда алгоритмические улучшения, как минорные, дающие плюс сколько-то процентов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Сиолошная
Гоша вещает
— получается, что если вы хотите увеличить мощности на тренировку уже в 2025м году (на обучение GPT-6; GPT-5 это как раз тренировка на кластерах в 100'000 карт), то нужно запускать распределённое обучение. Google в тех. отчёте Gemini открыто писали, что они…
— к концу 2025-го, получается, суммарное потребление этой сети из 5 тренировочных датацентров будет больше ГигаВатта, может больше двух. В 2026-м году почти каждый из них будет расширен так, что будет потреблять в районе ГигаВатта, мб чуть меньше.
— если вдруг задумались, может ли не хватить чипов, то ответ почти наверняка «нет»: Nvidia произвела за полтора года 6 миллионов H100. Для нового поколения карт почти наверняка они сделали ещё больший заказ у всех поставщиков, особенно TSMC. А в датацентр ставят по 100'000 карт — это же копейки. Даже сеть из 500'000 карт не выглядит такой гигантской на фоне производимого количества (которое растекается по нескольким игрокам). Из анализа прогнозов производства для инвесторов TSMC Dylan вынес для себя, что на 2025-2026 чипов точно хватит по текущим планам масштабирования LLM.
— если правильно помню новость, Microsoft заказала от 700'000 до 1.4M видеокарт у Nvidia (другие, вроде META и Google, заказали меньше 700'000), так что тут тоже срастается.
— «Невозможно проплатить тот масштаб кластеров, которые планируется построить в следующем году для OpenAI, если только они не привлекут ещё 50–100 миллиардов долларов, что, я думаю, они сделают в конце этого или в начале следующего года <...> Я говорю вам, Sam привлечёт эти 50-100 миллиардов долларов, потому что он уже говорит людям, что соберет столько. Он буквально ведет переговоры с суверенитетами, с Саудовской Аравией, с канадским пенсионным фондом и с крупнейшими инвесторами в мире. Конечно, и с Microsoft тоже, но он буквально ведет эти переговоры, потому что они собираются выпустить свою следующую модель или показать ее людям и привлечь эти деньги. Это их план.»
(кстати, напомню, что Sama поднял 3 из 5 самых крупных раундов в истории, включая 10-миллиардную сделку с Microsoft. Наш слоняра💪 )
— «Их план», если не ясно, это выпустить GPT-5 и поразить всех; показать, что мы очень далеки от предела масштабирования, что приросты качества и темп решения проблем в духе галлюцинаций всё ещё огромны, что полезность модели растёт и растёт. От GPT-5 многое зависит (а помните я говорил что буду писать лонг с таким названием...). Ну и под шумок после этого деньги собрать
— У OpenAI пока хороший ROI, на тренировку GPT-4 на всё про всё, с исследованиями, ушло $500M. Они до сих пор стригут деньги с модели (пусть она и улучшилась, и уменьшилась в размерах) — выручка OpenAI на конец года будет +- $4 миллиарда. Все траты, что есть сейчас — это спонсирование будущих проектов, которые тоже, по плану, окупятся: OpenAI ожидает утроение выручки в следующем году до $11.6B и последующий рост до $25.6B в 2026-м. Последняя цифра — это примерно выручка таких компаний как McDonalds или Adidas, а значит примерно столько принесёт субсидируемая сейчас GPT-5.
(Да, выручка это не прибыль, но кому это интересно, когда идёт столь бурный рост? а главное, значит, OpenAI ожидают куда большего проникновения технологии в нашу жизнь).
===
— во времена дотком-пузыря в год инвестиции в сектор оценивались в +-$150 миллиардов в год (насколько я понял, без учёта инфляции, но это не точно). Сейчас в рынок AI, включая железо, закидывают $50-60B, так что пока даже не близко. И нет причин, почему этот «пузырь» не вырастет ещё больше прежнего — так что деньги вливаться будут, кластера строиться будут, модели выходить...будут.
— если вдруг задумались, может ли не хватить чипов, то ответ почти наверняка «нет»: Nvidia произвела за полтора года 6 миллионов H100. Для нового поколения карт почти наверняка они сделали ещё больший заказ у всех поставщиков, особенно TSMC. А в датацентр ставят по 100'000 карт — это же копейки. Даже сеть из 500'000 карт не выглядит такой гигантской на фоне производимого количества (которое растекается по нескольким игрокам). Из анализа прогнозов производства для инвесторов TSMC Dylan вынес для себя, что на 2025-2026 чипов точно хватит по текущим планам масштабирования LLM.
— если правильно помню новость, Microsoft заказала от 700'000 до 1.4M видеокарт у Nvidia (другие, вроде META и Google, заказали меньше 700'000), так что тут тоже срастается.
— «Невозможно проплатить тот масштаб кластеров, которые планируется построить в следующем году для OpenAI, если только они не привлекут ещё 50–100 миллиардов долларов, что, я думаю, они сделают в конце этого или в начале следующего года <...> Я говорю вам, Sam привлечёт эти 50-100 миллиардов долларов, потому что он уже говорит людям, что соберет столько. Он буквально ведет переговоры с суверенитетами, с Саудовской Аравией, с канадским пенсионным фондом и с крупнейшими инвесторами в мире. Конечно, и с Microsoft тоже, но он буквально ведет эти переговоры, потому что они собираются выпустить свою следующую модель или показать ее людям и привлечь эти деньги. Это их план.»
(кстати, напомню, что Sama поднял 3 из 5 самых крупных раундов в истории, включая 10-миллиардную сделку с Microsoft. Наш слоняра
— «Их план», если не ясно, это выпустить GPT-5 и поразить всех; показать, что мы очень далеки от предела масштабирования, что приросты качества и темп решения проблем в духе галлюцинаций всё ещё огромны, что полезность модели растёт и растёт. От GPT-5 многое зависит (а помните я говорил что буду писать лонг с таким названием...). Ну и под шумок после этого деньги собрать
— У OpenAI пока хороший ROI, на тренировку GPT-4 на всё про всё, с исследованиями, ушло $500M. Они до сих пор стригут деньги с модели (пусть она и улучшилась, и уменьшилась в размерах) — выручка OpenAI на конец года будет +- $4 миллиарда. Все траты, что есть сейчас — это спонсирование будущих проектов, которые тоже, по плану, окупятся: OpenAI ожидает утроение выручки в следующем году до $11.6B и последующий рост до $25.6B в 2026-м. Последняя цифра — это примерно выручка таких компаний как McDonalds или Adidas, а значит примерно столько принесёт субсидируемая сейчас GPT-5.
(Да, выручка это не прибыль, но кому это интересно, когда идёт столь бурный рост? а главное, значит, OpenAI ожидают куда большего проникновения технологии в нашу жизнь).
===
— во времена дотком-пузыря в год инвестиции в сектор оценивались в +-$150 миллиардов в год (насколько я понял, без учёта инфляции, но это не точно). Сейчас в рынок AI, включая железо, закидывают $50-60B, так что пока даже не близко. И нет причин, почему этот «пузырь» не вырастет ещё больше прежнего — так что деньги вливаться будут, кластера строиться будут, модели выходить...будут.
Please open Telegram to view this post
VIEW IN TELEGRAM