Чорт ногу сломит

В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.

www.tgoop.com/nejdanov/371

3.2K viewsApr 19 at 15:00

В новом интервью Цукерберга меня заинтересовало, как он несколько раз мечтательно говорит, что рано или поздно кто-то наконец построит data-центр для тренировки ИИ с мощностью в 1 гигаватт — по сути, сделает целый ядерный реактор батарейкой для одной нейросети.

Еще недавно основной метрикой ИИ было количество параметров нейросети, исчислявшееся миллионами, а затем и миллиардами. Когда количество параметров начало приближаться к триллиону, тренд поменялся: теперь нейросеть Цукерберга нового поколения Llama 3 с 7 млрд параметров работает лучше, чем Llama 2 с 70 млрд. Меряться количеством параметров больше не актуально.

Теперь главной метрикой ИИ постепенно становится энергия.

CEO OpenAI Сэм Альтман утверждает, что будущее ИИ полностью зависит от развития сферы энергетики. Нейросети работают на полупроводниках (процессорах), которые потребляют громадное количество электричества. Для прогресса в ИИ нужно скармливать ему все больше процессоров, а для них нужно все больше энергии. Еще недавно все считали, что прогресс ИИ упрется в невозможность производить достаточное количество процессоров — но нет, теперь все упирается в электричество, которое питает эти процессоры в дата-центрах.

Сегодня средний дата центр, необходимый для тренировки и поддержания ИИ, потребляет от 50 до 100 мегаватт, крупный — 150 мегаватт. Чтобы ИИ в нынешнем его виде вышел на принципиально новый уровень, по мнению Цукерберга, нужно строить дата-центры уже на 300-500 мегаватт, а сам он, кажется, мечтает о 1000 мегаваттном (1 гВт) ИИ-комплексе.

И тут мы упираемся в очень интересную ситуацию. Энергия в нашей цивилизации принадлежит правительствам. Даже если не правительство ее производит и распределяет, все равно именно оно регулирует законами все, что с ней связано, и без его разрешений никакие серьезные добыча и распределение невозможны. Дальше — еще интереснее. Наибольшим количеством энергии в наше время распоряжаются автократические и тоталитарные режимы, например, путинская РФ.

Одна ЗАЭС, крупнейшая электростанция Европы, которую путинские войска отобрали у Украины, способна генерировать сразу 6 гигаватт — в шесть раз больше, чем в фантазиях Цукерберга. То есть потенциально РФ, в худшем случае, или монархии Персидского залива в лучшем, могут в обозримом будущем перещеголять США и Европу в развитии ИИ просто за счет того, что смогут пустить на это дело больше энергии. Пикантность ситуации заключается в том, что им даже не придется изобретать велосипед и создавать нейросети с ноля. Им даже красть ничего не придется: они просто возьмут open-source модели того же Цукерберга и продолжат развивать их на базе своей электрогенерации.

Хорошо, что энергия – все же пока что не единственное узкое место в развитии ИИ. В мире уже заканчиваются качественные данные для тренировки нейросетей. Но об этом в другой раз.

BY Чорт ногу сломит