Машиннное обучение | Наука о данных Библиотека

Forwarded from Анализ данных (Data analysis)

📖 Вечернее чтение

Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

- Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
- Сравнение GPU и TPU: гибкость против специализированной мощности.
- Как устроены GPU-кластеры и коллективные коммуникации.
- Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

🔥 Если вы работаете с масштабированием моделей - мастрид.

👉 https://jax-ml.github.io/scaling-book/gpus/

@data_analysis_ml

❤5👍5🔥3

www.tgoop.com/machinelearning_books/1142

1.38K viewsAug 24 at 09:13

📖 Вечернее чтение

Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

- Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
- Сравнение GPU и TPU: гибкость против специализированной мощности.
- Как устроены GPU-кластеры и коллективные коммуникации.
- Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

🔥 Если вы работаете с масштабированием моделей - мастрид.

👉 https://jax-ml.github.io/scaling-book/gpus/

@data_analysis_ml

BY Машиннное обучение | Наука о данных Библиотека