tgoop.com/hiaimedia/854
Last Update:
Недавно уволившийся из OpenAI Андрей Карпаты выпустил новый YouTube-блокбастер. На протяжении 4 часов разработчик рассказывает, как можно создать модель GPT-2 с нуля. Меньше чем за неделю видео собрало 200 000 просмотров, а в комментариях AI-энтузиасты благодарят Андрея за проделанную работу и просят еще больше лекций.
Уровень сложности:
Кому будет интересно. ИТ-специалистам и интересующимся AI, с начальным уровнем образования в области глубокого обучения, знание Python — обязательно к изучению. Также можно сначала посмотреть предыдущие лекции Карпаты, в которых он постепенно рассказывает об устройстве больших языковых моделей (LLM).
В чем ценность лекции. Это один из самых подробных мастер-классов, выложенных бесплатно в сети, кроме того, его автор входит в команду создателей ChatGPT и является одним из самых крутых AI-разработчиков в мире.
Андрей Карпаты на глазах у своих зрителей создает модель GPT-2, буквально начиная с пустого файла. Шаг за шагом разработчик создает LLM, подробно рассказывая об архитектуре и оптимизации кода. Карпаты отдельно останавливается на том, как нужно правильно настроить модель для быстрого обучения и оптимизировать сам процесс обучения и гиперпараметры. Задача разработчика, по словам Андрея, настроить модель так, чтобы можно было поставить ее на обучение перед сном, а проснуться уже с готовой GPT-2. Что он и делает в своем видео
Почему GPT-2:
Таймкод лекции:
Также рекомендуем посмотреть следующие лекции Андрея Карпаты:
#mustsee @hiaimedia
