tgoop.com/extended_surreality/309
Last Update:
Последние пару дней все обсуждают уход из OpenAI Ильи Суцкевера и Яна Лейке, отвечавших в компании за направление SuperAlingnmet.
Напомню, что их исследовательская группа была организована в июле прошлого года в целях изучения проблем контроля и обеспечения безопасности будущего сверхразумного ИИ, который потенциально может значительно превосходить человека в интеллектуальных способностях.
Тогда в анонсе OpenAI заявила, что планирует использовать 20% своих вычислительных мощностей для обеспечения работы направления. В итоге именно из-за проблем с вычислительными ресурсами команде в последнее время становилось все сложнее проводить свои исследования.
(О причинах ухода, а тоже о том, почему их группа «шла против ветра», см. пост Яна Лейке).
Про проблему «супервыравнивания» на данный момент написано много. Хотя, учитывая, что нынче это одна из ключевых проблем, связанных с долгосрочными рисками развития AGI, про которую говорят почти все разработчики, ученые и философы, занимающиеся ИИ, то любое «много» остается недостаточным.
Поэтому вот топ важных обзорных постов от Яна Лейке, с которых можно начать изучение этой темы:
▪️What is the alignment problem?
(тут Лейке описывает «трудную проблему выравнивания» - мало нам было «трудных проблем»)
▪️What could a solution to the alignment problem look like?
▪️What is inner alignment?
▪️Why I’m optimistic about our alignment approach
#technologies
#philosophy
BY EXTENDED (SUR)REALITY
Share with your friend now:
tgoop.com/extended_surreality/309