tgoop.com/llmsecurity/521
Last Update:
Все эти определения, правда, слабо помогают, когда мы начинаем говорить о вероятности появления их объекта и, тем более, о временных рамках. В контексте AGI рассматривается несколько сценариев его появления: постепенное и поступательное развитие (gradual takeoff) и внезапный взрыв (hard takeoff). У экономических определений есть критерии, но они достаточно произвольные (почему 100 миллиардов?). Кроме того, в случае с поступательным развитием могут не работать за счет адаптации рынков и конкуренции, а в случае с внезапным взрывом наверняка возникнет кризис (не может быть такого, что одна компания постоянно делает x10 от вложений каждый квартал), после которого такой ИИ на время отключат административными мерами. Определения на базе морального статуса слишком философские. Откуда вы знаете, что я могу испытывать страдания? Ответ "спросить" не принимается: один сотрудник гугла уже в 2023 спросил, получил положительный ответ и стал знаменитостью. Всплывает сложная проблема сознания, философские зомби и прочий Дэвид Чалмерс. Определения на базе когнитивных способностей могут сильно упираться в нашу неспособность их перечислить: Wolfram Alpha уже сильно превосходит меня в математике, а Claude – в некоторых аспектах разработки, и я молчу про StockFish и шахматы; сколько ещё атомарных навыков осталось до AGI?
На эти вопросы накладываются и другие проблемы, затрудняющие прогнозы. Сейчас основной парадигмой в ИИ является машинное обучение на базе трансформеров – текстовых и мультимодальных. Они развиваются быстро, маленькие модели обгоняют гигантов двухлетней давности, улучшения в железе (типа чипов от Cerebras) очень впечатляющие, но мы не знаем, долго ли прогресс в рамках трансформеров продлится, и, если нет, найдем ли мы другую парадигму. Об этом пишет и один из крутейших исследователей безопасности LLM, Николас Карлини, в своем свежем блог-посте : you should have large margins of error. Что если следующие прорывы будут связаны не с трансформерами, а с живыми нейронами, выращенными из стволовых клеток, по 32 тысячи долларов за чип? Людей, способных аргументированно говорить о таких системах, в мире считанные десятки, тем паче делать предсказания. Я, успевший застать еще Theano, ошибался в своих предположениях по скорости развития железок и способностей LLM много раз, поэтому я предпочитаю не делать сильных заявлений за пределами своей узкой области знаний.
Поэтому спасибо коллегам за вопрос (приятно, когда спрашивают о философских вещах), но придется оставить их без предсказаний и дальше делать то, что важно сейчас: разбираться в безопасности всех этих замечательных систем.
BY llm security и каланы
Share with your friend now:
tgoop.com/llmsecurity/521