Тут пишут, что хайп вокруг AI накрылся асимптотой – а значит, никто жалких людишек теперь не поработит, и даже работу их не отберет.
За последние пару недель сразу несколько СМИ разной степени погружения в вопрос, написали, что новая версия ChatGPT под кодовым названием Orion не оправдывает ожиданий с точки зрения превосходства над GPT4.0. Мол, разница между этим самым Орионом и последним ChatGPT ни в какое сравнение не идет с огромным прыжком по производительности и качеству, который наблюдался в ChatGPT 4 по сравнению с ChatGPT 3, который помнят уже только олды. Тут же заговорили о том, что такие же проблемы у Гугла с его Gemini, а также у Anthropic с его Claude. А дело все в том, что начинает работать закон убывающей полезности при обучении моделей.
Дилетантски это выглядит примерно так. Раньше если скормить большой языковой модели один миллион кусочков данных и один миллион раз заставить ее их прожевать на очень мощном компьютере, то модель умнела от состояния пятилетнего ребенка до состояния первоклассника. Чтобы поумнеть от состояния первоклассника до состояния второклассника, уже надо было десять миллионов кусочков и десять миллионов прожевываний, на следующий шаг – сто миллионов, и так далее. Теперь модель уже думает как прилежный студент старших курсов, а то и кандидат наук. Но есть нюанс – теперь в несчастную машину запихивают бешеные квинтиллионы датапойнтов и операций, а она взрослеет на условные две недели обучения в вузе. И шаг этот все уменьшается и уменьшается, и скоро дойдет до того, что увеличивать объем данных и вычислительные мощности просто перестанет иметь смысл.
В общем, кажется, практический предел развития технологии deep learning в ее нынешнем виде достигнут. По какому поводу певцы сверхразума что-то слегка приуныли, зато открыли рот скептики и любители прокатиться вниз по кривой хайпа Гартнера – прямиком в долину разочарования. Но это все мы уже видели и комментировали, а главный вопрос так и остался без ответа – отберет ли ИИ в его нынешнем изводе работу у всего человечества, или придется ждать следующего пришествия?
С уверенностью вангуем – еще как отберёт. И даст много новой. Во-первых, уже достигнутый уровень технологии больших языковых моделей позволяет делать работу значительно эффективнее, чем раньше. Но это все еще технология – до ее приличной продуктизации пройдут годы, и за эти годы на ее основе сделают столько всего интересного, что и потерявших работу, и нашедших новую, и заработавших на этом всем будет весьма приличное количество.
Во-вторых, обучение моделей теперь будет работать не столько за счет наращивания объема, сколько за счет повышения качества скармливаемых модели данных – а это значит, что тысячи и тысячи узких специалистов в ближайшее время смогут неплохо подзаработать на обучении ИИ конкретным знаниями и действиям, которых он делать еще не умеет. К сверхразуму это все не приведет, но у нас будет куча специализированных моделей, каждая из которых будет уметь работать с данными (а там, глядишь, и объектами) почти на профессорском уровне.
И, наконец, умение создавать рабочие процессы с моделями (или встраиваться в рабочие процессы там, где модели не будут справляться), кажется, станет главным, простите, метанавыком человека в ближайшие годы – пока не изобретут новую революционную ИИ-технологию. Часть читателей, впрочем, мы все же разочаруем – сверхразума на нынешнем технологическом уровне не предвидится, а значит, ответственность за свою жизнь и карьеру кожаные мешки будут продолжать нести сами. Но такова уж жизнь.
Тут пишут, что хайп вокруг AI накрылся асимптотой – а значит, никто жалких людишек теперь не поработит, и даже работу их не отберет.
За последние пару недель сразу несколько СМИ разной степени погружения в вопрос, написали, что новая версия ChatGPT под кодовым названием Orion не оправдывает ожиданий с точки зрения превосходства над GPT4.0. Мол, разница между этим самым Орионом и последним ChatGPT ни в какое сравнение не идет с огромным прыжком по производительности и качеству, который наблюдался в ChatGPT 4 по сравнению с ChatGPT 3, который помнят уже только олды. Тут же заговорили о том, что такие же проблемы у Гугла с его Gemini, а также у Anthropic с его Claude. А дело все в том, что начинает работать закон убывающей полезности при обучении моделей.
Дилетантски это выглядит примерно так. Раньше если скормить большой языковой модели один миллион кусочков данных и один миллион раз заставить ее их прожевать на очень мощном компьютере, то модель умнела от состояния пятилетнего ребенка до состояния первоклассника. Чтобы поумнеть от состояния первоклассника до состояния второклассника, уже надо было десять миллионов кусочков и десять миллионов прожевываний, на следующий шаг – сто миллионов, и так далее. Теперь модель уже думает как прилежный студент старших курсов, а то и кандидат наук. Но есть нюанс – теперь в несчастную машину запихивают бешеные квинтиллионы датапойнтов и операций, а она взрослеет на условные две недели обучения в вузе. И шаг этот все уменьшается и уменьшается, и скоро дойдет до того, что увеличивать объем данных и вычислительные мощности просто перестанет иметь смысл.
В общем, кажется, практический предел развития технологии deep learning в ее нынешнем виде достигнут. По какому поводу певцы сверхразума что-то слегка приуныли, зато открыли рот скептики и любители прокатиться вниз по кривой хайпа Гартнера – прямиком в долину разочарования. Но это все мы уже видели и комментировали, а главный вопрос так и остался без ответа – отберет ли ИИ в его нынешнем изводе работу у всего человечества, или придется ждать следующего пришествия?
С уверенностью вангуем – еще как отберёт. И даст много новой. Во-первых, уже достигнутый уровень технологии больших языковых моделей позволяет делать работу значительно эффективнее, чем раньше. Но это все еще технология – до ее приличной продуктизации пройдут годы, и за эти годы на ее основе сделают столько всего интересного, что и потерявших работу, и нашедших новую, и заработавших на этом всем будет весьма приличное количество.
Во-вторых, обучение моделей теперь будет работать не столько за счет наращивания объема, сколько за счет повышения качества скармливаемых модели данных – а это значит, что тысячи и тысячи узких специалистов в ближайшее время смогут неплохо подзаработать на обучении ИИ конкретным знаниями и действиям, которых он делать еще не умеет. К сверхразуму это все не приведет, но у нас будет куча специализированных моделей, каждая из которых будет уметь работать с данными (а там, глядишь, и объектами) почти на профессорском уровне.
И, наконец, умение создавать рабочие процессы с моделями (или встраиваться в рабочие процессы там, где модели не будут справляться), кажется, станет главным, простите, метанавыком человека в ближайшие годы – пока не изобретут новую революционную ИИ-технологию. Часть читателей, впрочем, мы все же разочаруем – сверхразума на нынешнем технологическом уровне не предвидится, а значит, ответственность за свою жизнь и карьеру кожаные мешки будут продолжать нести сами. Но такова уж жизнь.
Users are more open to new information on workdays rather than weekends. The Channel name and bio must be no more than 255 characters long Invite up to 200 users from your contacts to join your channel Ng Man-ho, a 27-year-old computer technician, was convicted last month of seven counts of incitement charges after he made use of the 100,000-member Chinese-language channel that he runs and manages to post "seditious messages," which had been shut down since August 2020. Content is editable within two days of publishing
from us
