StringConcat - разработка без боли и сожалений

🧠Как работают ИИ-модели? Исследование, которое проливает свет на магию

Когда спрашиваешь людей, «почему Т9, которая вчера дописывала слово “приветики”, сегодня пишет код как уверенный джун?», чаще всего в ответ слышишь:
«Нууу, там обучееееение, весаааааа, тоси-боси… в общем, сам не знаю».

Но! Недавно попалось исследование, в котором авторы реально попытались докопаться до сути — что именно происходит внутри LLM, когда они делают то, что делают.

Вот парочка занятных моментов:

🔹 Модели способны обобщать и строить универсальные функции, например, для определения потенциально вредоносных запросов.
🔹 Они умеют выстраивать цепочки рассуждений — и не просто по шаблону, а с адаптацией к контексту.

Статья большая, но даже поверхностное знакомство — уже пища для мозга. Рекомендую, если вам тоже не даёт покоя вопрос: “Как вообще это возможно?”

Transformer Circuits

On the Biology of a Large Language Model

We investigate the internal mechanisms used by Claude 3.5 Haiku — Anthropic's lightweight production model — in a variety of contexts, using our circuit tracing methodology.

🔥20❤1🤷‍♂1👍1

www.tgoop.com/stringconcat/337

3.19K viewsЕвгений, Jul 17 at 08:54

🧠Как работают ИИ-модели? Исследование, которое проливает свет на магию

Когда спрашиваешь людей, «почему Т9, которая вчера дописывала слово “приветики”, сегодня пишет код как уверенный джун?», чаще всего в ответ слышишь:
«Нууу, там обучееееение, весаааааа, тоси-боси… в общем, сам не знаю».

Но! Недавно попалось исследование, в котором авторы реально попытались докопаться до сути — что именно происходит внутри LLM, когда они делают то, что делают.

Вот парочка занятных моментов:

🔹 Модели способны обобщать и строить универсальные функции, например, для определения потенциально вредоносных запросов.
🔹 Они умеют выстраивать цепочки рассуждений — и не просто по шаблону, а с адаптацией к контексту.

Статья большая, но даже поверхностное знакомство — уже пища для мозга. Рекомендую, если вам тоже не даёт покоя вопрос: “Как вообще это возможно?”

BY StringConcat - разработка без боли и сожалений