🤖📖 На самом деле текстовые нейросети не читают и не пишут тексты. Звучит странно, но сейчас всё объясним, а заодно расскажем, почему одна из основных метрик для языковых моделей — это токены.

Как нейросети работают с текстами?
В диалогах с чат-ботами мы пишем текстовые запросы и получаем текстовые ответы. Внутри языковой модели в это время происходит невидимый для пользователя процесс: превращение текста в понятный для машины «язык» — токены.

Что такое токен?
Это минимальная единица текста, которую языковые модели используют для его обработки. Токен может быть словом, частью слова или отдельным символом. Чем сложнее морфология языка, тем большее количество токенов будет в тексте. Самыми сложным для токенизации считаются грузинский, армянский и бирманский языки.

Вот пример токенизации одной фразы на русском и английском — длина в токенах между этими языками отличается примерно в два раза:

На русском:
Прогресс неостановим
🔽
[Пр][ог][ресс][ не][ост][анов][им]
🔽
[23881][1443][56918][1967][2679][47034][2271][198] — 7 токенов

На английском:
Progress is unstoppable
🔽
[Progress][ is][ unstoppable]
🔽
[11356][382][194130] — 3 токена

Из-за разницы в токенизации языковые модели работают на английском быстрее, чем на русском — то есть выдают больше токенов в секунду.

Зачем переводить текст в токены?
Чтобы языковая модель могла его понять. Любая нейросеть — это набор математических операций, поэтому модель преобразует токены в числовые значения и проводит операции уже над ними.

Почему разработчики нейросетей хвастаются количеством токенов?
Когда во время анонса новой нейросети заходит речь о токенах, как правило, имеется в виду размер контекстного окна. Он показывает, как много текста нейросеть может учитывать во время запроса. Существуют модели с размером контекстного окна в миллионы токенов. Они могут обрабатывать целые документы или даже базу знаний компании, чтобы учитывать их при ответе. Чат-ботам большое контекстное окно позволяет учитывать не только последний запрос, но и всю историю диалога.

Ещё один важный параметр любой языковой модели — стоимость токена. Он отражает затраты на обработку текста и обычно измеряется в долларах за миллион токенов. Так можно сравнить эффективность и стоимость использования разных языковых моделей, что важно для бизнеса. Благодаря оптимизации нейросетей стоимость токена постоянно снижается: так, для GPT-4 его удалось уменьшить более чем в 10 раз — c $30 до $2,5 за миллион токенов.

⭐️ Если у вас оформлен Telegram Premium, поддержите наш канал по ссылке

Подписывайтесь 👉 @techno_yandex

🤖 Так выглядел первый робот-пылесос

В 1997 году его выпустила шведская компания Electrolux. В дизайне инженеры вдохновлялись вымершими десятки миллионов лет назад морскими членистоногими трилобитами, которые «пылесосили» морское дно в поисках еды.

Круглая форма робота позволяла ему минимизировать столкновения с препятствиями, и влияние Electrolux Trilobite легко разглядеть практически во всех современных роботах-пылесосах.

Подписывайтесь 👉 @techno_yandex