Forwarded from Machinelearning
⚡️ Glyph: масштабирование контекста через визуально-текстовую компрессию
В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.
Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.
Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.
При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.
При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.
Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.
📄 Подробности: arxiv.org/abs/2510.17800
🧩 Веса: huggingface.co/zai-org/Glyph
👉 Репозиторий: github.com/thu-coai/Glyph
@ai_machinelearning_big_data
#AI #LLM #Multimodal #Research #DeepLearning
В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель.
Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью.
Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста.
При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B.
При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM.
Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой.
📄 Подробности: arxiv.org/abs/2510.17800
🧩 Веса: huggingface.co/zai-org/Glyph
👉 Репозиторий: github.com/thu-coai/Glyph
@ai_machinelearning_big_data
#AI #LLM #Multimodal #Research #DeepLearning
👨💻1
Исследователи проверили, могут ли языковые модели быть любопытными - и оказалось, что да
Новое исследование показало, что любопытство повышает качество рассуждений у LLM, почти так же, как у людей.
В эксперименте с головоломками модели «подглядывали» в ответы в 70–80 % случаев, тогда как люди делали это лишь в 37,8 %. Учёные оценивали любопытство с помощью психологической шкалы и поведенческих тестов, измеряя стремление к информации, поиску острых ощущений и социальному интересу.
Результаты показали, что языковые модели проявляют сильное желание узнавать новое, выбирают более безопасные решения при риске и демонстрируют почти человеческий уровень социальной любознательности.
Чтобы проверить, как любопытство влияет на мышление, исследователи заставили модели во время рассуждения задавать себе короткие вопросы - «почему», «что если», «как». Эти само-вопросы помогли избегать поспешных выводов, уменьшили эффект зацикливания и помогли находить недостающие подсказки.
На тестах по логике и математике такой подход превзошёл стандартный chain-of-thought, дав прирост точности на 10,2 % в длинноконтекстных задачах.
Вывод: встроенное любопытство делает ИИ не только умнее, но и осмысленнее - модели начинают думать, а не просто отвечать.
Paper: arxiv.org/abs/2510.20635
Новое исследование показало, что любопытство повышает качество рассуждений у LLM, почти так же, как у людей.
В эксперименте с головоломками модели «подглядывали» в ответы в 70–80 % случаев, тогда как люди делали это лишь в 37,8 %. Учёные оценивали любопытство с помощью психологической шкалы и поведенческих тестов, измеряя стремление к информации, поиску острых ощущений и социальному интересу.
Результаты показали, что языковые модели проявляют сильное желание узнавать новое, выбирают более безопасные решения при риске и демонстрируют почти человеческий уровень социальной любознательности.
Чтобы проверить, как любопытство влияет на мышление, исследователи заставили модели во время рассуждения задавать себе короткие вопросы - «почему», «что если», «как». Эти само-вопросы помогли избегать поспешных выводов, уменьшили эффект зацикливания и помогли находить недостающие подсказки.
На тестах по логике и математике такой подход превзошёл стандартный chain-of-thought, дав прирост точности на 10,2 % в длинноконтекстных задачах.
Вывод: встроенное любопытство делает ИИ не только умнее, но и осмысленнее - модели начинают думать, а не просто отвечать.
Paper: arxiv.org/abs/2510.20635
❤3🔥2👍1
🧠 Малые языковые модели догоняют большие, почти без потерь в качестве
Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.
📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.
Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.
📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.
💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.
📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443
Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.
📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.
Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.
📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.
💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.
📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443
❤5🔥4
Forwarded from AI VK Hub
Рассказываем, что из себя представляет shoppable-разметка, и как инженеры AI VK её внедряют. Ссылка на подробный материал — тут.
#aivk #шопсы #shoppable
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🤮3💩2🔥1😁1
Forwarded from Machinelearning
🔥 Hugging Face снова выкатили полезные материалы
Вышла бесплатная плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный playbook для тех, кто хочет понимать, как утсрены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
Вышла бесплатная плейбук о том, как изнутри строят SOTA-модели.
Без общих слов - только реальные решения и нюансы, которые обычно скрыты внутри исследовательских команд.
Это полноценный playbook для тех, кто хочет понимать, как утсрены современные LLM.
Что внутри:
• Логика построения модели: зачем → что → как
• Как разработчики берут модель и по частям включают/выключают компоненты (или меняют их)
• Архитектура: ключевые выборы и trade-offs
• Искусство подбора и очистки данных
• Как проходит обучение моделей
• Пост-тренинг и RLHF в 2025
• Инфраструктура больших моделей
По первым страницам - уровень деталей как в Ultra-scale playbook.
Ссылка: https://huggingface.co/spaces/HuggingFaceTB/smol-training-playbook#designing-the-model-architecture
@ai_machinelearning_big_data
#AI #LLM #MachineLearning #HuggingFace
❤3🔥3🥰1
⚙️ ByteDance бросает вызов трендам AI-железа
Новый ресёрч «INT vs FP» показывает: в тонкой квантовке низкой разрядности формат MXINT8 превосходит MXFP8 - и по точности, и по эффективности.
Ключевая мысль
AI-ускорители будущего могут сместиться от плавающей запятой к integer-форматам - не только ради скорости, но и ради энергоэффективности и стабильности вычислений.
Почему это важно
- FP8 сейчас в центре внимания индустрии
- Но тонкая INT-квантовка даёт лучший баланс качества, мощности и эффективности
- Это ставит под вопрос, стоит ли робко идти в FP8-будущее, когда INT-форматы могут быть эффективнее
Если такие результаты подтвердятся на индустриальных масштабах - нас ждёт переосмысление форматов вычислений для AI-железа.
📝 Paper: huggingface.co/papers/2510.25602
Новый ресёрч «INT vs FP» показывает: в тонкой квантовке низкой разрядности формат MXINT8 превосходит MXFP8 - и по точности, и по эффективности.
Ключевая мысль
AI-ускорители будущего могут сместиться от плавающей запятой к integer-форматам - не только ради скорости, но и ради энергоэффективности и стабильности вычислений.
Почему это важно
- FP8 сейчас в центре внимания индустрии
- Но тонкая INT-квантовка даёт лучший баланс качества, мощности и эффективности
- Это ставит под вопрос, стоит ли робко идти в FP8-будущее, когда INT-форматы могут быть эффективнее
Если такие результаты подтвердятся на индустриальных масштабах - нас ждёт переосмысление форматов вычислений для AI-железа.
📝 Paper: huggingface.co/papers/2510.25602
👍5❤3🆒1