tgoop.com/ict_moscow_ai/3934
Last Update:
В MTS AI представили три модели из линейки Cotype Nano
Благодаря размеру их можно развернуть почти на любом чипе GPU или устройстве без большой потери качества по сравнению с более крупными моделями.
По словам разработчиков, Cotype Nano основана на архитектуре трансформера Qwen 2.5, содержит 1,5 млрд параметров и совместима с фреймворками vLLM, OpenVINO и Hugging Face. Модель работает локально на персональных устройствах и подходит для разработки чат-ботов и виртуальных помощников.
Другие модели линейки:
• Cotype Nano-4bit — квантизированная версия Cotype Nano, которая быстрее и в три раза меньше оригинальной модели.
• Cotype Nano CPU — модель, оптимизированная под чипы Intel с помощью фреймворка OpenVINO.
🔗 Источник: https://www.tgoop.com/mtsai/922
***
📃 Статья на «Хабре» о том, как создавалась Cotype Nano.
BY База знаний AI
Share with your friend now:
tgoop.com/ict_moscow_ai/3934