PyTorch Howsam

👶🤗

هاگینگ‌فیس، یکسری مدل و دیتاست در مقیاس کوچک (Small) داره که اسمشون رو smol گذاشته!

مثلا، مجموعه SmolLM مدل زبانی کوچک با سایزهای 360M 135M و 1.7B پارامتر هست. این مدل‌ها قدرتمندتر از مدل‌های رقیب مثل MobileLLM متا عمل کردن. قبلا درباره MobileLLM اینجا، اینجا و اینجا نوشتم.

مدل‌های SmolLM روی یک مجموعه دیتاست باکیفیت بنام SmolLM-Corpus آموزش داده شدن. این مجموعه دیتاست هم منتشر شده و می‌تونید برای آموزش مدل‌های زبانی کوچک ازش استفاده کنید.

اخیرا، SmolVLM رو منتشر کردن که یک vision Language Model هست. این مدل هم با داشتن 2B پارامتر جز VLM-های کوچک محسوب میشه. توی تصویر بالا هم جایگاه این مدل رو نسبت به سایر مدل‌های کوچک می‌تونید ببینید.

یک نکته جالب هم اینکه، وبلاگ SmolVLM در سایت هاگینگ‌فیس اینطوری شروع شده:

This year has seen a boom in multimodal AI with many large vision language models released.

@pytorch_howsam

www.tgoop.com/pytorch_howsam/598

2.73K viewsDec 1, 2024 at 07:50

👶🤗

هاگینگ‌فیس، یکسری مدل و دیتاست در مقیاس کوچک (Small) داره که اسمشون رو smol گذاشته!

مثلا، مجموعه SmolLM مدل زبانی کوچک با سایزهای 360M 135M و 1.7B پارامتر هست. این مدل‌ها قدرتمندتر از مدل‌های رقیب مثل MobileLLM متا عمل کردن. قبلا درباره MobileLLM اینجا، اینجا و اینجا نوشتم.

مدل‌های SmolLM روی یک مجموعه دیتاست باکیفیت بنام SmolLM-Corpus آموزش داده شدن. این مجموعه دیتاست هم منتشر شده و می‌تونید برای آموزش مدل‌های زبانی کوچک ازش استفاده کنید.

اخیرا، SmolVLM رو منتشر کردن که یک vision Language Model هست. این مدل هم با داشتن 2B پارامتر جز VLM-های کوچک محسوب میشه. توی تصویر بالا هم جایگاه این مدل رو نسبت به سایر مدل‌های کوچک می‌تونید ببینید.

یک نکته جالب هم اینکه، وبلاگ SmolVLM در سایت هاگینگ‌فیس اینطوری شروع شده:

This year has seen a boom in multimodal AI with many large vision language models released.

BY PyTorch Howsam