تشویق مدل به فکر کردن بیشتر، تنها با اضافه کردن Wait به دستور!

محققان دانشگاه استنفورد یک روش جدید برای بهینه‌سازی مدل‌های زبانی معرفی کردن. این روش که s1 نام داره، با استفاده از فقط ۱۰۰۰ نمونه آموزشی و یک تکنیک ساده به نام budget forcing تونسته عملکردی مشابه مدل‌های بزرگ OpenAI مثل o1 به دست بیاره. نکته مهم اینجاست که اکثر مدل‌های موفق در این حوزه مثل DeepSeek r1 از داده‌های آموزشی خیلی بیشتری (حدود ۸۰۰ برابر) استفاده می‌کنن.

محققان استنفورد برای انتخاب این ۱۰۰۰ نمونه از سه معیار اصلی استفاده کردن: کیفیت (داده‌های با فرمت مناسب و بدون خطا)، سختی (مسائلی که مدل‌های پایه نمی‌تونن حل کنن) و تنوع (پوشش حوزه‌های مختلف از ریاضیات تا فیزیک و علوم کامپیوتر). این انتخاب هوشمندانه باعث شده که با وجود حجم کم داده‌های آموزشی، مدل بتونه عملکرد خوبی داشته باشه.

تکنیک budget forcing که در این تحقیق معرفی شده، یک روش ساده اما موثر برای کنترل زمان فکر کردن مدل هست. این تکنیک به دو روش عمل می‌کنه: اول اینکه اگر مدل بیش از حد مشخصی فکر کنه، به طور خودکار پردازش متوقف می‌شه و مدل مجبور به ارائه پاسخ می‌شه. دوم اینکه اگر بخوایم مدل بیشتر فکر کنه، با اضافه کردن کلمه "Wait" به زنجیره استدلال، مدل تشویق می‌شه تا بیشتر روی مسئله تمرکز کنه.

در آزمون‌های مختلف، مدل s1-32B عملکرد قابل توجهی داشته. برای مثال در آزمون‌های ریاضی AIME24 به دقت ۵۶.۷ درصد و در MATH500 به دقت ۹۳ درصد رسیده. همچنین در سوالات علمی سطح دکترا (GPQA Diamond) به دقت ۵۹.۶ درصد دست پیدا کرده که نشون می‌ده این مدل می‌تونه با مدل‌های بزرگ‌تر رقابت کنه.

نکته جالب دیگه اینه که کل فرآیند آموزش این مدل فقط ۲۶ دقیقه روی ۱۶ کارت H100 طول کشیده که در مقایسه با مدل‌های مشابه که نیاز به روزها و هفته‌ها آموزش دارن، بسیار کمتره. این نشون می‌ده که با روش‌های هوشمندانه می‌شه به جای افزایش حجم داده و زمان محاسبات، به نتایج مشابه یا حتی بهتری رسید.

محققان همچنین نشون دادن که با افزایش زمان فکر کردن مدل در زمان استفاده (test-time)، دقت پاسخ‌ها بهبود پیدا می‌کنه. برای مثال در AIME24، وقتی به مدل اجازه داده شد تا ۶ بار بیشتر فکر کنه، دقت از ۵۰ درصد به ۵۷ درصد افزایش پیدا کرد. این نشون می‌ده که حتی بعد از آموزش هم می‌شه با تنظیم پارامترهای اجرا، عملکرد مدل رو بهبود داد.

نسخه کامل این مقاله رو میتونید از اینجا مشاهده کنید.

@aipulse24

شرکت فرانسوی Mistral اپ موبایلش به نام Le Chat رو عرضه کرده که امکان چت با مدلهای بزرگ این شرکت، ساخت عکس با هوش مصنوعی Flux و همچنین اجرای کدها و انالیز داده هارو به صورت رایگان ولی محدود مهیا میکنه.

علاوه بر این، این شرکت قابلیتی به نام Flash Answers رو در سایتش اضافه کرده که با فعال کردن اون چت به مدلی سوییچ میکنه که جوابهارو با سرعت بالایی تا 1100 توکن بر ثانیه برای شما میفرسته که از رقبا بسیار سریعتر هست.

اپ جدید این شرکت از اینجا برای اندروید و از اینجا برای iOS قابل دانلود هست.

🔎 the-decoder

📍 @TechTube

گوگل به تازگی از یک ابزار هوش مصنوعی جدید به نام "Career Dreamer" رونمایی کرده که به افراد کمک می‌کنه موقعیت‌های شغلی بیشتری رو کشف کنن. این ابزار هوشمند با استفاده از تجربیات، تحصیلات، مهارت‌ها و علایق شما، الگوهایی رو پیدا می‌کنه و شما رو با فرصت‌های شغلی متناسب آشنا میکنه. با کمک Career Dreamer می‌تونید یک Career Identity بنویسید و اون رو به رزومه‌تون اضافه کنید یا در مصاحبه‌های شغلی ازش استفاده کنید.

این ابزار جدید به شما امکان می‌ده تا با نمایش یک شبکه بصری از موقعیت‌های شغلی مختلف، مشاغل متناسب با پیشینه و علایقتون رو ببینید. همچنین می‌تونید با کمک دستیار هوش مصنوعی Gemini، روی نوشتن کاور لتر و رزومه کار کنید و ایده‌های شغلی بیشتری رو کشف کنید. لازم به ذکره که برخلاف سرویس‌هایی مثل Indeed و LinkedIn، این ابزار شما رو به آگهی‌های شغلی واقعی متصل نمی‌کنه و هدفش فقط کمک به کشف سریع مسیرهای شغلی مختلفه.

در حال حاضر Career Dreamer به صورت آزمایشی فقط در ایالات متحده در دسترسه و هنوز مشخص نیست که آیا گوگل قصد داره این ابزار رو به کشورهای دیگه هم بیاره یا نه.


طبق گزارش مجمع جهانی اقتصاد، افراد به طور میانگین ۱۲ شغل مختلف رو در طول زندگی‌شون تجربه می‌کنن و پیش‌بینی می‌شه که نسل Z حدود ۱۸ شغل در ۶ مسیر شغلی متفاوت داشته باشه. گوگل امیدواره که این ابزار بتونه به همه افراد جویای کار، از دانشجویان گرفته تا تازه‌فارغ‌التحصیلان و افراد نظامی در حال انتقال به بخش غیرنظامی، کمک کنه تا مهارت‌های موجودشون رو بهتر با فرصت‌های شغلی تطبیق بدن.

@aipulse24

آنتروپیک بالاخره از مدل جدیدش رونمایی کرد. کلاد ۳.۷ سانت (Claude 3.7 Sonnet) هوشمندترین مدل این شرکت تا به امروز و اولین مدل هیبریدی استدلالی در دنیا محسوب میشه. این مدل با رویکردی کاملاً متفاوت طراحی شده و می‌تونه مثل مغز انسان، هم پاسخ‌های سریع بده و هم با تفکر عمیق به حل مسائل پیچیده بپردازه.

نکته جالب اینجاست که کلاد ۳.۷ در واقع دو مدل در یک مدله. در حالت استاندارد، یک نسخه ارتقا یافته از کلود ۳.۵ هست و در حالت تفکر بسط‌یافته، با خودارزیابی قبل از پاسخ، عملکرد بهتری در ریاضیات، فیزیک، برنامه‌نویسی و وظایف پیچیده داره. کاربران API هم می‌تونن زمان تفکر مدل رو تا سقف ۱۲۸ هزار توکن تنظیم کنن.

در حوزه برنامه‌نویسی، نتایج تست‌های اولیه نشون میده که کلاد در صدر قرار داره. شرکت‌های معتبری مثل Cursor، Cognition و Vercel تأیید کردن که این مدل در انجام وظایف واقعی برنامه‌نویسی و مدیریت کدهای پیچیده، عملکرد فوق‌العاده‌ای داره.

همزمان با این به‌روزرسانی، ابزار جدید "کلاد کد" هم معرفی شده که یک ایجنت فعال برای توسعه‌دهندگان محسوب میشه. این ابزار می‌تونه کد بخونه، فایل‌ها رو ویرایش کنه، تست بنویسه و اجرا کنه، و حتی کد رو به گیت‌هاب push کنه - و در تمام این مراحل، شما رو در جریان کار قرار میده.

خوشبختانه این مدل روی تمام پلن‌های کلاد - شامل رایگان، حرفه‌ای، تیمی و سازمانی - و همینطور پلتفرم‌های ابری معتبر مثل آمازون Bedrock و Google Cloud Vertex AI در دسترسه. از نظر قیمت‌گذاری هزینه‌ها مثل قبل مونده: ۳ دلار برای هر میلیون توکن ورودی و ۱۵ دلار برای هر میلیون توکن خروجی.

آنتروپیک تأکید کرده که این مدل با دقت زیادی تست شده و استانداردهای امنیتی، ایمنی و قابلیت اطمینان رو رعایت می‌کنه. حتی در تشخیص درخواست‌های مضر و بی‌ضرر هم ۴۵٪ بهتر از نسخه قبلی عمل می‌کنه.

@aipulse24