AI_PYTHON Telegram 17667
مفهومِ Mixture-of-Recursions (MoR) در حوزه مدل‌های زبانی بزرگ خلاصه‌اش اینه که MoR با استفاده از یک روش هوشمندانه فقط برای «توکن‌های سخت‌تر» از پردازش عمیق‌تر استفاده می‌کنه ... یعنی اون بخش‌هایی از متن که نیاز به دقت بیشتر دارن، چند بار در یک بلاک پردازشی مشترک چرخ داده می‌شن.

🧠 نکات جالب مقاله:

@ai_python

فقط از یک بلاک ترنسفورمر مشترک استفاده می‌شه.

برای توکن‌هایی که «نیاز به فکر بیشتری» دارن، اون بلاک چند بار تکرار می‌شه.

@ai_python

نتیجه: مدل با نصف تعداد پارامترها و دو برابر سرعت، کیفیت مشابه یا حتی بهتر می‌ده!

این روش مثل داشتن soft experts برای توکن‌های چالش‌برانگیز عمل می‌کنه. ایده‌ای خلاقانه‌ست که باعث می‌شه محاسبات فقط جایی استفاده بشن که واقعاً لازمن.

لینکم دیگه یهویی آلفاشیو می ذارم به جای آرشیو که برید بحث کنید درباره ش با بقیه :

https://www.alphaxiv.org/abs/2507.10524
Please open Telegram to view this post
VIEW IN TELEGRAM



tgoop.com/ai_python/17667
Create:
Last Update:

مفهومِ Mixture-of-Recursions (MoR) در حوزه مدل‌های زبانی بزرگ خلاصه‌اش اینه که MoR با استفاده از یک روش هوشمندانه فقط برای «توکن‌های سخت‌تر» از پردازش عمیق‌تر استفاده می‌کنه ... یعنی اون بخش‌هایی از متن که نیاز به دقت بیشتر دارن، چند بار در یک بلاک پردازشی مشترک چرخ داده می‌شن.

🧠 نکات جالب مقاله:

@ai_python

فقط از یک بلاک ترنسفورمر مشترک استفاده می‌شه.

برای توکن‌هایی که «نیاز به فکر بیشتری» دارن، اون بلاک چند بار تکرار می‌شه.

@ai_python

نتیجه: مدل با نصف تعداد پارامترها و دو برابر سرعت، کیفیت مشابه یا حتی بهتر می‌ده!

این روش مثل داشتن soft experts برای توکن‌های چالش‌برانگیز عمل می‌کنه. ایده‌ای خلاقانه‌ست که باعث می‌شه محاسبات فقط جایی استفاده بشن که واقعاً لازمن.

لینکم دیگه یهویی آلفاشیو می ذارم به جای آرشیو که برید بحث کنید درباره ش با بقیه :

https://www.alphaxiv.org/abs/2507.10524

BY DLeX: AI Python




Share with your friend now:
tgoop.com/ai_python/17667

View MORE
Open in Telegram


Telegram News

Date: |

The best encrypted messaging apps The SUCK Channel on Telegram, with a message saying some content has been removed by the police. Photo: Telegram screenshot. As of Thursday, the SUCK Channel had 34,146 subscribers, with only one message dated August 28, 2020. It was an announcement stating that police had removed all posts on the channel because its content “contravenes the laws of Hong Kong.” The group’s featured image is of a Pepe frog yelling, often referred to as the “REEEEEEE” meme. Pepe the Frog was created back in 2005 by Matt Furie and has since become an internet symbol for meme culture and “degen” culture. As five out of seven counts were serious, Hui sentenced Ng to six years and six months in jail.
from us


Telegram DLeX: AI Python
FROM American