دیتاهاب

این مدت ذهنم درگیر چندتا چیز غیرمرتبطه

یکی این مدل زبانی جدید از برادران چینی

دیدین بعضی چیزها اینقدر خوبن که بهش شک می‌کنی
من مشکوکم یک کمی
آخه چطور هم مصرف GPU حدود ۸۰ درصد کم کنی، هزینه کمتر بشه، پارامترهای مدل زیر ۴۰ میلیارد باشه و اینقدر نتیجه خوب بده بدون SFT
واسه من حس داروی لاغری توی یک هفته داره
یا حس یادگیری هوش مصنوعی در یک دوره فشرده ۶ ماه
در نگاه اول نشدنی هست

به هر حال باید صبر کرد دید واکنش غول های تک آمریکا چی هست
بازار بورس که رسما فروریخت و سهم انویدیا افت شدید کرد

ولی اگر اثبات بشه، که با چنین هزینه کمتری میشه مدل زبانی قابل اتکا ساخت
نویدبخش دورانی میشه که حتی شرکت‌های متوسط رده پایین هم از نعمت LLM بهره مند بشن
و این باز نویدبخش این هست که زیر ۵ سال، شرایط جوری میشه که هر کدوم از من و شما چندتا LLM تیون شده توسط خودمون خواهیم داشت.

مثل اینکه الان هممون کلی مدل مبتی بر CNN و LSTM روی لپ تاپ تیون کرده و داریم ازشون استفاده می‌کنیم

یعنی واسه داشتن مدل زبانی کارآمد دیگه نیاز به ۱۰ میلیون دلار نخواهد بود
شاید الان بعضی بگن زیادی خوشبینم
ولی احتمال چنین چیزی الان واقعا دور از دسترس نیست

حتی اگر چنین چیزی طی ۵ سال رخ نده
ولی روزنه امید توی جاهای دیگه وجود داره
و توصیه می‌کنم مبحث جدید این روزها یعنی SLM یا مدل زبانی کوچک مطالعه کنین


پ.ن: حتما ازش از چین سوال کنید، خودش میزنه به خنگی. مثلا از نیرو ارزون کار و سواستفاده از کارگرانشون بپرسید یا اقتدارگرایی حکومتشون

👍12

www.tgoop.com/data_hub_ir/860

1.69K viewsedited  Jan 27 at 20:30

این مدت ذهنم درگیر چندتا چیز غیرمرتبطه

یکی این مدل زبانی جدید از برادران چینی

دیدین بعضی چیزها اینقدر خوبن که بهش شک می‌کنی
من مشکوکم یک کمی
آخه چطور هم مصرف GPU حدود ۸۰ درصد کم کنی، هزینه کمتر بشه، پارامترهای مدل زیر ۴۰ میلیارد باشه و اینقدر نتیجه خوب بده بدون SFT
واسه من حس داروی لاغری توی یک هفته داره
یا حس یادگیری هوش مصنوعی در یک دوره فشرده ۶ ماه
در نگاه اول نشدنی هست

به هر حال باید صبر کرد دید واکنش غول های تک آمریکا چی هست
بازار بورس که رسما فروریخت و سهم انویدیا افت شدید کرد

ولی اگر اثبات بشه، که با چنین هزینه کمتری میشه مدل زبانی قابل اتکا ساخت
نویدبخش دورانی میشه که حتی شرکت‌های متوسط رده پایین هم از نعمت LLM بهره مند بشن
و این باز نویدبخش این هست که زیر ۵ سال، شرایط جوری میشه که هر کدوم از من و شما چندتا LLM تیون شده توسط خودمون خواهیم داشت.

مثل اینکه الان هممون کلی مدل مبتی بر CNN و LSTM روی لپ تاپ تیون کرده و داریم ازشون استفاده می‌کنیم

یعنی واسه داشتن مدل زبانی کارآمد دیگه نیاز به ۱۰ میلیون دلار نخواهد بود
شاید الان بعضی بگن زیادی خوشبینم
ولی احتمال چنین چیزی الان واقعا دور از دسترس نیست

حتی اگر چنین چیزی طی ۵ سال رخ نده
ولی روزنه امید توی جاهای دیگه وجود داره
و توصیه می‌کنم مبحث جدید این روزها یعنی SLM یا مدل زبانی کوچک مطالعه کنین


پ.ن: حتما ازش از چین سوال کنید، خودش میزنه به خنگی. مثلا از نیرو ارزون کار و سواستفاده از کارگرانشون بپرسید یا اقتدارگرایی حکومتشون

BY دیتاهاب