🔥 خبر داغ 🔥

حتما Andrej Karpathy رو میشناسید! همونی که هد هوش مصنوعی تسلا بود. یک ویدئوی آموزشی توی یوتوب گذاشته و در 5 روز 70 هزار بازدید داشته!

موضوع ویدئو هم آموزشی هست. ساخت میکروگراد! میکروگراد یک کتابخونه کوچیک هست که شامل شبکه عصبی و پروسه پس انتشارش میشه. میکروگراد رو قبلا نوشته بود، اما الان ویدئوی آموزشیش رو تهیه کرده...

هدفش از تهیه این ویدئوی آموزشی، آشنایی افراد با مطالب پایه در شبکه عصبی مثل ساخت یک شبکه عصبی، آموزش شبکه، تسلط بر پس انتشار خطا و البته اندکی آشنایی با بک‌اند فریمورک‌های دیپ لرنینگ مثل پایتورچ هست.

https://www.youtube.com/watch?v=VMj-3S1tku0&t=2563s

@pytorch_howsam

سلام دوستان

اگه پایتورچ کار کرده باشید، میدونید که برای تعریف یک لایه فولی‌کانکتد از دستور nn.Linear استفاده میشه. این دستور دو تا ورودی مهم داره:
nn.Linear(in_features, out_features)
این دو تا ورودی چیه؟ in_features به تعداد ورودی‌های این لایه اشاره داره. مثلا توی شکل بالا، لایه فولی کانکتد 9 تا ورودی داره. out_features هم به تعداد نورونهای (یا تعداد خروجی‌های) این لایه اشاره داره. توی شکل بالا 4 هست. یعنی شکل بالا به صورت زیر نوشته میشه:
nn.Linear(9, 4)

مدتی هست که پایتورچ یه دستور آلترناتیو معرفی کرده. دستور nn.LazyLinear که برای تنبلاست! 😁 همون لایه فولی کانکتده ولی دیگه به تعیین تعداد ورودی‌ها (یا in_features) نیازی نداره. یعنی همون لایه بالا به شکل زیر تعریف میشه:
nn.LazyLinear(4)

@howsam_org

سلام

تو پست ریپلای‌شده گفتیم که آقای Andrej Karpathy اومدن میکروگراد رو ساختن. میکروگراد هم یک لایبرری دیپ لرنینگی کوچیک 150 خطی هست. فقط هم mlp داره.

دوست داری بدونی شبکه MLP چیه و چطوری یک شبکه MLP توی پایتورچ از صفر پیاده‌سازی شده؟ مثلا چطوری بک‌وارد نوشتن؟ یعنی همین کاری که آقای Andrej Karpathy انجام دادن.

ما دوست داریم یک مینی دوره با الگوگیری از کار آقای Andrej Karpathy بسازیم! یعنی mlp رو بگیم و از صفر بدون هیچ لایبرری پیاده‌سازی کنیم و یک مینی لایبرری شبیه میکروگراد بسازیم.

اگه دوست داری 👍
اگه دوست نداری 👎

@pytorch_howsam

یک ریپوی فووووووق العاااااده برای NLP 🔥

از یه امبدینگ ساده شروع کرده، بعد رفته سراغ RNN، CNN و آخرشم به اتنشن و ترنسفورمر رسیده.

کدها بسیار منظم و تمیز نوشته شده. کدهاش هم کمه و شلوغش نکرده. اگه دنبال مینی پروژه تو NLP هستی، اینو از دست نده. بشین یکی یکی رو کد بزن و بررسی کن.

https://github.com/graykode/nlp-tutorial

راستی، دمتون گرم که تو پست بالایی مشارکت کردید. ایشالا این آموزش رو آماده میکنیم و رایگان میدیم به دوستان ❤️
#nlp
@pytorch_howsam

سلام دوستان 🖤

میدونید knowledge distillation چیه؟ یک ساختار شامل دو شبکه معلم و دانش آموز هست که شبکه معلم به دانش آموز کمک میکنه که بیشتر یاد بگیره...

موضوع جذابیه و هرساله یه عالمه مقاله روی این موضوع ارائه میشه. لینک زیر لیستی از مقالات رو تا سال 2022 جمع‌آوری کرده:
https://github.com/lhyfst/knowledge-distillation-papers

این هم یک survey خوب:
https://arxiv.org/abs/2004.05937

@pytorch_howsam

اگه بخوایید یه شبکه MLP چند لایه توی پایتورچ بسازید، چیکار میکنید؟
احتمالا با دستور nn.Linear و nn.Sequential میایید یک شبکه میسازید. انصافا ساده هم هست.
model = nn.Sequential(
nn.Linear(10, 20),
nn.LayerNorm(20),
nn.ReLU(),
nn.Linear(20, 30),
nn.LayerNorm(30),
nn.ReLU(),
nn.Linear(30, 5)
)

اما یک دستوری توی پایتورچ هست که باهاش میتونید MLP بسازید. دستور زیر به شما امکان ساخت MLP با هر تعداد لایه دلخواه رو میده. تازه میتونید لایه نرمالیزه، فعالساز و دراپ اوت رو هم تعیین کنید. نمونه مثال زیر رو ببینید:
torchvision.ops.MLP(10, [20, 30, 5], nn.LayerNorm(), nn.ReLU())

برای اطلاعات بیشتر، لینک زیر رو مطالعه کنید:
https://pytorch.org/vision/stable/feature_extraction.html

@pytorch_howsam

🔥دوره یادگیری ماشین 2022 هوسم🔥


⌛️شروع دوره: 10 آذر 1401

🎁 30 درصد تخفیف، برای 30 نفر
🎁 تخفیف مازاد برای شرکت‌کنندگان دوره یادگیری ماشین قبلی هوسم

🟡 دوره تنها به‌صورت آفلاین برگزار می‌شود. هر هفته 5 ساعت آموزش

👤 مدرس دوره:
سیدسجاد اشرفی

اطلاعات بیشتر و ثبت‌نام: کلیک کنید

راه‌های برقراری ارتباط با ما:
👤 @howsam_support
📞 09025469248
✉️ [email protected]
🌐 www.howsam.org

@howsam_org

🔹 آیین‌نامه حمایت از فریلنسرها؛ از اینترنت پرسرعت تا بیمه تأمین اجتماعی برای اعتبارسنجی‌شده‌ها


🔹 آیین‌نامه حمایت از فریلنسرهای حوزه اقتصاد دیجیتال تدوین و منتشر شد. طبق این آیین‌نامه فریلنسرهای اعتبارسنجی‌شده توسط سازمان نظام صنفی رایانه‌ای کشور، می‌توانند از اینترنت پایدار و پرسرعت، تسهیلات و بیمه تأمین اجتماعی برخوردار شوند.

🔹 آیین‌نامه حمایت از آزادکاران فعال در حوزه اقتصاد دیجیتال کشور به تصویب کارگروه ویژه اقتصاد دیجیتال رسید و به موجب آن وزارتخانه‌ها و سازمان‌های مختلفی موظف به اقداماتی در راستای حمایت از فریلنسرهای این حوزه شدند.

🔹 این آیین‌نامه که در ۱۰ ماده تدوین شده و به تصویب وزاری حاضر در کارگروه ویژه اقتصاد دیجیتال رسیده است، الزاماتی برای ایجاد پایگاهی جهت ثبت اطلاعات فریلنسرها، ارائه اینترنت پرسرعت و پایدار و اعطای بیمه تأمین اجتماعی به آزادکاران اعتبارسنجی‌شده را تعیین کرده و نهادهای مختلفی را موظف به اجرای این موارد کرده است.

🔹 فریلنسر شخصیتی حقیقی است که در استخدام شرکت یا مجموعه خاصی نیست و به شکل پروژه‌ای و پاره‌وقت و به صورت حق‌الزحمه‌ای در داخل کشور برای کارفرماهای مختلف در داخل یا خارج از کشور در زمینه توسعه فناوری اطلاعات و ارتباطات و توسعه فنی و راهبری کسب‌وکارهای دیجیتال کار می‌کند.

🔹 در ماده دوم این آیین‌نامه به منظور ایجاد بستر حمایتی و ارتقای مهارت فعالان حوزه آزادکاری سازمان نظام صنفی رایانه‌ای کشور موظف شده است که با همکاری وزارت ارتباطات، معاونت علمی، فناوری و اقتصاد دانش‌بنیان رئیس‌جمهور و وزارت تعاون، کار و رفاه اجتماعی تا سه ماه آینده پایگاه ثبت اطلاعات آزادکاران را ایجاد کند. این سازمان همچنین مجری اعتبارسنجی افراد این پایگاه نیز هست و مسئله اعتبارسنجی را باید طبق دستورالعمل موضوع تبصره (۱) این ماده به انجام برساند.

🔹 تبصره (۱) این ماده به این موضوع پرداخته است که دستورالعمل نظارت بر پایگاه و سکوهای نرم‌افزاری و اعتبارسنجی افراد عضو پایگاه باید از سوی وزارت ارتباطات و با همکاری سازمان نصر کشور و وزارتخانه‌های تعاون، اطلاعات، ارشاد، معاونت علمی تهیه و توسط وزیرارتباطات ابلاغ شود. در تبصره دوم این ماده نیز ذکر شده است که «کلیه سکوهای ارائه خدمات آزادکاری می‌توانند از خدمات اعتبار سنجی وحمایتی پایگاه برخوردار شده و در چهارچوب دستورالعمل تبادل اطلاعات نمایند.»

🔹 نکته مهم این طرح وظیفه‌ای است که برای وزارت ارتباطات و فناوری اطلاعات تعیین شده و ماده۸ این آیین‌نامه این وزارتخانه را موظف به فراهم کردن زیرساخت‌های دسترسی به اینترنت پرسرعت و پایدار با سطح دسترسی مناسب افراد اعتبارسنجی‌شده کرده است که به موجب آن فریلسنرهای خاصی که توسط پایگاه اعتبارسنجی شده باشند می‌توانند از اینترنتی برخوردار باشند که وضعیتی بهتر از اینترنت اکثریت اعضای جامعه خواهد داشت. در این ماده چنین ذکر شده است:

🔹 موظف است زیرساخت‌های دسترسی به اینترنت پرسرعت و پایدار با سطح دسترسی مناسب افراد اعتبارسنجی شده در پایگاه را فراهم کند.

🔹 این موضوع به همان نگرانی همیشگی درباره ایجاد اینترنت طبقاتی در کشور دامن می‌زند که پیش از این نیز زمزمه‌های آن در برخی اظهارات و طرح‌های مربوط به حوزه فضای مجازی به گوش می‌رسید و حاکی از این امر بود که فیلترینگ و محدودیت‌های اینترنت فقط برای افراد خاص برداشته می‌شود.


اطلاعات کامل را در زومیت بخوانید

🚀 @theZoomit

با سطح دسترسی مناسب! 🙃

سلام بر پایتورچی‌های عزیز 🖤
پایتورچ 2.0 معرفی شده!!

خبری بس مهم که دو روز اخیر خیلی مورد توجه بوده. از مهم‌ترین دستاوردهای پایتورچ 2.0 سرعت هست. به تصویر پیوستی نگاه کنید؛ سه دسته مدل رو روی دو نسخه پایتورچ 1.0 و 2.0 باهم مقایسه کردن و نتیجه جالب توجه هست! بین 38 تا 76% افزایش سرعت در پایتورچ 2.0 نسبت به پایتورچ 1.0!! 🤯

همه این افزایش سرعت، تنها با تغییراتی جزئی در کد حاصل میشه. دستوری بنام compile معرفی کردن که کافیه مدل رو به این دستور بدید و تمام...

خب فعلا نسخه رسمی پایتورچ 2.0 نیومده و باید تا مارچ 2023 منتظر بمونیم...

@pytorch_howsam

کتاب حاضر ، نوشته دکتر کوین مورفی کتابی کامل و جامع در حوزه یادگیری ماشینی به شمار می رود که به خوبی تئوری های کلاسیک و پیشرفت های اخیر حوزه یادگیری ماشینی و یادگیری عمیق را تا سال ۲۰۲۲ پوشش داده است. جلد دوم کتاب نیز در سال ۲۰۲۳ منتشر خواهد شد که مباحث پیشرفته تر را در برخواهد گرفت. برای علاقمندان در سطح research level و کسانی که علاقه دارند مطالب حوزه یادگیری ماشین را به صورت عمیق و با جزئیات دقیق بیاموزند، مطالعه این کتاب ارزشمند را پیشنهاد می کنیم.

سلام
چطورید؟ امیدوارم خوب باشید.

میخوام یک کتاب بهتون معرفی کنم. هنوز نسخه نهایی کتاب منتشر نشده ولی درفت در دسترس هست که کیفیت خوبی هم داره.

کتاب درمورد دیپ لرنینگ هست. از جهات مختلفی برای من کتاب خاصی محسوب میشه. پر از تصویرسازی هست که هم فوق العاده هست و هم اینکه تا این اندازه رو در کمتر کتابی دیدم. سعی کرده مقدمات رو هم بگه. مثلا در فصل تابع اتلاف، همون ابتدا مطالب خوبی درباره Maximum Likelihood میگه و بعد کم کم میره سر اصل مطلب.

نگاهی بهش بندازید، شاید براتون مفید باشه. خصوصا دوستانی که دوره دیپ لرنینگ 2022 هوسم رو دیدن.

https://udlbook.github.io/udlbook/

@pytorch_howsam

میدونید LASSO Regression چی هست؟ همونطور که از اسمش مشخصه، یک مدل رگرسیونی هست. اما نکته مهم در بخش LASSO هست. این یعنی، ما با یک مدل رگرسیون همراه با رگیولارایزشن مواجهیم.

حالا رگولاریزه از چه نوعی؟ از نوع نُرم 1. توی سایکیت برای این مدل، یک دستور بنام Lasso داریم.

خب، حالا یکم در مورد خواص LASSO توضیح بدم؛ LASSO مخفف عبارت زیر هست:
Least Absolute Shrinkage and Selection Operator

عبارت بالا دو کلمه مهم داره. اول، کلمه Shrinkage که اشاره به کوچک شدن وزن‌ها با رگولاریزه داره. با رگولاریزه نُرم 1، وزن‌ها کوچکتر میشن، یا میشه گفت جلوی بزرگ شدن وزن‌ها رو میگیره. یکی از نشونه‌های مهم اورفیت، بزرگ شدن وزنهای مدل هست.

کلمه دوم، Selection هست که به خاصیت صفر کردن وزن‌ها اشاره داره. نُرم 1 نسبت به نُرم 2 بی‌رحم‌تر هست. نه تنها وزنها رو کوچک نگه میداره، بلکه بعضی‌هاشون رو صفر میکنه. این یعنی خاصیت انتخاب ویژگی یا Selection داره.

تصویر پیوستی، مقایسه وزن‌های یک مدل درجه 10 در سه حالت {اورفیت، نُرم 1 و نُرم 2} هست.

برگی از دوره یادگیری ماشین‌مون
چطور بود؟

@pytorch_howsam

درسته که فریمورکهایی مثل سایکیت، پایتورچ و تنسورفلو کارمون رو خیلی ساده کردن. اما همیشه موقع کدنویسی، به یکسری توابع جانبی و کمکی نیاز داریم که توی این فریمورکها پیدا نمیشن. مثلا میخوایم ناحیه تصمیم گیری (Decision Region) رو در تسک دسته بندی پلات کنیم.

در چنین حالتی، یا باید برای پیدا کردن کد آماده و معتبر وقت بذاریم، یا باید خودمون از ابتدا کدش رو بنویسیم، یا اینکه از چت جی پی تی بخوایم! 😁 ولی خب یک لایبرری تروتمیز که این توابع جانبی رو داشته باشه، خیلی کمکمون میکنه.

لایبرری mlxtend، اومده که به شما کمک کنه و توابع کمکی زیادی داره. مثلا با دستور plot_decision_regions میتونید به راحتی ناحیه تصمیم گیری شبیه تصویر بالا رسم کنید. یا با دستور bias_variance_decomp میتونید بایاس/واریانس مدل رو حساب کنید.

لینک لایببری mlxtend:
http://rasbt.github.io/mlxtend/

@pytorch_howsam

مدلهای pre-train در کگل!

کگل یک بخش جدیدی بنام Models اضافه کرده که شامل مدلهای pre-train حوزه یادگیری عمیق هست.
https://www.kaggle.com/models

تنوع خوبی داره؛ شامل مدلهای دسته بندی، تصویری، متن، صوت و غیره میشه. احتمالا کم کم این بخش هم بزرگتر میشه. کگل چند روز پیش اعلام کرد که کلکسیون دیتاستهاش به 200 هزار دیتاست رسیده!

@pytorch_howsam

یه روز که بزرگ شدم، دلار 1000 تومن شد، تحریم هم نبودیم، اینو میخرم! 🥲
شقایق وای شقایق، گل همیشه عاشق 🚛
https://store.arduino.cc/products/nicla-vision

سلام دوستان،
طی 7 سال فعالیت در هوسم، همواره تلاش کردیم آموزش‌های رایگان/غیررایگان و بروزی از حوزه هوش مصنوعی آماده کنیم.

آموزش‌های رایگان زیادی در وبلاگ منتشر کردیم. همچنین، آموزش‌های ویدئویی زیادی تولید کردیم که مهم‌ترین و جدیدترین‌ها اینهاست:
پایتون برای هوش مصنوعی (30 ساعت، هنوز دوره تموم نشده)
یادگیری ماشین 2022 (50 ساعت، هنوز دوره تموم نشده)
یادگیری عمیق 2022 (81 ساعت)
بینایی کامپیوتر حرفه‌ای (75 ساعت)

در دوره‌هامون وزن یکسانی برای تئوری و کدنویسی قائل هستیم. معتقدیم، هوش مصنوعی صرفا ()model.fit نیست و باید اصولی مطالب رو یاد گرفت.

خوشبختانه، هوسم مورد لطف و اعتماد مخاطبین عزیز بوده و با فیدبک‌ها، هوسم رو به سمت بهتر شدن سوق دادن. تلاشمون رو می‌کنیم در سال جدید بهتر بشیم.

برای دوره‌های هوسم تخفیف 50% تا پایان اسفند درنظر گرفتیم. اگر دوست داشتید به دوره‌های ما نگاهی بندازید. برای دوره‌ها دموهای متعددی گذاشتیم که پیش از تهیه، از کیفیت دوره‌ها مطمئن بشید.

برای راهنمایی، می‌تونید با پشتیبانی آنلاین در سایت یا پشتیبانی در تلگرام @howsam_support صحبت کنید.

www.howsam.org

سلام دوستان،
پایتورچ 2.0 رسما دیگه دردسترس هست و از این به بعد میتونید نسخه رسمی پایتورچ 2.0 رو نصب کنید. قبلا اینجا (لینک)، توضیحی در مورد پایتورچ 2.0 داده بودیم.
قرار بود دوره پایتورچ رو آپدیت کنیم. دیگه آموزش رو باید با نسخه 2.0 آماده کنیم.

یک خبر مهم اینکه MIT Deep Learning 2023 اومده. توی تصویر بالا تاپیک‌ها رو می‌تونید ببینید.

ویژگی مهم این مجموعه این هست که سعی میکنه خیلی ساده مباحث رو ارائه بده. پیشنهاد می‌کنم مباحث جدید مثل text to image generation رو مطالعه کنید.

دوستانی که دوره یادگیری عمیق 2022 هوسم رو تموم کردن، میتونن با این دوره دانششون رو بیشتر کنن.

http://introtodeeplearning.com/

@pytorch_howsam