سلام دوستان
من، سید سجاد اشرفی، مدیر و مدرس آکادمی هوسم هستم. میزان تحصیلات من دکترا هست و به صورت تخصصی در بینایی کامپیوتر تحصیل و کار کردم. در سال 1395 آکادمی هوسم رو با هدف ارائه آموزش و مشاوره تخصصی در زمینه هوش مصنوعی راهاندازی کردم.
ما در آکادمی هوسم، طی هشت سال گذشته، دورههای آموزشی متعددی در حوزه هوش مصنوعی برگزار کردیم. شعار ما این بوده که آموزشهای با کیفیت، اصولی و با اصالت آماده کنیم. برای تهیه دورهها وقت بسیار زیادی گذاشته شده؛ پیشنهاد میکنم به فهرست مطالب و دموهای دورهها نگاه بندازید. شاید برای شما و اهدافتون مناسب باشه.
1️⃣ پایتون برای هوشمصنوعی
🕔 44 ساعت
🌐 لینک دوره
2️⃣ یادگیری ماشین
🕔 127 ساعت
🌐 لینک دوره
3️⃣ یادگیری عمیق
🕔 83 ساعت
🌐 لینک دوره
4️⃣ دیپ کاتالیست (دوره پروژه-محور یادگیری عمیق)
🕔 54 ساعت
🌐 لینک دوره
5️⃣ آموزش OpenCV: از پردازش تا بینایی
🕔 96 ساعت
🌐 لینک دوره
6️⃣ آموزش پایتورچ رایگان
🕔 13 ساعت
🌐 لینک دوره
این کانال پایتورچ هم وابسته به آکادمی هوسم هست؛ همراه با تعدادی از دوستان، مطالب آموزنده و جالب درباره هوش مصنوعی رو به اشتراک میذاریم. این کانال برای من به یک دفترچه یادداشت طلایی تبدیل شده و خیلی دوستش دارم.
با احترام،
اشرفی
من، سید سجاد اشرفی، مدیر و مدرس آکادمی هوسم هستم. میزان تحصیلات من دکترا هست و به صورت تخصصی در بینایی کامپیوتر تحصیل و کار کردم. در سال 1395 آکادمی هوسم رو با هدف ارائه آموزش و مشاوره تخصصی در زمینه هوش مصنوعی راهاندازی کردم.
ما در آکادمی هوسم، طی هشت سال گذشته، دورههای آموزشی متعددی در حوزه هوش مصنوعی برگزار کردیم. شعار ما این بوده که آموزشهای با کیفیت، اصولی و با اصالت آماده کنیم. برای تهیه دورهها وقت بسیار زیادی گذاشته شده؛ پیشنهاد میکنم به فهرست مطالب و دموهای دورهها نگاه بندازید. شاید برای شما و اهدافتون مناسب باشه.
1️⃣ پایتون برای هوشمصنوعی
🕔 44 ساعت
🌐 لینک دوره
2️⃣ یادگیری ماشین
🕔 127 ساعت
🌐 لینک دوره
3️⃣ یادگیری عمیق
🕔 83 ساعت
🌐 لینک دوره
4️⃣ دیپ کاتالیست (دوره پروژه-محور یادگیری عمیق)
🕔 54 ساعت
🌐 لینک دوره
5️⃣ آموزش OpenCV: از پردازش تا بینایی
🕔 96 ساعت
🌐 لینک دوره
6️⃣ آموزش پایتورچ رایگان
🕔 13 ساعت
🌐 لینک دوره
این کانال پایتورچ هم وابسته به آکادمی هوسم هست؛ همراه با تعدادی از دوستان، مطالب آموزنده و جالب درباره هوش مصنوعی رو به اشتراک میذاریم. این کانال برای من به یک دفترچه یادداشت طلایی تبدیل شده و خیلی دوستش دارم.
با احترام،
اشرفی
This media is not supported in your browser
VIEW IN TELEGRAM
این چی میـــــگـــــــه؟!
*منظور از LFC، باشگاه Liverpool هست.
وبلاگ | مقاله | دیتا
کد نداره. گفتن نمیتونیم کدها رو منتشر کنیم.
@pytorch_howsam
We're announcing TacticAI: an AI assistant capable of offering insights to football experts on corner kicks. ⚽️
Developed with LFC*, it can help teams sample alternative player setups to evaluate possible outcomes, and achieves state-of-the-art results. 🧵
*منظور از LFC، باشگاه Liverpool هست.
وبلاگ | مقاله | دیتا
کد نداره. گفتن نمیتونیم کدها رو منتشر کنیم.
@pytorch_howsam
یک تم خوب برای ژوپیترلب (برحسب تجربه):
بعد از نصب، از مسیر زیر تغییر تم انجام میشه:
@pytorch_howsam
pip install theme-darcula
بعد از نصب، از مسیر زیر تغییر تم انجام میشه:
Settings > JupyterLab Theme > Darcula
@pytorch_howsam
Today, we are excited to introduce DBRX, an open, general-purpose LLM created by Databricks.
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
PyTorch Howsam
سلام مهدی از بچههای هوسم این پیام رو در گروه فرستاده بود. اینجا هم فوروارد کردیم... مسئله جدید مسابقات کگل یک مسئله multivariate هستش که ۷ تا تارگت با نام های: Pastry, Z_Scratch, K_Scatch, Stains Dirtiness, Bumps, Other_Faults داره که انواع خرابی های…
اولا، ممنون که ریاکشن نشون میدید. 🙏
دوم هم اینکه، نوتبوک مهدی آماده شده و میتونید بهش نگاه بندازید.
این هم توضیحات مهدی برای این نوتبوک:
https://www.kaggle.com/code/mahdiasghari5731/lgbm-catboost-xgb-eda-accuracy-0-8940
میتونید با upvote کردن نوتبوک بالا، مهدی رو تشویق کنید. 😊
دوم هم اینکه، نوتبوک مهدی آماده شده و میتونید بهش نگاه بندازید.
این هم توضیحات مهدی برای این نوتبوک:
لینک نوت بوکی که برای مسابقه حال حاضر کگل منتشر کردم رو در ادامه این پیام قرار دادم.
از روش های مختلف مثل LGBM و XGBoost , Random Forest و Catboost و همچنین میانگین خروجی احتمالاتی پیش بینی های این روش ها استفاده شده.
توی بخش داده هم میسینگ ولیو ها و اوتلایرها و EDA تک متغیره و دو متغیره و نرمالیزیشن بررسی شده.
بهترین دقت نهایی بدست اومده مربوط به حالتی بود که از خروجی های مدل های مختلف میانگین گرفته شد ( 0.89389 )
https://www.kaggle.com/code/mahdiasghari5731/lgbm-catboost-xgb-eda-accuracy-0-8940
میتونید با upvote کردن نوتبوک بالا، مهدی رو تشویق کنید. 😊
Kaggle
*LGBM | CatBoost | XGB | EDA | Accuracy=0.8940 *
Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources
کتاب درباره LLM با عنوان Build a Large Language Model
نویسنده این کتاب آقای سباستین راشکا (Sebastian Raschka) هست که فرد شناختهشدهای هست. همچنین، این کتاب در Manning منتشر شده. البته، هنوز کامل نشده و فصلهای ابتدایی کتاب منتشر شده.
بهصورت آنلاین و البته با یکسری محدودیتهایی میتونید این کتاب رو مطالعه کنید. ریپوی گیتهاب هم داره که کدها رو اونجا میذاره. یک شکل جالب از این کتاب رو براتون پیوست کردیم.
لینک کتاب | لینک گیتهاب
@pytorch_howsam
نویسنده این کتاب آقای سباستین راشکا (Sebastian Raschka) هست که فرد شناختهشدهای هست. همچنین، این کتاب در Manning منتشر شده. البته، هنوز کامل نشده و فصلهای ابتدایی کتاب منتشر شده.
بهصورت آنلاین و البته با یکسری محدودیتهایی میتونید این کتاب رو مطالعه کنید. ریپوی گیتهاب هم داره که کدها رو اونجا میذاره. یک شکل جالب از این کتاب رو براتون پیوست کردیم.
لینک کتاب | لینک گیتهاب
@pytorch_howsam
Neural-ABC is a neural implicit parametric model with latent spaces of human identity, clothing, shape and pose. It can generate various human identities and different clothes. The clothed human body can deform into different body shapes and poses.
Git : Neural-ABC: Neural Parametric Models for Articulated Body with Clothes
Git : Neural-ABC: Neural Parametric Models for Articulated Body with Clothes
Amazon's Just Walk Out technology relies on hundreds of workers in India watching you shop.
فروشگاه تمام اوتوماتیک آمازون ؟!
- هوش مصنوعی ؟
- پردازش تصویر ؟
- یا باز هم نظارت انسانی !
EU-USA-Today
Washington Times
فروشگاه تمام اوتوماتیک آمازون ؟!
- هوش مصنوعی ؟
- پردازش تصویر ؟
- یا باز هم نظارت انسانی !
EU-USA-Today
Washington Times
از طریق لینک زیر (توی سایت هاگینگفیس) میتونید مقالههای ترند هوش مصنوعی رو ببینید. کسی که مقالهها رو معرفی میکنه، فرد شناختهشدهای در توییتر هست و چند سالی هست که توی توییتر همین کار رو انجام میده.
https://huggingface.co/papers
https://huggingface.co/papers
huggingface.co
Daily Papers - Hugging Face
Your daily dose of AI research from AK
پایتورچ یک کتابخونه جدید به نام torchtune معرفی کرده که مخصوص فاینتیون کردن LLM-هاست.
با این کتابخونه میتونید LLM-ها رو Finetune کنید و روشون آزمایش انجام بدید. آدرس کتابخونه:
https://pytorch.org/torchtune/0.1/
اینجا معرفی مختصری از تورچتیون گفته شده:
https://pytorch.org/torchtune/0.1/overview.html
توی لینک زیر، درمورد Llama3 گفته که شامل بخشهای معرفی مدل، دسترسی به مدل، فایلتیون کردن با تورچتیون، ارزیابی کردن مدل فایلتیونشدن، جنریت متن، جنریت سریعتر با کوانتیزیشن هست:
https://pytorch.org/torchtune/0.1/tutorials/llama3.html
@pytorch_howsam
torchtune is a Native-PyTorch library for LLM fine-tuning.
با این کتابخونه میتونید LLM-ها رو Finetune کنید و روشون آزمایش انجام بدید. آدرس کتابخونه:
https://pytorch.org/torchtune/0.1/
اینجا معرفی مختصری از تورچتیون گفته شده:
https://pytorch.org/torchtune/0.1/overview.html
توی لینک زیر، درمورد Llama3 گفته که شامل بخشهای معرفی مدل، دسترسی به مدل، فایلتیون کردن با تورچتیون، ارزیابی کردن مدل فایلتیونشدن، جنریت متن، جنریت سریعتر با کوانتیزیشن هست:
https://pytorch.org/torchtune/0.1/tutorials/llama3.html
@pytorch_howsam
تصویر اول، بلوک دیاگرام سادهای از فاینتیون کردن مدلهای دیپ رو نشون میده. خب احتمالا این تصویر کاملا برای شما مفهومه. همین قاعده برای حوزه LLM-ها هم صدق میکنه.
بریم سراغ تصویر دوم؛ در یادگیری عمیق، دو مولفه مهم داریم:
* داده
* مدل
بسته به حجم داده و مدل چهار حالت خواهیم داشت که در تصویر این چهار حالت برای فاینتیون کردن LLM-ها نشون داده شده.
چیزی که در تصویر بالا دلبری میکنه، داده کم/زیاد و مدل کوچک هست. مدل TinyLlama حدود 1.1 میلیارد پارامتر داره، اما میتونیم این مدل رو تنها با یک GPU فاینتیون کنیم. به عنوان نمونه، با داده کم (حداکثر 500 هزار توکن)، تنها با 100 دلار میشه این مدل رو فاینتیون کرد.
تصویر سوم هم بسیار جالب هست. بجای استفاده از Full Finetune، با روشهایی مثل LoRA و QLoRA میشه فاینتیون رو با GPU-ی کمتر، زمان کمتر و VRAM کمتر انجام داد. نمودارها مربوط به مدل دو میلیاردی Gemma هست.
این تصاویر، از سایت lightning.ai اومده و یک tutorial برای همین فاینتیون کردن آماده کردن:
https://lightning.ai/docs/overview/finetune-models
بریم سراغ تصویر دوم؛ در یادگیری عمیق، دو مولفه مهم داریم:
* داده
* مدل
بسته به حجم داده و مدل چهار حالت خواهیم داشت که در تصویر این چهار حالت برای فاینتیون کردن LLM-ها نشون داده شده.
چیزی که در تصویر بالا دلبری میکنه، داده کم/زیاد و مدل کوچک هست. مدل TinyLlama حدود 1.1 میلیارد پارامتر داره، اما میتونیم این مدل رو تنها با یک GPU فاینتیون کنیم. به عنوان نمونه، با داده کم (حداکثر 500 هزار توکن)، تنها با 100 دلار میشه این مدل رو فاینتیون کرد.
تصویر سوم هم بسیار جالب هست. بجای استفاده از Full Finetune، با روشهایی مثل LoRA و QLoRA میشه فاینتیون رو با GPU-ی کمتر، زمان کمتر و VRAM کمتر انجام داد. نمودارها مربوط به مدل دو میلیاردی Gemma هست.
این تصاویر، از سایت lightning.ai اومده و یک tutorial برای همین فاینتیون کردن آماده کردن:
https://lightning.ai/docs/overview/finetune-models
This media is not supported in your browser
VIEW IN TELEGRAM
در مقاله زیر، شبکه Kolmogorov-Arnold Networks (KAN) پیشنهاد شده که مولفانش اون رو آلترناتیوی برای MLP میدونن که البته دقیقتر و تفسیرپذیرتر هست.
حالا چیکار کردن؟ ما توی شبکه MLP، اکتیویشن فانکشن رو روی نورون میذاریم (یعنی آخر کار میذاریم). اما، توی این مقاله، اکتیویشن فانکشن روی وزنهای نورون گذاشته میشه و قابلیت یادگیری داره. این مقاله مورد توجه قرار گرفته.
Paper: https://arxiv.org/abs/2404.19756
Github: https://github.com/KindXiaoming/pykan
Documentation: https://kindxiaoming.github.io/pykan/
@pytorch_howsam
حالا چیکار کردن؟ ما توی شبکه MLP، اکتیویشن فانکشن رو روی نورون میذاریم (یعنی آخر کار میذاریم). اما، توی این مقاله، اکتیویشن فانکشن روی وزنهای نورون گذاشته میشه و قابلیت یادگیری داره. این مقاله مورد توجه قرار گرفته.
Paper: https://arxiv.org/abs/2404.19756
Github: https://github.com/KindXiaoming/pykan
Documentation: https://kindxiaoming.github.io/pykan/
@pytorch_howsam
یک Talk نیم ساعته درباره ویژن ترنسفورمرها
طبیعتا، درس نمیده. ولی خیلی خوب به مهمترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقالههایی رو معرفی میکنه! :)
https://www.youtube.com/watch?v=BnM-S50P_so
طبیعتا، درس نمیده. ولی خیلی خوب به مهمترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقالههایی رو معرفی میکنه! :)
https://www.youtube.com/watch?v=BnM-S50P_so
YouTube
Cutting Edge Computer Vision with Transformers by Merve Noyan | #Py4AI Talks
👩💻 Explore the cutting-edge world of Computer Vision with Merve Noyan - ML Advocate Engineer at Hugging Face in her presentation: "Cutting Edge Computer Vision with Transformers."
🔍 Discover how Transformers are revolutionizing the field of Computer Vision…
🔍 Discover how Transformers are revolutionizing the field of Computer Vision…
خانـــمها و آقایــــان،
شبکه xLSTM تنه به تنه LLM-های ترنسفوری میزند!
شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.
اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکههای LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...
بهصورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو میبینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نامهای sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکاتها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوکهای xLSTM به معماری یا شبکه xLSTM میرسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو میبینید.
مقاله
.
شبکه xLSTM تنه به تنه LLM-های ترنسفوری میزند!
شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.
اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکههای LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...
بهصورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو میبینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نامهای sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکاتها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوکهای xLSTM به معماری یا شبکه xLSTM میرسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو میبینید.
مقاله
.
This media is not supported in your browser
VIEW IN TELEGRAM
یک خبر جالب اینکه، Jetbrains (سازنده پایچارم)، IDE-هاش رو به مدل لوکال 100 میلیون پارامتری با Context سایز 1500 توکن مجهز کرده. و این یعنی، کد نوشتن با پایچارم لذتبخشتر از قبل میشه. مدل هم از سختافزار شما برای اجرا استفاده میکنه و نیازی به اینترنت نیست.
حالا چطوری کار میکنه؟ اگه با پایچارم کار کرده باشید، میدونید که auto complete قوی داره و همین که یکی دو تا حرف از دستور رو بنویسیم، سریع دستورات مرتبط رو پیشنهاد میده. حالا اینطوریه که دیگه کلا دستور رو همراه با ورودی و خروجی به شما پیشنهاد میده. به خاطر همین بهش میگن full line code complete!
وبلاگ Jetbrains برای اطلاعات بیشتر:
https://blog.jetbrains.com/blog/2024/04/04/full-line-code-completion-in-jetbrains-ides-all-you-need-to-know/
@pytorch_howsam
حالا چطوری کار میکنه؟ اگه با پایچارم کار کرده باشید، میدونید که auto complete قوی داره و همین که یکی دو تا حرف از دستور رو بنویسیم، سریع دستورات مرتبط رو پیشنهاد میده. حالا اینطوریه که دیگه کلا دستور رو همراه با ورودی و خروجی به شما پیشنهاد میده. به خاطر همین بهش میگن full line code complete!
وبلاگ Jetbrains برای اطلاعات بیشتر:
https://blog.jetbrains.com/blog/2024/04/04/full-line-code-completion-in-jetbrains-ides-all-you-need-to-know/
@pytorch_howsam
PyTorch Howsam
در مقاله زیر، شبکه Kolmogorov-Arnold Networks (KAN) پیشنهاد شده که مولفانش اون رو آلترناتیوی برای MLP میدونن که البته دقیقتر و تفسیرپذیرتر هست. حالا چیکار کردن؟ ما توی شبکه MLP، اکتیویشن فانکشن رو روی نورون میذاریم (یعنی آخر کار میذاریم). اما، توی این مقاله،…
.
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:
لینک ریپوی گیتهاب KAN-GPT
@pytorch_howsam
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:
from kan_gpt.model import GPT
from transformers import GPT2Tokenizer
model_config = GPT.get_default_config()
model_config.model_type = "gpt2"
model_config.vocab_size = 50257
model_config.block_size = 1024
model = GPT(model_config)
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
prompt = "Bangalore is often described as the "
prompt_encoded = tokenizer.encode(
text=prompt, add_special_tokens=False
)
x = torch.tensor(prompt_encoded).unsqueeze(0)
model.eval()
y = model.generate(x, 50) # sample 50 tokens
result = tokenizer.decode(y)
print(result)
# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....
لینک ریپوی گیتهاب KAN-GPT
@pytorch_howsam