سلام دوستان
من، سید سجاد اشرفی، مدیر و مدرس آکادمی هوسم هستم. میزان تحصیلات من دکترا هست و به صورت تخصصی در بینایی کامپیوتر تحصیل و کار کردم. در سال 1395 آکادمی هوسم رو با هدف ارائه آموزش و مشاوره تخصصی در زمینه هوش مصنوعی راه‌اندازی کردم.

ما در آکادمی هوسم، طی هشت سال گذشته، دوره‌های آموزشی متعددی در حوزه هوش مصنوعی برگزار کردیم. شعار ما این بوده که آموزش‌های با کیفیت، اصولی و با اصالت آماده کنیم. برای تهیه دوره‌ها وقت بسیار زیادی گذاشته شده؛ پیشنهاد می‌کنم به فهرست مطالب و دموهای دوره‌ها نگاه بندازید. شاید برای شما و اهدافتون مناسب باشه.

1️⃣ پایتون برای هوش‌مصنوعی
🕔 44 ساعت
🌐 لینک دوره

2️⃣ یادگیری ماشین
🕔 127 ساعت
🌐 لینک دوره

3️⃣ یادگیری عمیق
🕔 83 ساعت
🌐 لینک دوره

4️⃣ دیپ کاتالیست (دوره پروژه-محور یادگیری عمیق)
🕔 54 ساعت
🌐 لینک دوره

5️⃣ آموزش OpenCV: از پردازش تا بینایی
🕔 96 ساعت
🌐 لینک دوره

6️⃣ آموزش پایتورچ رایگان
🕔 13 ساعت
🌐 لینک دوره

این کانال پایتورچ هم وابسته به آکادمی هوسم هست؛ همراه با تعدادی از دوستان، مطالب آموزنده و جالب درباره هوش مصنوعی رو به اشتراک میذاریم. این کانال برای من به یک دفترچه یادداشت طلایی تبدیل شده و خیلی دوستش دارم.

با احترام،
اشرفی

این چی میـــــگـــــــه؟!

We're announcing TacticAI: an AI assistant capable of offering insights to football experts on corner kicks. ⚽️

Developed with LFC*, it can help teams sample alternative player setups to evaluate possible outcomes, and achieves state-of-the-art results. 🧵

*منظور از LFC، باشگاه Liverpool هست.

وبلاگ | مقاله | دیتا

کد نداره. گفتن نمی‌تونیم کدها رو منتشر کنیم.

@pytorch_howsam

یک تم خوب برای ژوپیترلب (برحسب تجربه):

pip install theme-darcula

بعد از نصب، از مسیر زیر تغییر تم انجام میشه:

Settings > JupyterLab Theme > Darcula

@pytorch_howsam

Today, we are excited to introduce DBRX, an open, general-purpose LLM created by Databricks.

https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

اولا، ممنون که ری‌اکشن نشون میدید. 🙏
دوم هم اینکه، نوتبوک مهدی آماده شده و می‌تونید بهش نگاه بندازید.

این هم توضیحات مهدی برای این نوتبوک:

لینک نوت بوکی که برای مسابقه حال حاضر کگل منتشر کردم رو در ادامه این پیام قرار دادم.

از روش های مختلف مثل LGBM و XGBoost , Random Forest و Catboost و همچنین میانگین خروجی احتمالاتی پیش بینی های این روش ها استفاده شده.

توی بخش داده هم میسینگ ولیو ها و اوتلایرها و EDA تک متغیره و دو متغیره و نرمالیزیشن بررسی شده.

بهترین دقت نهایی بدست اومده مربوط به حالتی بود که از خروجی های مدل های مختلف میانگین گرفته شد ( 0.89389 )

https://www.kaggle.com/code/mahdiasghari5731/lgbm-catboost-xgb-eda-accuracy-0-8940

می‌تونید با upvote کردن نوتبوک بالا، مهدی رو تشویق کنید. 😊

کتاب درباره LLM با عنوان Build a Large Language Model

نویسنده این کتاب آقای سباستین راشکا (Sebastian Raschka) هست که فرد شناخته‌شده‌ای هست. همچنین، این کتاب در Manning منتشر شده. البته، هنوز کامل نشده و فصل‌های ابتدایی کتاب منتشر شده.

به‌صورت آنلاین و البته با یکسری محدودیت‌هایی می‌تونید این کتاب رو مطالعه کنید. ریپوی گیتهاب هم داره که کدها رو اونجا میذاره. یک شکل جالب از این کتاب رو براتون پیوست کردیم.

لینک کتاب | لینک گیتهاب

@pytorch_howsam

Neural-ABC is a neural implicit parametric model with latent spaces of human identity, clothing, shape and pose. It can generate various human identities and different clothes. The clothed human body can deform into different body shapes and poses.

Git : Neural-ABC: Neural Parametric Models for Articulated Body with Clothes

Amazon's Just Walk Out technology relies on hundreds of workers in India watching you shop.
فروشگاه تمام اوتوماتیک آمازون ؟!
- هوش مصنوعی ؟
- پردازش تصویر ؟
- یا باز هم نظارت انسانی !

EU-USA-Today

Washington Times

از طریق لینک زیر (توی سایت هاگینگ‌فیس) می‌تونید مقاله‌های ترند هوش مصنوعی رو ببینید. کسی که مقاله‌ها رو معرفی میکنه، فرد شناخته‌شده‌ای در توییتر هست و چند سالی هست که توی توییتر همین کار رو انجام میده.

https://huggingface.co/papers

سرویس پولی کولب GPUهای جدید داده :)
توی لیست بالا، L4 رو می‌بینیم که تازه اضافه شده.
@pytorch_howsam

پایتورچ یک کتابخونه جدید به نام torchtune معرفی کرده که مخصوص فاین‌تیون کردن LLM-هاست.

torchtune is a Native-PyTorch library for LLM fine-tuning.

با این کتابخونه می‌تونید LLM-ها رو Finetune کنید و روشون آزمایش انجام بدید. آدرس کتابخونه:
https://pytorch.org/torchtune/0.1/

اینجا معرفی مختصری از تورچ‌تیون گفته شده:
https://pytorch.org/torchtune/0.1/overview.html

توی لینک زیر، درمورد Llama3 گفته که شامل بخش‌های معرفی مدل، دسترسی به مدل، فایل‌تیون کردن با تورچ‌تیون، ارزیابی کردن مدل فایل‌تیون‌شدن، جنریت متن، جنریت سریع‌تر با کوانتیزیشن هست:
https://pytorch.org/torchtune/0.1/tutorials/llama3.html

@pytorch_howsam

کتاب خوبیه
@pytorch_howsam

در مقاله زیر، شبکه Kolmogorov-Arnold Networks (KAN) پیشنهاد شده که مولفانش اون رو آلترناتیوی برای MLP میدونن که البته دقیق‌تر و تفسیرپذیرتر هست.

حالا چیکار کردن؟ ما توی شبکه MLP، اکتیویشن فانکشن رو روی نورون میذاریم (یعنی آخر کار میذاریم). اما، توی این مقاله، اکتیویشن فانکشن روی وزن‌های نورون گذاشته میشه و قابلیت یادگیری داره. این مقاله مورد توجه قرار گرفته.

Paper: https://arxiv.org/abs/2404.19756
Github: https://github.com/KindXiaoming/pykan
Documentation: https://kindxiaoming.github.io/pykan/

@pytorch_howsam

یک Talk نیم ساعته درباره ویژن ترنسفورمرها

طبیعتا، درس نمیده. ولی خیلی خوب به مهم‌ترین کارهای مبتنی بر ترنسفورمرها در حوزه کامپیوتر ویژن اشاره میکنه. حالا حوصله هم نداشتید نگاه کنید، تند تند بزنید جلو، ببینید چه مقاله‌هایی رو معرفی میکنه! :)

https://www.youtube.com/watch?v=BnM-S50P_so

خانـــم‌ها و آقایــــان،
شبکه xLSTM تنه به تنه LLM-های ترنسفوری می‌زند!

شبکه جدیدی به نام xLSTM یا Extended LSTM معرفی شده که توجه زیادی رو به خودش جلب کرده. این مقاله رو آقای Sepp Hochreiter همراه با تیمش ارائه کرده. حالا آقای Sepp Hochreiter کی هستن؟ همون کسی که 30 سال پیش LSTM رو همراه با آقای Jürgen Schmidhuber پیشنهاد کردن. حالا بعد از 30 سال، نسخه امروزی (شاید مدرن!) شبکه LSTM رو همراه با تیمش پیشنهاد کردن.

اونها LSTM رو طوری توسعه دادن که قابلیت Scale شدن پیدا کنه. یعنی شبکه‌های LSTM بیلیون پارامتری داشته باشیم! مثل LLM-های امروزی...

به‌صورت کلی، ساختار شبکه xLSTM در تصویر بالا نشون داده شده. سمت چپ که LSTM رو می‌بینید. با توسعه همون LSTM اصلی، دو تا Memory Cell با نام‌های sLSTM و mLSTM ساخته شده. وقتی sLSTM و mLSTM رو در ساختار Residual Block (همون شورتکات‌ها) قرار بدیم، xLSTM Block ساخته میشه. نهایتا با Stack کردن بلوک‌های xLSTM به معماری یا شبکه xLSTM می‌رسیم! حالا نسبت این دو بلوک میتونه متفاوت باشه. به عنوان مثال، در تصویر بالا (سمت راست) نسبت 1:1 از sLSTM و mLSTM رو می‌بینید.

مقاله
.

یک خبر جالب اینکه، Jetbrains (سازنده پایچارم)، IDE-هاش رو به مدل لوکال 100 میلیون پارامتری با Context سایز 1500 توکن مجهز کرده. و این یعنی، کد نوشتن با پایچارم لذت‌بخش‌تر از قبل میشه. مدل هم از سخت‌‎افزار شما برای اجرا استفاده میکنه و نیازی به اینترنت نیست.

حالا چطوری کار میکنه؟ اگه با پایچارم کار کرده باشید، میدونید که auto complete قوی داره و همین که یکی دو تا حرف از دستور رو بنویسیم، سریع دستورات مرتبط رو پیشنهاد میده. حالا اینطوریه که دیگه کلا دستور رو همراه با ورودی و خروجی به شما پیشنهاد میده. به خاطر همین بهش میگن full line code complete!

وبلاگ Jetbrains برای اطلاعات بیشتر:
https://blog.jetbrains.com/blog/2024/04/04/full-line-code-completion-in-jetbrains-ides-all-you-need-to-know/

@pytorch_howsam

.
بعد از معرفی شبکه KAN، حالا کارهای مختلفی مبتنی بر این شبکه داره انجام میشه. یکی از کارهای جالب، ترکیب GPT و KAN هست. در ریپوی گیتهاب زیر، دو کد minGPT با pyKAN ترکیب شده. نمونه کدش:

from kan_gpt.model import GPT
from transformers import GPT2Tokenizer

model_config = GPT.get_default_config()
model_config.model_type = "gpt2"
model_config.vocab_size = 50257
model_config.block_size = 1024
model = GPT(model_config)

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

prompt = "Bangalore is often described as the "

prompt_encoded = tokenizer.encode(
  text=prompt, add_special_tokens=False
)

x = torch.tensor(prompt_encoded).unsqueeze(0)

model.eval()
y = model.generate(x, 50)  # sample 50 tokens

result = tokenizer.decode(y)

print(result)

# Bangalore is often described as the Silicon Valley of India.
# The city has witnessed rapid growth in the past two decades.....

لینک ریپوی گیتهاب KAN-GPT

@pytorch_howsam