Scalable Extraction of Training Data from (Production) Language Models

آسیب پذیری chatGPT و LLM

به طور مثال محققان دیپ مایند، از chatGPT خواستند تا کلمه‌ای مانند «poem» یا «book» را تا أبد تکرار کند.

اما جالب است در جواب، در بعضی از مواقع، قطعه کد یا اطلاعات شخصی افراد
مانند نام، آدرس ایمیل، شماره تلفن و... را تولید می‌کند.

سلام
بمب خبری 24 ساعت گذشته، Google GEMINI (جِمِنای) بوده!
مدلی که تونسته بهتر از GPT-4 عمل کنه. مثلا در بنچ‌مارک MMLU به پرفورمنس 90% رسیده، درحالی‌که پرفورمنس GPT-4 حدودا 86.4% بوده!

جمنای شامل سه نسخه Ultra Pro Nano هست. نسخه اولترا بزرگترین مدل هست که حدود 175 میلیارد پارامتر داره. نسخه پرو حدود 117 میلیارد پارامتر و نسخه نانو 56 میلیارد پارامتر داره. دوره زمونه عوض شده! مدل 56 میلیاردی نانو حساب میشه! 😄

نسخه اولترا همونی هست که مچ GPT-4 رو خوابونده! نسخه پرو، توی گوگل بارد قرار گرفته. نسخه نانو هم قراره بره توی موبایل‌ها! مثلا توی پیکسل گوگل‌ها قراره در دسترس قرار بگیره. دیگه فیلم Her رو تا چند سال دیگه می‌بینیم...

جمنای یک مدل مولتی‌مودال خفن هست. تصویر، تکست، صوت، ویدئو، کد و ... رو در ورودی و خروجی ساپورت میکنه. ویدئوی زیر رو نگاه کنید، خیلی فانه!! جمنای رو تست کردن.
https://www.youtube.com/watch?v=UIZAiXYceBI

اینجا هم پلی‌لیست همه ویدئوهای گوگل برای معرفی جمنای هست:
https://www.youtube.com/playlist?list=PL590L5WQmH8cSyqzo1PwQVUrZYgLcGZcG

@pytorch_howsam

همه کگل رو میشناسیم. طبیعتا شما اگه در کگل فعالیت کنید، خیلی دقیق و اصولی فعالیت شما ثبت میشه و میتونه یک فاکتور مثبت در رزومه شما باشه. حالا میخوایم از قواعد و اصول فعالیت در کگل براتون بگیم.

سیستم پیشرفت کگل حول چهار فاکتور طراحی شده:
* مسابقه‌ها
* نوتبوک‌ها
* دیتاست‌ها
* گفت‌وگوها یا بحث‌ها (Discussion)

در هرکدوم از فاکتورهای بالا، براساس میزان فعالیتتون پیشرفت حاصل میشه. یعنی مهم هست که در همه این فاکتورها فعالیت داشته باشید.

حالا میزان یا درجه پیشرفت چطوری هست؟ برای همه بخش‌ها پنج درجه درنظر گرفته شده:
* تازه‌کار (Novice)
* مشارکت‌کننده (Contributor)
* کارشناس (Expert)
* استاد (Master)
* استاد بزرگ (Grandmaster)

پس ممکن هست یک نفر، در بخش مسابقه درجه استادی داشته باشه، ولی در بخش دیتاست کارشناس باشه. همه این اطلاعات در پروفایل فرد قابل مشاهده هست. مثلا تصویر بالا...

حالا شرایط رسیدن به هریک از درجه‌ها چی هست؟ خب دیگه در این پست نمیگنجه و باید در پست‌های جداگانه درموردش صحبت کنیم. فعلا در همین حد بدونید که شرط Novice شدن، ثبت‌نام در کگل هست! 😄

@pytorch_howsam

سلام ✋
چند روز پیش تصمیم گرفتیم که از سرویس‌های داخلی اجاره GPU استفاده کنیم. می‌خواستیم یک مدل Speech Recognition رو برای مدتی طولانی آموزش بدیم. یک سرویس داخلی انتخاب کردیم و رفتیم برای راه‌اندازی پروژه و آموزش مدل... این پروسه با اتفاق‌های متنوعی همراه بود که در ادامه به مهم‌ترین‌هاش اشاره می‌کنیم. طولانی هست، اما پیشنهاد میکنیم این گزارش رو مطالعه کنید.

* ثبت‌نام در سایت ساده بود و هزینه اجاره هم به‌صورت ساعتی حساب میشد. ما یک سرویس بر پایه 3090 با ساعتی 20 هزار تومان انتخاب کردیم.

* برای استفاده از سیستم، باید یک ماشین مجازی ساخته میشد. پروسه ساخت این ماشین مجازی کمی زمانبر هست و به گفته خودشون حدود 20 دقیقه‌ای طول میکشه. اما در عمل به نظر بیشتر از 20 دقیقه طول کشید.

* بعد از ساخت ماشین، باید استارت بزنید تا ماشین روشن بشه و بتونید کدتون رو اجرا کنید. هرچی استارت زدیم روشن نشد! 😄 از پشتیبانی پرسیدیم. گفت ماشین خرابه و من یک ماشین دیگه کانفیگ کردم که ساخته بشه. بازهم 20 30 دقیقه‌ای منتظر موندیم که ماشین جدید رو تحویل بدن! ماشین جدید روشن شد و خوشبختانه محیط ژوپیترلب بالا اومد. 📿

* کدهای آماده رو بدون مشکل آپلود کردیم.

* طبیعتا باید دیتاست رو دانلود کنیم که بتونیم آموزش مدل رو شروع کنیم. یک دیتاست 2.5 گیگ داشتیم که گذاشتیم دانلود بشه و دانلود این دیتاست 3 ساعت و 55 دقیقه طول کشید! 🤯 دیتاستی که لینک مستقیم داشت و اتفاقا با اینترنتی مثل همراه اول با سرعت بیش از دو مگ در کمتر از 30 دقیقه دانلود میشد. فکر کنید، چهار ساعت از شارژ شما برای دانلود یک دیتاست 2.5 گیگ میره. گاهی سرعت اینترنت این سرویس به حدود 40 کیلوبایت میرسید! مقایسه کنید با کولب که چنین دیتاستی رو زیر 1 دقیقه دانلود میکنه.

* کد آماده، دیتاست آماده و حالا بعد از چندساعتی درگیری می‌تونستیم آموزش مدل رو شروع کنیم. بخش ایمپورت فریمورک‌ها رو که اجرا کردیم، کتابخونه تورچ‌تکست رو نشناخت و داستان جدیدی شروع شد. چک کردیم، دیدیم که پایتورچ، تورچ‌ویژن و تورچ‌آئودیو نصب هست، اما تورچ‌تکست نصب نیست. خب شاید بگید که اشکالی نداره راحت میشه نصب کرد. اما نکته اینجاست که نسخه نصبی پایتورچ آخرین نسخه نبود و این دردسر نسبتا بزرگی بود. دو راه داشتیم: 1) نسخه مناسب تورچ‌تکست برای پایتورچ نصبی پیدا کنیم. یعنی باید سرچ میزدیم و تو آرشیوها دنبالش میگشتیم. 2) از اول پایتورچ رو به آخرین نسخه آپدیت میکردیم و در کنارش تورچ‌تکست هم نصب می‌کردیم. این دومی دانلود زیادی نیاز داشت و ما هم میترسیدیم که بازهم ساعت‌ها منتظر بمونیم. به همین خاطر رفتیم سراغ مورد 1. احتمالا این کار برای یک دانشجو یا تازه‌کار کمی مشکل هست. مقایسه کنید با کولب که هم فریمورک‌ها رو زود به زود آپدیت میکنه و هم مدام پرکاربردها رو اضافه میکنه. مثلا اخیرا هاگینگ فیس رو اضافه کردن.

* دیگه همه دردسرها تموم شده بود و تونستیم آموزش مدل رو پیش ببریم. حین آموزش مدل هم مشکل خاصی پیش نیومد.

* یک مشکل دیگه شارژ مصرفی و گزارش شارژ بود. شارژ باقیمونده رو باید از داشبورد میدیدیم. هر بار هم که رفرش میکردیم، زمان نسبتا زیادی طول میکشید که اطلاعات رو نشون بده. همچنین، میزان مصرف شارژ لحظه‌ای آپدیت نمیشد. بلکه، بعد از یکی دو ساعتی آپدیت میشد. یک بار انقدر آپدیت نشد که از 32 هزار تومان به 7- هزار تومان رسید! بعدا دیدیم که ایمیل هم میزنن که شارژ شما منفی شده. به نظرم این قسمت هم خوب نبود. توی کولب در حد دهم واحدهای محاسباتی تغییر میکنه و این حس به شما دست میده که کاملا روی شارژت کنترل و مدیریت داری.

* آخرین مورد هم اینکه، اگه کدت رو ببندی و آموزش و استفاده از سیستم رو قطع کنی، همچنان ساعتی مثلا 20 هزار تومان از شارژ کم میشه. اما اگه از طریق داشبورد بعد اتمام کار، ماشین رو خاموش کنی، مصرف شارژ تا 90 درصد کم میشه. یعنی اگه ساعتی 20 هزار تومان بدی، در صورت خاموش بودن ماشین، ساعتی 2 هزار تومان پرداخت میکنی. یعنی، فرضا اگه یک روز با سیستم کاری نداشته باشی و خاموش باشه، باید حدودا 50 هزار تومان پرداخت کنی. درصورتی که ماشین رو حذف کنی، دیگه پرونده پروژه، کد و دیتاست بسته میشه و شارژی هم پرداخت نمیکنی. این مساله، امکان استفاده مداوم رو مشکل میکنه.

خب نتیجه‌گیری اینکه، با این شرایط به‌صرفه نیست. همچنین، سرویس و خدمات حرفه‌ای نیست. یعنی، با اینکه پشتیبانی چت آنلاین داره و زود به زود هم جواب میدن و جی‌پی‌یوهای خوبی هم دارن، اما بازهم چون خدمات ایرادهای ذکرشده در بالا رو داره، نمیصرفه. ترجیح میدیم از کولب استفاده کنیم و واقعا کولب بسیار عالی هست.

اسم این سرویس رو عمدا نگفتیم که داستان نشه. امیدواریم که خود ارائه‌دهنده‌های سرویس ببینن اینو و بخونن و ایرادها رو اصلاح کنن. ✌️😊

@pytorch_howsam

کورس ترنسفورمر

دانشگاه استنفورد کورسی بنام CS25 در سال 2023 برگزار کرده که اسمش Transformer United هست. پیج اصلی این دوره اینجاست:
https://web.stanford.edu/class/cs25/

همچنین، ویدئوهای این دوره در یوتوب در دسترس هست:
https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

موضوع‌های جالبی هم داره.

@pytorch_howsam

یک دیتاست جالب در کگل!
شناسایی سیمپسون‌ها براساس تصاویر چهره 😄

https://www.kaggle.com/competitions/simpsons-faces-m1/overview

این دیتاست شامل 6 هزار داده از 18 شخصیت سریال سیمپسون‌ها هست.

قوانین جالبی هم داره:
* Don't cheat!
* Respect a model with at most 1M parameters (it will be checked)
* Max dataset image size must be (64, 64)

@pytorch_howsam

در پست ریپلای‌شده، از سیستم پیشرفت کگل گفتیم و قرار بود ادامه بدیم. درمورد فاکتورهای مختلف و همچنین درجه‌های پیشرفت صحبت کردیم. همچنین، گفتیم که در ابتدای کار یک تازه‌کار (Novice) هستیم. حالا بریم ادامه...

❓چطوری میشه به درجه مشارکت‌کننده (Contributor) ارتقا پیدا کرد؟ به سادگی! کافیه که کارهای زیر رو انجام بدید:

1️⃣ یک نوتبوک در کگل اجرا کنید. یعنی از بخش نوتبوک‌ها، یک نوتبوک رو باز کنید و در همون کگل اجرا کنید. به همین سادگی! با این کار، نحوه اجرا شدن نوتبوک‌ها رو یاد می‌گیرید. هر نوتبوکی رو که باز کنید، یک گزینه Copy & Edit داره که مخصوص همین کار هست.

2️⃣ یک سابمیشن در مسابقه‌های کگل داشته باشید. یعنی توی یک مسابقه شرکت کنید و یک بار کد/مدل/روشتون رو بفرستید که کگل روی داده‌های تست ارزیابی کنه. سخت نیست. اصلا می‌تونید از همون کدهای آماده دیگران هم استفاده کنید. نیازی نیست که حتما کد خودتون باشه. یعنی همون کد بالایی رو که اجرا کرده بودید رو بدید به سیستم کگل که داوری کنه. :) با این کار، با سیستم اجرای کدها و سابمیشن توی کگل آشنا میشید.

3️⃣ یک کامنت بذارید. این هم ساده هست. برید توی بخش discussions و برای یکی یک کامنت بذارید. مثلا بعضی‌ها میان ارتقای درجه‌شون رو اعلام میکنن. شما هم برید یک تبریکی بهشون بگید! 😅

4️⃣ یک Upvote داشته باشید. یعنی مثلا به نوتبوک یک نفر، یک امتیاز بدید. وقتی نوتبوک یک نفر رو باز می‌کنید، یک گزینه Upvote داره. در واقع دارید لایکش می‌کنید. می‌تونید همون نوتبوکی که اجرا کرده بودید رو لایک کنید.

خب کم کم داریم به بخش‌های جالبش می‌رسیم. چیکار کنیم که درجه کارشناس (Expert) برسیم؟ در پست‌های بعدی درموردش صحبت می‌کنیم...

@pytorch_howsam

با تشکر از وحید برای معرفی این کتابخونه...

سلام
یه کتاب خونه خیلی باحال که پیدا کردم torchinfo بوده که یه چیز خیلی خوب داره و کمبودش توی پایتورچ حس میشد😁😁

@pytorch_howsam

In pole position to learn reinforcement learning :
AWS DeepRacer gives you an interesting and fun way to get started with reinforcement learning (RL). RL is an advanced machine learning (ML) technique that takes a very different approach to training models than other machine learning methods. Its super power is that it learns very complex behaviors without requiring any labeled training data, and can make short term decisions while optimizing for a longer term goal.

این سرویس به شما یک راه جذاب و سرگرم‌کننده برای شروع یادگیری تقویتی (RL) ارائه می‌دهد. RL یک تکنیک پیشرفته در زمینه یادگیری ماشین (ML) است که به روشی بسیار متفاوت نسبت به سایر روش‌های یادگیری ماشین به آموزش مدل‌ها می‌پردازد.
قدرت استثنایی آن در این است که بدون نیاز به داده‌های آموزشی با برچسب، رفتارهای بسیار پیچیده را یاد می‌گیرد و می‌تواند تصمیمات کوتاه مدت را در حالی که بهینه‌سازی برای یک هدف بلندمدت انجام می‌دهد، اتخاذ کند.

https://aws.amazon.com/deepracer

🟠 نرم‌افزار داده‌کاوی Orange

✅ در این ویدئوی کوتاه، نحوه استفاده از این نرم‌افزار جالب و ساده را با یک مثال آموزش دادیم.

📌 پیشنهاد می‌کنیم، برای تسلط بر مطالب یادگیری ماشین، با این نرم‌افزار کار کنید.

@howsam_org
www.howsam.org

یکسری دستورات هستن که کمتر توی آموزش‌ها درموردشون صحبت میشه، چون رایج نیستن. ولی وقتی موقعش برسه میتونن کارمون رو خیلی راحت کنن.

تصور کن یک آرایه دو بعدی داری که یکسری درایه‌هاش nan هستن. حالا تو میخوای میانگین و انحراف معیار این آرایه دوبعدی رو حساب کنی. به نظرت باید چیکار کرد؟ اول درموردش فکر کن و بعد بخش اسپویلر رو ببین...

اگه به این فکر میکنی که مقادیر nan رو پیدا کنی و با صفر جایگزین کنی، متاسفانه اشتباه کردی. باید جوری میانگین و انحراف بگیریم که انگار اصلا nan وجود نداره. وقتی صفر کنیم یعنی اونها رو آدم حساب کردیم! 😁

خب به نظر میرسه که باید دو تا تابع برای محاسبه میانگین و انحراف بنویسیم که احتمالا سه چهار خطی کد و یکم هم فکر کردن نیاز داره...

اما این موقعیت همون موقعیتی هست که دستورهای آماده نه‌چندان رایج میتونن کمکمون کنن. دستورهای np.nanmean و np.nanstd به راحتی میانگین و انحراف رو بدون nan حساب میکنن. به همین سادگی! 😉

@pytorch_howsam

سلام
در مسابقه‌های کگل، مدل‌های CatBoost LightGBM XGBoost خیلی محبوب هستند. هر سه مدل از خانواده بوستینگ (Boosting) هستند. این سه عزیز در سایکیت‌لرن وجود ندارند و هرکدام برای خودشان یک لایبرری جداگانه دارند که باید با pip نصب شوند. کار ساده‌ای هست. اتفاقا استفاده از آنها هم خیلی ساده هست. چون شبیه سایکیت‌لرن هستند و همان fit و predict را دارند. حالا حرفمان در این پست چیست؟

این مدل‌ها هایپرپارامترهای بسیار زیادی دارند؛ خیلی‌ها می‌گویند:

در این مدل‌ها باید هایپرپارمترها رو دقیق تنظیم کنی وگرنه قدرت واقعیشون رو نمیبینی.

حالا ما هم می‌خواهیم درمورد همین تنظیم هایپرپارامترها صحبت کنیم...

دو نکته را مدنظر داشته باشید:

اول اینکه، باید تئوری این مدل‌ها را بدانید. تئوری اینها وابسته به دو بحث مدل‌های درخت تصمیم (Decision Trees) و بوستینگ (Boosting) هست. اگه اینها را بدانید، قطعا درک بهتری نسبت به هایپرپارامترها خواهید داشت.

دوم اینکه، در کگل برای تنظیم هایپرپارامترها از لایبرری‌های جانبی مثل Optuna بهره می‌برند. با این لایبرری می‌توانیم یک Grid Search بسازیم تا هایپرپارامترهای مناسب را پیدا کنیم. در ادامه، یک مثال از نحوه ترکیب Optuna با LGBMClassifier را آوردیم...

import lightgbm as lgb
import optuna
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# Load dataset
X, y = load_iris(return_X_y=True)
X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.2, random_state=42)

# Define objective function
def objective(trial):
    params = {
        'objective': 'multiclass',
        'num_class': 3,
        'metric': 'multi_logloss',
        'verbosity': -1,
        'boosting_type': 'gbdt',
        'learning_rate': trial.suggest_float('learning_rate', 0.001, 0.1),
        'max_depth': trial.suggest_int('max_depth', 2, 10),
        'num_leaves': trial.suggest_int('num_leaves', 2, 100),
    }
    
    model = lgb.LGBMClassifier(**params)
    model.fit(X_train, y_train)
    preds = model.predict_proba(X_valid)
    log_loss = lgb.log_loss(y_valid, preds)
    
    return log_loss

# Run optimization
study = optuna.create_study(direction='minimize')
study.optimize(objective, n_trials=100)

# Get best hyperparameters
best_params = study.best_params
print("Best hyperparameters:", best_params)

در کد بالا، سه هایپرپارامتر learning_rate max_depth num_leaves را به Optuna داده‌ایم تا از بازه تعریف شده یک عدد انتخاب کند و میزان خطای مدل را حساب کند. ما به دنبال حالتی هستیم که کم‌ترین خطای ممکن حاصل شود. 100 بار انتخاب هایپرپارامترها به‌صورت رندوم انجام می‌شود و نهایتا بهترین هایپرپارامتر براساس کم‌ترین خطا گزارش می‌شود.

@pytorch_howsam

کتابخونه pandas یکی از مهم‌ترین و اصلی‌ترین کتابخونه‌های پیش‌پردازش داده‌ها و کار با Data Frame هاست. مسلط شدن به pandas برای کسانی که در حوزه دیتا کار می‌کنن، یک نیاز واجب و ضروریه.

نویسنده این کتاب، آقای مت هریسون، در این اثر ارزشمند به تفصیل pandas رو توضیح میده و نکته مبهم و سخن نگفته‌ای رو باقی نمی‌ذاره.

مطالعه این کتاب فوق‌العاده از این نویسنده بسیار توانمند رو به کسانی که قصد تسلط و درک عمیق pandas رو دارن، بسیار پیشنهاد می‌کنیم.

کمبود GPU RAM؟!
بیایید یک راه‌کار ساده و فوق‌العاد کارآمد به شما یاد بدهیم...

کم بودن GPU RAM می‌تواند شما را در انتخاب سایز شبکه عصبی و همچنین بچ‌ساز محدود کند. اما راه‌کارهای مختلفی وجود دارد که شما از همان RAM کم نهایت استفاده را ببرید. یکی از راه‌کارها آموزش مدل با Float16 هست!

به‌صورت پیش‌فرض، در پایتورچ داده‌ها و مدل‌ها بر پایه Float32 هستند. اما با تغییراتی کوچک در کد، می‌توان داده‌ها و مدل‌ها را بر پایه Float16 تعریف کرد و تا 50 درصد از مصرف RAM صرفه‌جویی کرد! شاید باورتان نشود! این راه‌کار هم مصرف RAM را کاهش می‌دهد و هم در بسیاری از مسائل افت قابل توجهی در عملکرد (مثلا دقت) ایجاد نمی‌کند. حالا که مصرف RAM کمتر شده، می‌توانید هم مدل بزرگتری داشته باشید و هم بچ‌سایز را بزرگتر کنید.

در پایتورچ چگونه می‌توان از این ترفند استفاده کرد؟
در لینک زیر، خیلی ساده این ترفند توضیح داده شده است:
https://pytorch.org/tutorials/recipes/recipes/amp_recipe.html

@pytorch_howsam

چند روز قبل، یکی از دانشجویان دوره یادگیری ماشین هوسم سوالی را مطرح کرد که جالب بود. معمولا، کمتر در دوره‌ها و کتاب‌ها درمورد آن صحبت می‌شود. موضوع سوال به‌صورت کلی این بود:

من یک تسک دسته‌بندی چندکلاسه دارم که در کلاس‌ها ترتیب وجود دارد. معیار ارزیابی چگونه باید باشد؟

معمولا، در یادگیری ماشین با تسک‌های دسته‌بندی غیرترتیبی/اسمی یا Nominal Classification مواجه هستیم. یعنی ترتیب در کلاس‌ها اهمیتی ندارد. مثل دسته‌بندی تصاویر CIFAR یا دسته‌بندی گل‌های زنبق یا همان Iris معروف یا موارد دیگر...

اما در دسته‌بندی، تسک دیگری به‌نام دسته‌بندی ترتیبی یا Ordinal Classification هم داریم. یکی از جالب‌ترین نمونه‌هایش، می‌تواند تخمین سن افراد باشد. تخمین سن را می‌توان هم به شکل رگرسیون و هم دسته‌بندی حل کرد. وقتی مبتنی بر دسته‌بندی بخواهیم این مساله را حل کنیم، تعدادی کلاس مشخص داریم: مثلا 100 کلاس معادل با 1 تا 100 سالگی.

وقتی به این مساله دقیق نگاه کنیم، کاملا مشخص هست که ترتیب در آن معنا دارد. اگر مدل ما سن یک فرد 40 ساله را 41 سال پیش‌بینی کند، نباید بگوییم که اشتباه کرده‌ای و یک پیش‌بینی اشتباه داریم. این نگرش مربوط به دسته‌بندی اسمی هست. در این حالت ما باید معیار ارزیابی مناسبی داشته باشیم که اختلاف کم بین 40 و 41 را نشان دهد. مدل ما فقط 1 سال پیش‌بینی اشتباه داشته که در تسک مشکل تخمین سن، اتفاقا عدد بسیار خوبی هست.

یکی از معیارهای ارزیابی رایج در دسته‌بندی ترتیبی، MAE یا Mean Absolute Error هست. یعنی ما یک مساله دسته‌بندی داریم، اما معیار ارزیابی‌مان شبیه رگرسیون هست. به مقاله‌های تخمین سن از روی چهره نگاه کنید؛ یکی از مهم‌ترین معیارهای ارزیابی آنها همین MAE هست. مثلا می‌گویند خطای MAE مدل پیشنهادی 4.7 هست. یعنی این مدل با خطای 4.7 سال، سن افراد را پیش‌بینی می‌کند.

@pytorch_howsam

🔥دوره OpenCV: از پردازش تا بینایی 🧿


🎁 60 درصد تخفیف برای ثبت‌نام زودهنگام، فقط تا 18 اسفند

⌛️شروع دوره: 18 فروردین 1403

👤 مدرس دوره: سیدسجاد اشرفی

🟢 اطلاعات بیشتر و ثبت‌نام: کلیک کنید!


راه‌های برقراری ارتباط با ما:
👤 @howsam_support
📞 09025469248
✉️ [email protected]
🌐 www.howsam.org

سلام دوستان،
این دوره تا پایان روز جمعه، تخفیف 60 درصدی داره. ویدئوهای "معرفی دوره" و "پیشنهاد برای مطالعه پیش‌نیازها" هم توی صفحه دوره موجود هست.

توی کگل یکسری مسابقه سطح پایین بنام Playground داریم...

با شروع 2024، فصل چهارم سری مسابقات Playground شروع شده. هر فصل شامل یکسری اپیزود/مسابقه هست. ماهی یک اپیزود/مسابقه معرفی میشه و مدت زمان رقابت هم یک ماه هست. این مسابقه‌ها سنگین نیستن و مناسب افراد مبتدی هست که میخوان تجربه کسب کنن. هیچ مدال، رتبه و پولی درکار نیست. اما، بسیار بسیار آموزنده هست.

حدودا 5 روزی هست که اپیزود سوم شروع شده. لینک مسابقه/اپیزود سوم:
https://www.kaggle.com/code/ankurgarg04/fault-detection-easy-xgb-with-optuna

از نوتبوک‌های دیگران غافل نشو. یک نوتبوک ساده برای شروع:
https://www.kaggle.com/code/ankurgarg04/fault-detection-easy-xgb-with-optuna

این هم یک نوتبوک جامع و سطح بالا از یک گرندمستر که شاید بررسی کردنش چند روز طول بکشه:
https://www.kaggle.com/code/lucamassaron/steel-plate-eda-xgboost-is-all-you-need

این اپیزود تقریبا همزمان شده با تعطیلات آخر سال و نوروز ما؛ شاید فرصت خوبی برای شرکت در مسابقه باشه. فقط با یک مسابقه میشه کلی تجربه کسب کرد.

@pytorch_howsam

سلام
مهدی از بچه‌های هوسم این پیام رو در گروه فرستاده بود. اینجا هم فوروارد کردیم...

مسئله جدید مسابقات کگل یک مسئله multivariate هستش که ۷ تا تارگت با نام های:

Pastry, Z_Scratch, K_Scatch, Stains Dirtiness, Bumps, Other_Faults

داره که انواع خرابی های فولاد هستن. چالشِ تارگت‌های Pastry و Bumps و Other_faults از بقیه بیشتره (روی بقیه میشه به دقت های خوب و بالایی رسید).

من از ساده‌ترین حالت، یعنی ترین مدل روی هر کدوم از تارگت‌ها به صورت جداگونه شروع کردم و اونطور که خودم تست کردم و نوت بوک‌های بقیه رو دیدم، بنظر میرسه xgboost روش بهتری باشه روی این دیتاست ( رنگ قرمز دقت مدل LGBM هستش).

همچنین یک دیتاست اورجینال هم هست که می تونید اضافه کنید به دیتاست ترین.

بالاترین دقت بدست اومده تا الان 0.89706 هست.

امیدوارم شما هم شرکت کنید و ایده‌ها و نظراتتون رو مطرح کنید. 🌟

قرار شد نوتبوکش رو در گروه بذاره. دوست داشته باشید، اینجا هم میذاریم.