امروز سایت deep-ml.com رو بررسی کردم؛ این سایت، شامل یکسری مساله تمرینی در حوزه هوش مصنوعی هست. برای هر مساله توضیحاتی ارائه شده و میشه به‌صورت آنلاین کدنویسی و نتیجه رو برای چک کردن سابمیت کرد.

بیشتر تمریناتش مربوط به جبر خطی، یادگیری ماشین و یادگیری عمیق هست. فقط یک یا دو مساله برای بینایی کامپیوتر و پردازش زبان طبیعی داره. امیدوارم، مساله‌ها بیشتر بشه. خودم علاقه‌مند شدم که در طراحی مساله باهاشون همکاری کنم! :)

به عنوان معلم، همیشه به دوستان پیشنهاد کردم که در آموزش صرفا تماشاگر نباشید و حتما روی مباحث تئوری و کدنویسی تمرین حل کنید.

@pytorch_howsam

قبلا، چند تا کتاب درباره LLM معرفی کرده بودم. توی دو ماه گذشته مشغول مطالعه دو کتاب زیر بودم:
کتاب درباره Build a Large Language Model از Sebastian Raschka
کتاب Hands-on LLMs از آقای Jay Alammar

احتمالا یک نقد و بررسی از اون دو کتاب می‌نویسم. فعلا، در این حد بگم که هر دو کتاب خوب هستن و ارزش خوندن دارن.

اما، الان به این فکر می‌کنم که بعد از این کتاب‌ها چه کتابی مطالعه کنم؛ تمایل دارم، کتابی انتخاب کنم که تمرکز بیشتری روی پروداکشن داشته باشه. خوشبختانه، چند تا کتاب از Manning دیدم که جالب هستن. هنوز دقیق بررسی نکردم، اما لیست کتاب‌ها رو اینجا میذارم:
کتاب LLMs in Production (از فهرست مطالب این کتاب خیلی خوشم اومد)
کتاب AI Agents in Action (فهرست مطالب خوبی داره)
کتاب Generative AI in Action (بعید هست کتاب بعدیم این باشه)
کتاب Build LLM Applications (from Scratch) (هنوز کامل منتشر نشده)
کتاب Hugging Face in Action (🧐)

این کتاب هم فهرست مطالب خوبی داره:
کتاب LLM Engineer's Handbook

بعدا نتیجه بررسی و مطالعه کتاب‌ها رو اینجا می‌نویسم.

دو خبر جالب!

گوگل، لیستی شامل 321 نمونه واقعی استفاده از Gen AI در شرکت‌ها و سازمان‌ها رو منتشر کرده. لینک

مدل DeepSeek-V3 از لحاظ دقت و سرعت موردتوجه قرار گرفته. مشابه با ChatGPT میشه از این سرویس هم استفاده کرد. سرعت تولید متنش جالب توجه هست! ثبت‌نام بدون دردسری داره. لینک

@pytorch_howsam

بریده‌ای از کتاب Hands-on LLMs!

در فصل 6 کتاب، درباره مهندسی پرامپت (Prompt Engineering) صحبت شده. در یکی از بخش‌های این فصل درباره استدلال یا Reasoning در مدل‌های مولد توضیح داده شده. در ادامه، خلاصه این بخش رو آوردم...

کتاب، قبل از اینکه درباره استدلال در مدل‌های مولد صحبت کنه، به استدلال در انسان اشاره می‌کنه. گریزی به کتاب معروف Thikning, Fast and Slow اثر Daniel Kahneman میزنه. این کتاب درباره روش‌های فکر کردن انسان‌هاست و ارتباطی به هوش مصنوعی نداره. این کتاب میگه، به طور کلی، روش‌های فکر کردن ما به دو دسته تقسیم میشن: سیستم ۱ و سیستم ۲؛ سیستم ۱ خودکار و سریع هست؛ مثل وقتی که یک چیزی رو سریع حدس می‌زنی یا احساسی تصمیم می‌گیری. این سیستم شبیه مدل‌های مولد هست که بدون فکر کردن، خروجی تولید میکنن. از طرف دیگه، سیستم ۲، آهسته‌تر و منطقی‌تر هست؛ مثلا، وقتی که با دقت فکر می‌کنی یا یک مساله پیچیده ریاضی حل می‌کنی. حالا، در LLM تلاش میشه که سیستم 2 پیاده‌سازی بشه تا مدل قبل از پاسخ دادن، فکر کنه.

کتاب دو روش استدلال رو معرفی میکنه:
1. زنجیره تفکر (Chain-of-Tought)
2. درخت تفکر (Tree-of-Tought)

1. روش Chain-of-Tought:
به جای اینکه مدل مستقیم و سریع پاسخ رو تولید کنه، مراحل فکری رسیدن رو هم نشون میده. مثلا، وقتی یک سوال حل مسئله ریاضی بهش داده میشه، اول فرآیند فکر کردن رو مرحله به مرحله توضیح میده و بعد به جواب نهایی میرسه. این کار باعث میشه مدل‌ها در حل مسائل پیچیده بهتر عمل کنن. این تکنیک شبیه روشی هست که آدم‌ها موقع فکر کردن استفاده می‌کنن؛ یعنی، اول استدلال و بعد نتیجه‌کیری.

2. روش Tree-of-Thought:
روش پیشرفته‌تری نسبت به Chain-of-Thought هست. توی این روش، به جای اینکه مدل فقط یک مسیر خطی از فکر کردن رو دنبال کنه، چندین مسیر فکری مختلف رو بررسی می‌کنه؛ مثل یک درخت که شاخه‌های مختلف داره. هر شاخه نماینده‌ یک راه‌حل یا یک استدلال متفاوت هست. مدل این شاخه‌ها رو ارزیابی می‌کنه و بهترین‌شون رو انتخاب می‌کنه تا به جواب بهتری برسه. تصویر پیوستی مربوط به همین روش استدلال درختی هست.

کتاب Hands-on LLMs رو قبلا اینجا معرفی کردم. کتاب خوبی هست. خودم هم به تازگی مطالعه این کتاب رو تموم کردم.

@pytorch_howsam

مجموعه Misguided Attention :

این مجموعه‌ای از پِرامپت‌ها (سوالات یا دستورالعمل‌ها) است که برای به چالش کشیدن توانایی‌های استدلالی مدل‌های زبانی بزرگ (LLMs) در حضور اطلاعات گمراه‌کننده طراحی شده‌اند. این پرامپت‌ها تغییرات کوچکی در آزمون‌های فکری، معماها یا پارادوکس‌های شناخته‌شده (که به آنها "سوالات پیچیده" نیز گفته می‌شود) ایجاد می‌کنند.

رفتار مورد انتظار این است که مدل‌های زبانی بزرگ، با استفاده از استدلال منطقی، مشکلات را به‌صورت گام‌به‌گام حل کنند. با این حال، بسیاری از مدل‌ها به‌دلیل مواجهه مکرر با نسخه‌های اصلی این مشکلات در داده‌های آموزشی‌شان، به‌اشتباه مسئله را تشخیص داده و به جای بررسی جزئیات و حل مسئله‌ی اصلاح‌شده، پاسخ‌هایی برای نسخه‌ی اصلی و تغییرنیافته‌ی مسئله ارائه می‌دهند. در برخی موارد نیز ممکن است رشته‌هایی از استدلال‌های متناقض مشاهده شود که در یک متن به‌طور متناوب ظاهر می‌شوند.

گیت هاب

گفت‌وگوی لکس فریدمن و آندری کارپاتی درباره بهره‌وری، تمرکز و تعادل کار و زندگی

این گفت‌وگو نکات جالبی برای من داشت. اول، خلاصه گفت‌وگو رو آوردم، بعدش مکالمه با جزئیاتش رو در ادامه گذاشتم. لینک گفت‌وگو در یوتوب

خلاصه گفت‌وگو:
برای کاری که میخواد انجام بده، دوست داره رَم مغزش رو با اون کار پر کنه! نسبت بهش وسواس داشته باشه و عمیقا باهاش درگیر بشه (مثلا، حین دوش گرفتن، خوابیدن و غیره هم بهش فکر کنه). نمی‌تونه به یک روز کاری فکر کنه؛ بلکه، برای عملکرد خوب در یک کار، باید یک بازه زمانی چندروزه درنظر بگیره. دوره‌های فشرده کوتاه کاری داره؛ مثلا، در یک بازه زمانی چندروزه، به‌صورت فشرده روی یک چالشی کار میکنه. این چالش میتونه ماهی یک بار اتفاق بیفته.

گفت‌وگوی با جزئیات در پست بعدی...
.