پارادایم TAG یا Table-augmented Generation توسط پژوهش‌گران دانشگاه برکلی و استنفورد معرفی شده و برای تبدیل کوئری متنی به کد SQL روی دیتابیس استفاده می‌شود.

گیت‌هاب:
https://github.com/TAG-Research/TAG-Bench

مقاله:
https://arxiv.org/pdf/2408.14717v1

مایکروسافت ابزاری به‌نام AutoGen Studio را منتشر کرده که به پژوهش‌گران حوزه‌ی Multi Agent Systems اجازه می‌دهد بدون کدنویسی (فقط با drag-n-drop) یک سامانه‌ی چندعامله مبتنی بر GenAI را به‌عنوان پروتوتایپ و به‌سادگی چند کلیک پیاده‌سازی کنند.

pip install autogenstudio
autogenstudio ui -- port 8081

بلاگ‌پست معرفی:
https://www.microsoft.com/en-us/research/blog/introducing-autogen-studio-a-low-code-interface-for-building-multi-agent-workflows/

گیت‌هاب:
https://github.com/microsoft/autogen/tree/main/samples/apps/autogen-studio

مقاله:
https://arxiv.org/pdf/2408.15247

واترمارکینگ در مدل‌های GenAI

واترمارکینگ در GenAI به نشانه‌گذاری‌هایی درون محتوای تولیدشده (متن، تصویر، ویدئو، موسیقی و …) گفته می‌شود که از نگاه ما پنهان ولی در نگاه ماشین آشکار باشند.

مثلا گوگل در محصولات GenAI خود از ابزاری به‌نام SynthID استفاده کرده و محتوای تولید‌شده را واترمارک می‌کند.

بنابراین به‌عنوان‌نمونه شما در مواجهه با یک تصویر در بخش جست‌وجوی گوگل، می‌توانید با مراجعه به قسمت about this image واترمارک آن را بررسی کنید. یا با مراجعه به سایت‌هایی مثل ZeroGPT انسانی بودن یک متن را بررسی کنید.

روش عمل‌کرد واترمارک در LLM ها به‌این‌صورت‌ست که:
می‌دانیم، مدل زبانی، در هر لحظه، توکن بعدی را به‌صورت یک توزیع احتمال روی واژه‌نامه، پیش‌بینی می‌کند. ابزارهای واترمارکینگ، این توزیع احتمال را جوری‌که به دقت، صحت و خلاقیت متن آسیبی نرسد، تغییر می‌دهند. به‌این‌صورت، حتی در یک متن سه‌جمله‌ای نیز تعداد قابل توجهی واترمارک وجود دارد که از نگاه ما پنهان‌ست ولی ابزارهایی مانند SynthID یا ZeroGPT آن‌را آشکار می‌کنند.

https://deepmind.google/technologies/synthid/

گوگل نامِ TensorFlow Lite را به LiteRT تغییر داد.

درابتدا، TFLite نسخه‌ای سبک از مدل‌های تنسورفلو برای اجرا روی دستگاه‌های موبایل بود.

اما در ادامه تبدیل به یک runtime عمومی برای اجرای مدل‌های یادگیری ماشین نوشته‌شده توسط TensorFlow و Keras و Pytorch و JAX برروی دستگاه‌های Edge از جمله موبایل‌های اندرویدی و iOS و همین‌طور Embedded Devices شد.

نام جدید، بیان‌گر ویژن جدید این محصول‌ست.

https://developers.googleblog.com/en/tensorflow-lite-is-now-litert/?linkId=10850223

AlphaProteo generates novel proteins for biology and health research

https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/

اگر علاقه‌مند به مدل‌های VLM هستید، به‌احتمال زیاد طی روزهای اخیر در مورد دو مدل جدید و قدرت‌مند Qwen2-VL و LLaVa-OneVision که مبتنی بر مدل زبانی Qwen2 اند شنیده‌اید.

مدل Qwen2-VL در دو نسخه‌ی ۲ و ۷ میلیاردی (و به‌زودی ۷۲ میلیاردی) توسط گروه Alibaba و تحت لیسانس Apache 2.0 به‌صورت اوپن-سورس منتشر شده و عمل‌کرد قابل‌توجهی در تسک‌هایی مثل OCR و Object Tagging و Keyword Generation و Image Classification و Object Detection از خود نشان داده‌ست.

مدل LLaVa-OneVision (نسل جدیدِ LLaVa-NeXT) در سه سایز ۵۰۰ میلیونی، ۷ میلیاردی و ۷۲ میلیاردی و تحت لیسانس CC BY NC 4.0 (قابل استفاده برای اهداف غیرِتجاری) منتشر شده و به‌خصوص در تسک‌های ویدئویی عمل‌کرد چشم‌گیری داشته‌ست. این مدل به‌کمک تکنیک anyres-9 قادرست تصاویر با هر رزولوشنی را با جزییات کافی پردازش کند.

قدرت فهم ویدئو در این دو مدل روی بنچ‌مارک Video-MME در این جدول بررسی شده‌ست.

مجله‌ی مشهور TIME نام ایلان ماسک، موسس شرکت‌های Tesla و SpaceX و Neuralink و هم‌بنیان‌گذار OpenAI را از لیست ۱۰۰ چهره‌ی تاثیرگذار در دنیای AI حذف کرد 😂

با‌این‌حال اسکارلت جانسون، هنرپیشه‌ی فیلم‌های هالیوودی و صداپیشه‌ی فیلم Her هم‌چنان در این لیست قرار دارد. 🤔

بسیاری این تصمیم رو ناشی از سوگیری‌های سیاسی این مجله و مرتبط با حمایت‌های اخیر ماسک از Trump عنوان کرده‌اند.

یک بلاگ‌پُست بسیار خوب در مورد طراحی مقیاس‌پذیر معماری سامانه‌های AI

https://huyenchip.com/2024/07/25/genai-platform.html

اگر تا الان سعی کرده باشید که یکی از VLM ها مثل PaliGemma یا Florence-2 یا Qwen2-VL رو روی داده‌های خودتون فاین‌تیون کنید، می‌دونید که به این سادگی‌ها هم نیست!

پکیج maestro اومده که این مشکل رو حل کنه و فاین‌تیون‌کردن مدل‌های چندوجهی رو ساده‌تر کنه.


گیت‌هاب:
https://github.com/roboflow/multimodal-maestro

نوت‌بوک:
https://colab.research.google.com/github/roboflow/multimodal-maestro/blob/develop/cookbooks/maestro_florence2_object_detection.ipynb

نجات کودک گم‌شده در مزرعه‌ی ذرت، به‌کمک پهباد و دوربین حرارتی.

کد پیاده‌سازی‌شده‌ی تعدادی از مدل‌های self-supervised learning پرکاربرد که توسط بهروز جان آذرخلیلی منتشر شده‌ست.

https://github.com/behroozazarkhalili/SSL

تراشه‌های رایانه‌ای نقش مهمی در پیش‌رفت هوش مصنوعی داشته‌اند، حال نوبت به هوش مصنوعی‌ست که دین خود را ادا کند.

چهارسال پیش، آزالیا میرحسینی در گوگل موفق شد به‌کمک یادگیری تقویتی عمیق، روشی برای طراحی چیدمان تراشه‌های کامپیوتری (chip floorplanning) ابداع کند.

در این روش، ابتدا، یک Grid خالی درنظر گرفته شده و در هر تکرار، یکی از مولفه‌ها (مدارها)،‌ روی آن قرار می‌گیرد. پاداش نهایی از روی کیفیت چیدمان تراشه‌ی نهایی مشخص می‌شود. یک شبکه‌ی عصبی گرافی مبتنی بر یال (Edge-based GNN) ارتباط بین مولفه‌ها را یادگرفته و آن را به بخش‌های دیگر تعمیم می‌دهد.

لازم به ذکرست، تمام تراشه‌های شتاب‌دهی هوش مصنوعی گوگل (TPU) و همین‌طور Google Axion توسط این روش طراحی شده‌اند.

امروز بعد از چهار سال، این مدل، AlphaChip نام گرفت و به‌زودی چک‌پوینت (وزن‌های) آن برای استفاده‌ی سایرین دردسترس قرار خواهد گرفت.


بلاگ‌پست:
https://deepmind.google/discover/blog/how-alphachip-transformed-computer-chip-design/
گیت‌هاب:
https://github.com/google-research/circuit_training/

به‌زودی یک کورس خوب در مورد Agentic Application ها توسط دانشگاه برکلی برگزار خواهد شد.

ثبت‌نام کنید :)

https://llmagents-learning.org/f24

نوبل کم‌ترین جایزه‌ای‌ست که می‌شه به هینتون داد…

نوبل شیمی هم به سازندگان AlphaFold رسید…

تسلا روبووَن و روبوتاکسی را معرفی کرد...
فرمون بی فرمون!
به آینده خوش آمدید.

https://www.caranddriver.com/news/a62567491/tesla-robotaxi-reveal/

پکیج جدید از تیم اندرو انگ برای سادگی در فراخوانی مدل‌های زبانی مختلف

https://github.com/andrewyng/aisuite

نوروز،
جام جمشید، مهر کورش، تیر آرش، خون سهراب، رخش رستم، عشق بابک،
بر تمام پارسیان جهان پیروز 🪻

یکی از بزرگواران دررابطه با به‌کار‌گیریِ واژه‌ی «پارسیان» به‌جای ایرانیان در پُستِ شادباشِ نوروز پرسش‌گری داشتند که بد ندیدم اینجا توضیح بدم.

عزیزان، ما در ایرانِ امروز، اقوام بسیار داریم، لر، بلوچ، آذری، تُرک، تات، کورد، تالشی، مازنی، ارمنی، آشوری، گیلک و ... اما قومی به‌نام قوم «پارس» به‌طور قابل مقایسه با اقوامِ عنوان‌شده نداریم و این فقط‌وفقط پرداخته‌ی ایران‌ستیزان و تجزیه‌طلبان برای خط‌کشی بین ملت بزرگ ایران‌ست. بین بلوچ‌ها تبلیغ بلوچ در مقابل فارس می‌کنند، بین آذری‌ها حرف از ترک‌ها و فارس‌ها می‌زنند و بین کوردها نیز سخن از کورد درمقایسه‌با فارس می‌زنند تا بین هر قوم با سایر ایرانیان خط‌کشی کنند.

قوم پارس در واقع یک قوم باستانی آریایی در کنار سایر اقوام باستانی ازجمله پارت و ماد و ... بوده و در لیست اقوام باستانی معنا دارد نه اقوامِ امروز. به مرور زمان، به‌ویژه در دوران هخامنشیان، همه‌ی اقوام باستانی (پارس و ماد و پارت و ...) با هم به‌طور کامل ترکیب شده‌ند و ملت یکپارچه‌ای رو تشکیل دادند که به صورت رسمی، با نام «پارسیان» یا «پرشیا» به جهانیان معرفی شد. نام «ایران‌شهر» و به‌طور خلاصه، «ایران» هم در دوره‌ی ساسانیان بر روی کشور گذاشته شد، اما بیشتر مصرف داخلی داشت تا خارجی و در خارج از کشور، همچنان کشور ما رو با نام پرشیا یا پارسیان می‌شناختند تا در ۲۵ دسامبر ۱۹۳۴، و در دوره‌ی پادشاهی رضاشاه، وزارت خارجه‌ی پرشیا، طی یادداشتی رسمی از جهانیان خواست از نام «ایران» به‌جای «پرشیا» استفاده کنند. (البته بعدا این درخواست اصلاح شد و به جهانیان اعلام شد که هر دو نام ایران و پرشیا برای اشاره به کشور ما صحیح‌ست)

بنابراین همه‌ی ما از هر قوم، ایرانی یا پارسی هستیم. این رو همه‌ی مستندات علمی و فرهنگی از‌جمله آزمون ژنتیک به‌راحتی اثبات می‌کنه.

و حال دلیل به‌کاربردن واژه‌ی «پارسیان» به‌جای «ایرانیان» در پُست چیست؟ اینکه کشور ما که امروز به‌نام «ایران» در جهان شناخته می‌شه، تنها جایی نیست که نوروز رو جشن می‌گیرند. عزیزان افغان، تاجیک، آرانی و کورد عراقی هم در این گروه حضور دارند که نوروز رو جشن می‌گیرند و طبق مرزبندی‌های امروز کشورهای مستقل خودشون رو دارند. بنابراین تلاش شده از واژگان بهتری استفاده شه که شامل حال همه‌مون باشه.

به امید آگاهی، آبادی، آزادی، رفاه و تن‌درستی برای همه،
نوروز پیروز ❤️