Unsupervised Anomaly Detection with Generative Models Research Application

This is a 6-month research project in the group of Dr. Rohban (RIML Lab) from the Sharif University of Technology on Improving Density Estimation of Generative Models for Unsupervised Anomaly Detection.

Project Description:
Thanks to the tractability of their likelihood, several deep generative models show promise for seemingly straightforward but important applications like anomaly detection, uncertainty estimation, and active learning. However, the likelihood values empirically attributed to anomalies conflict with the expectations these proposed applications suggest. In this project, we aim to take a closer look at the behavior of distribution densities to better understand the problem, provide solutions for robust training of generative models from the lens of reliable anomaly detection, and investigate subsequent effects of efforts to overcome this challenge on generation properties of generative models.

For more information, you can read the following papers.
- Do Deep Generative Models Know What They Don't Know?
- Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
- Autoencoding Under Normalization Constraints

The Musts:
- Being familiar with Statistics and Probability fundamentals is necessary.
- Being familiar with Machine Learning and Deep Learning fundamentals and experience with PyTorch is necessary.
- Being familiar with Generative Models especially Energy-Based models, Normalizing Flows, and Diffusion models is recommended (Note that there will be some short training sessions on the mentioned topics during the project).
- Since this is a relatively time-intensive project, dedicating considerable time and consistency to the project is necessary.

We would be happy to answer any questions you may have through gsepehr98@gmail.com or @sepiosky telegram ID.

سلام

امروز ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای سفید را خواهیم داشت.

Date: 1402/08/17

Speaker: Amin Sefid


Title: Molecular Property Prediction

Abstract: Drug discovery is an expensive, complicated, and time-consuming process with a high possibility of failure.
One part of this complicated process is to determine the properties of drug-like molecules, which conducted by expensive experimental analysis or time-consuming accurate calculations.
With advances in AI in many cases, lots of efforts have been made in the field of property prediction to reduce time and costs.
To this end, we want to explore the challenges and opportunities of this field.

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

چهارشنبه ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای توکلی را خواهیم داشت.

Date: 1402/08/23

Speaker: Seyed Reza Tavakoli

Title: آشنایی با مفاهیم ریاضی مالی

Abstract:
توضیح مدل های مالی
black scholes, Heston

و قیمت گذاری اختیار معامله و نوسانات بازار در یک مقاله از دیدگاه ریاضی
و دسته بندی انواع حل PDE

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

فردا (چهارشنبه) ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای ماری‌اوریاد را خواهیم داشت.

Date: 1402/09/01

Speaker: Arash MariOryad

عنوان:
معرفی مدل‌های دیفیوژنی مولد (Generative Diffusion Models)

چکیده:
- مدل‌های دیفیوژنی دسته‌ای از مدل‌های مولد Score-based هستند که سعی می‌کنند فرایند تولید داده (عکس،‌ متن، و ...) را با شروع از یک توزیع ساده (مانند نرمال استاندارد) و تغییر آن تا رسیدن به یک توزیع دلخواه پیچیده (توزیع‌ داده‌های آموزش) طی تعداد گامی مشخص، یاد گرفته و شبیه‌سازی نمایند.
- به طور دقیق‌تر این مدل‌ها دارای دو فرایند اصلی Forward و Reverse می‌باشند. در مرحله‌ی Forward با شروع از داده‌ی آموزش (مانند یک عکس)، در هر گام مطابق با یک پلن مشخص (که توسط Scheduler تغیین می‌شود) یک نویز گاوسی به داده‌ی فعلی اضافه شده و این فرایند تا زمانی که به یک محتوای کاملا نویزی برسیم ادامه می‌یابد. حال در فرایند Reverse سعی می‌شود در هر گام با پیشبینی نویز اضافی، در نهایت از سمپل حاصل از توزیع ساده (مانند نرمال استاندارد) به سمپلی از توزیع پیچیده (مانند داده‌های آموزش) دست یابیم.
- در این ارائه قصد داریم ضمن آشنا شدن با مفاهیم اولیه و فرایند آموزش مدل‌های دیفیوژنی، با بررسی دقیق‌تر تئوری این مدل‌ها به دانش خود نسبت به مدل‌های مولد Score-based عمق بیشتری ببخشیم.
- برای آشنایی بیشتر می‌توانید به مقاله‌ی زیر مراجعه نمایید:
Denoising Diffusion Probabilistic Models

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

امروز ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای عبدوس را خواهیم داشت.

Date: 1402/09/08

Speaker: Sina Abdous

عنوان:
معرفی تفسیرکننده های شبکه های گرافی (Graph neural networks explainers)

چکیده:
- شبکه‌های عصبی گرافی (Graph Neural Networks یا GNNs) یکی از پیشرفت‌های نوین در حوزه یادگیری ماشین هستند که برای مدل‌سازی داده‌های ساختاریافته به شکل گراف طراحی شده‌اند. این شبکه‌ها قادر به استخراج ویژگی‌ها و یادگیری از روابط میان نودها (گره‌ها) و یال‌های یک گراف هستند. GNN‌ها با استفاده از مکانیزم‌هایی مانند ترکیب خطی و تابع‌های فعال‌سازی، اطلاعات موجود در هر گره و همسایه‌هایش را ترکیب کرده و به یک نمایش کارآمد از داده‌های ساختاریافته دست می‌یابند.
- علی رغم رشد روزافزون دقت مدل های مذکور، ضرورت شفافیت در نحوه عملکرد این مدل ها جهت به کار گیری در محیط های حساس، بیش از پیش مورد نیاز است. بدین منظور، توسعه مفسرهای مرتبط، مورد توجه قرار گرفته است. تفسیرکننده‌های شبکه‌های عصبی گرافی (Graph Neural Network Interpreters) ابزارهایی هستند که به درک و تفسیر نحوه کارکرد و تصمیم‌گیری‌های درونی شبکه‌های عصبی گرافی کمک می‌کنند. این تفسیرکننده‌ها با ارائه دیدگاهی شفاف این امکان را می‌دهند تا درک بهتری از چگونگی تأثیرگذاری ویژگی‌های مختلف گره‌ها و یال‌ها بر نتایج حاصل از شبکه داشته باشیم. این فرآیند شامل تکنیک‌هایی مانند تحلیل حساسیت، شبکه‌های عصبی متقابل (counterfactual neural networks)، و روش‌های تجزیه و تحلیل مسیر است که این امکان را می‌دهد تا تأثیرات متقابل نودها و ارتباطات آن‌ها در یک گراف شناسایی و تفسیر شود. به کارگیری این تفسیرکننده‌ها به ویژه در زمینه‌هایی که نیازمند شفافیت و قابلیت اطمینان بالایی از مدل‌های پیش‌بینی هستند، از اهمیت بالایی برخوردار است و به تقویت اعتماد و درک عمیق‌تر نسبت به عملکرد این شبکه‌های پیچیده کمک می‌کند.
- در این ارائه قصد داریم تا با ساختار کلی مفسرهای مذکور و مفاهیم پایه ای آن ها آشنا شویم.
- برای آشنایی بیشتر می‌توانید به مقالات زیر مراجعه نمایید:
Explainability in Graph Neural Networks
GNNExplainer: Generating Explanations for Graph Neural Networks

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

ارائه‌ی Molecular Property Prediction از آقای سفید در تاریخ ۱۷ آبان ۱۴۰۲

ارائه‌ی Denoising Diffusion Probabilistic Models از آقای ماری‌اوریاد در تاریخ ۱ آذر ۱۴۰۲

ارائه‌ی GNNExplainer از آقای عبدوس در تاریخ ۸ آذر ۱۴۰۲

#open_position
We are looking for a new intern to work on novel high-quality image generation methods. The work is consisted of a study on text-aligned and diverse image generation along with the corresponding evaluation metrics. This is a shared work in @sutmll and @RIMLLab, under the supervision of Dr. Soleymani and Dr. Rohban.

## Requirements
- Familiarity with ML and DL fundamentals
- Familiarity with transformers
- Familiarity with diffusion models
- Familiarity with PyTorch framework
- Having skills in reading and presenting papers

## Preferred Qualifications
- Familiarity with vision-language models (VLMs)

## Benefits
- Being supportively supervised by  MLL and RIML's PIs and graduate students
- Being involved in cutting-edge research and study
- Receiving recommendation letters from Dr. Soleymani and Dr. Rohan

## How to Apply
To apply for the position, please send your CV and transcript, as well as a research statement, describing how you fulfill the position's requirements to ghaznavi.mahdi@gmail.com, aliabdollahi024a@gmail.com, and arashmarioriyad@gmail.com. Besides, please complete the following task, send the final results, and a report about the way you obtained them with the application:
Use text-to-image generative models (diffusion-based are recommended) to generate 5 high-quality images of a scene with the following description: "A man is driving and a woman is sitting beside him". The images should be as realistic and diverse as possible.

## Application Deadline
Send your application by Sunday, 1402/10/3.

## Contact Information
If you have any questions, please contact the above email or PM Ali Abdollahi (https://www.tgoop.com/mllresponse).

#research_application

#open_position

We need an intern/collaborator for a project on Self-Supervised Learning and Histopathology Whole Slide Classification.
The project has had success, having an accepted paper in a AAAI workshop, and the complete version is going to be submitted for the ECCV Conference (the conference deadline is 17 Esfand, so it’s close, and if you’re interested, apply as soon as you can).

Technical Requirements:
- English Proficiency is good enough to be able to read and comprehend academic papers and write well enough that ChatGPT understands.
- Hands-on experience in ML and Deep Learning
- Hands-on experience with Pytorch
- Familiarity with transformers
- Being able to work with a team on GitHub
- Successful experience of running academic paper’s GitHub codes
- Relatively clean coding

Non Technical Requirements:
- Being try-hard and persistent
- Being on call
- Entuzuastc to learn, especially new platforms

Benefits:
- Having RIML Lab and Dr. Rohban’s support and astomsfere
- Research-related recommendation letter from Dr. Rohban
- A high chance of having an ECCV paper in your CV

If you’re interested, you can send your CV to hussein.jafarinia@gmail.com

سلسله جلسات آزمایشگاه RIML با محوریت مباحث تئوری و تدریس دکتر رهبان:

- جلسه‌ اول: Conformal Prediction
- جلسه‌ دوم: Concentration of Measure - Part 1
- جلسه‌ سوم: Concentration of Measure - Part 2
- جلسه‌ چهارم: Concentration of Measure - Part 3
- جلسه‌ پنجم: Concentration of Measure - Part 4

این لیست به مرور زمان آپدیت می‌شود.

Reinforcement Learning Course
Dr. Rohban and Mr. Hasani
Spring 2023
Session 1

Reinforcement Learning Course
Dr. Rohban and Mr. Hasani
Spring 2023
Session 2