دیتاهاب

این روزا و از سر کنجکاوی ذهنم درگیر Fine-tuning مدل‌های کوچیکه
دیدم می‌شه یک Llama 7B رو روی dataset خودمون tune کرد که عملکرد بهتری نسبت به GPT-4 داشته باشه
البته برای domain specific tasks
من یک dataset از ۱۰ هزار sample سوال و جواب پزشکی جمع کردم، با LoRA fine-tune کردم
نتیجه‌ش جالب بود، توی medical queries دقت ۸۵ درصدی داشت
در حالی که GPT-4 حدود ۷۲ درصد می‌زد
نکته مهم اینه که GPU requirement خیلی کمتره
با یک RTX 4090 می‌شه fine-tune کرد
ولی data preparation اصل ماجراس، اگه quality dataset نداشته باشی، هر چی train کنی بی‌فایده‌س

❤11👍5

www.tgoop.com/data_hub_ir/919

1.4K viewsAug 20 at 06:43

این روزا و از سر کنجکاوی ذهنم درگیر Fine-tuning مدل‌های کوچیکه
دیدم می‌شه یک Llama 7B رو روی dataset خودمون tune کرد که عملکرد بهتری نسبت به GPT-4 داشته باشه
البته برای domain specific tasks
من یک dataset از ۱۰ هزار sample سوال و جواب پزشکی جمع کردم، با LoRA fine-tune کردم
نتیجه‌ش جالب بود، توی medical queries دقت ۸۵ درصدی داشت
در حالی که GPT-4 حدود ۷۲ درصد می‌زد
نکته مهم اینه که GPU requirement خیلی کمتره
با یک RTX 4090 می‌شه fine-tune کرد
ولی data preparation اصل ماجراس، اگه quality dataset نداشته باشی، هر چی train کنی بی‌فایده‌س

BY دیتاهاب