ادعای متا: مدل زبانی لاما 3 عملکرد بهتری نسبت به اغلب رقبا دارد

متا همزمان با ارائه هوش مصنوعی اختصاصی خود در پلتفرم‌های اجتماعی تحت مالکیت مانند اینستاگرام، واتس‌اپ و فیسبوک، مدل زبانی لاما ۳ در اختیار تامین‌کنندگان سرویس‌های ابری مانند آمازون قرار داده است. این شرکت ادعا دارد که مدل زبانی مذکور، قادر است عملکرد بهتری در مقایسه با رقبا از خود نشان دهد و اغلب هوش‌های مصنوعی فعلی از جمله جمینای گوگل را شکست می‌دهد.

مدل زبانی لاما ۳ چه ویژگی‌هایی دارد؟

مدل زبانی لاما ۳ فعلاً در دو نسخه ارائه می‌شود که یکی از آنها با ۸ میلیارد و دیگری با ۷۰ میلیارد پارامتر همراه هستند. هرچه این مقدار بیشتر باشد، نشان‌دهنده پیچیدگی بیشتر مدل و میزان بالاتر از درک تمرین‌ها است. اگرچه مدل فعلی تنها قادر به ارائه پاسخ‌های متنی است؛ اما متا می‌گوید که نسخه جدید، پیشرفت‌های چشمگیری در مقایسه با نسل قبلی از خود نشان داده است. برای مثال میزان تنوع در پاسخ‌ها اکنون بیشتر از گذشته شده است و خطاها یا عدم پاسخ‌گویی با سوالات به‌ندرت صورت‌می‌گیرد. همچنین نحوه درک دستورات و نوشتن کدها هم بهبود یافته‌است.

متا در یک پست رسمی، ادعا کرده است که هر دو نسخه از مدل زبانی لاما ۳ عملکرد بهتری در برخی بنچمارک‌ها در مقایسه با گوگل جما و جمینای، میسترال (نسخه ۷ میلیارد پارامتری) و Claude 3 دارند. برای مثال نسخه ۸ میلیارد پارامتری لاما ۳ در بنچمارک MMLU که به بررسی اطلاعات عمومی می‌پردازد، توانسته است رتبه بهتری نسبت به جما و میسترال ۷ میلیارد پارامتری کسب کند. نسخه ۷۰ میلیارد پارامتری هم با اختلاف کمی، بالاتر از جمینای پرو ۱.۵ گوگل قرار گرفته است. شایان‌ذکر است که متا در مقایسه‌های خود، اشاره مستقیمی به هوش مصنوعی پرچم‌دار OpenAI یعنی GPT-4 نکرده‌است.

باید اشاره کنیم که اگرچه گرفتن بنچمارک از مدل‌های زبانی می‌تواند راهکاری برای مقایسه عملکرد آنها باشد، اما گاهاً ممکن است نتایج گمراه‌کننده به‌دنبال داشته‌باشد. برای مثال اگر داده‌های مورد استفاده در بنچمارک، در داده‌های تمرینی مدل زبانی وجود داشته‌باشد، دیگر نمی‌توان به نتایج اتکای چندانی کرد؛ زیرا هوش مصنوعی در گذشته با سؤالات مشابه مواجه شده است و پاسخ به آنها را می‌داند.

با این حال متا هنوز هم ادعا دارد که حتی ارزیابی‌های انسانی، لاما ۳ را در جایگاه بالاتری نسبت به GPT-3.5 قرار داده‌اند. در طی ارزیابی‌های گفته‌شده، داده‌های جدیدی به‌منظور تست عملکرد مدل زبانی ایجاد شده است تا شرایطی مشابه با عملکرد در دنیای واقعی شبیه‌سازی شود. ارزیابی‌ها شامل ۱۸۰۰ دستور با پوشش ۱۲ محور اصلی بوده است که از میان آنها می‌توان به درخواست راهنمایی، طبقه‌بندی، پاسخ به سؤالات، کدنویسی، نوشتار خلاقانه متن، استخراج داده، استدلال، بازنویسی و خلاصه‌نویسی را اشاره کرد.

انتظار می‌رود که متا اقدام به ارائه مدل زبانی لاما ۳ در حجم‌های بیشتری کند که امکان درک دستورات طولانی‌تر و پردازش داده‌های بیشتر را خواهد داشت. همچنین امکانات و عملکردهای جدیدی مانند ساخت تصویر یا تبدیل فایل صوتی به متن، از قابلیت‌هایی هستند که در نسخه ۴۰۰ میلیارد پارامتری هوش مصنوعی فیسبوک در دسترس قرار خواهند گرفت. البته فعلاً خبری از ارائه پیش‌نمایش یا مقایسه مدل‌های حجیم‌تر با رقبای اصلی خود مانند GPT-4 نیست و باید منتظر انتشار داده‌های جدید از سوی متا باشیم.