عملکرد خیره‌کننده پلتفرم هوش مصنوعی Groq در اجرای Llama 3 متا: پردازش 800 توکن‌ در‌ هر ثانیه

متا روز گذشته هم‌زمان با ارائه هوش مصنوعی اختصاصی خود در اینستاگرام، واتس‌اپ و فیسبوک، مدل زبانی بزرگ جدید لاما 3 (Llama 3) را در اختیار تأمین‌کنندگان سرویس‌های ابری قرار داده است. حالا برخی کاربران شبکه‌های اجتماعی به عملکرد این مدل در پلتفرم هوش مصنوعی Groq اشاره کرده‌اند که گفته می‌شود سرعت استثنایی پردازش 800 توکن بر ثانیه را ارائه می‌دهد.

عملکرد خیره‌کننده مدل لاما 3 در پلتفرم هوش مصنوعی Groq

براساس پستی که توسط «مت شومر»، بنیان‌گذار و مدیرعامل شرکت OthersideAI، منتشر شده است، پلتفرم هوش مصنوعی شرکت Groq سرعت استنتاج برق‌آسای بیش از 800 توکن بر ثانیه را با مدل لاما 3 متا ارائه می‌کند. هرچند متا یا Groq هنوز این موضوع را تأیید نکرده‌اند، اما این ویژگی می‌تواند در مقایسه با سایر سرویس‌های هوش مصنوعی ابری یک جهش قابل‌توجه باشد.

VentureBeat در گزارش خود از این موضوع اعلام کرده که این ادعا درست است. [از طریق این لینک می‌توانید خودتان عملکرد آن در چت‌بات Groq را امتحان کنید.]

پردازش 800 توکن در هر ثانیه (یا حدود 48 هزار توکن بر دقیقه) برای Llama 3 به‌اندازه‌ای سریع است که با وجود آن، مدل‌های هوش مصنوعی در هر دقیقه می‌توانند حدود 500 کلمه تولید کنند. همچنین با این شرایط، سرعت استنتاج لاما 3 از مدل‌های زبانی بزرگ دیگری که امروزه روی پردازنده‌های گرافیکی معمولی در فضای ابری ارائه می‌شوند، سریع‌تر است.

توسعه معماری جدید توسط Groq برای محاسبات یادگیری عمیق

استارتاپ مستقر در سیلیکون‌ولی Groq، درحال توسعه یک معماری پردازنده جدید بهینه‌سازی‌شده برای عملیات‌های ضرب ماتریسی است که قلب محاسباتی یادگیری عمیق محسوب می‌شود. Groq ادعا می‌کند که این معماری می‌تواند عملکرد و کارایی بسیار بالاتری را برای استنتاج هوش مصنوعی ارائه کند و نتیجه عملکرد پردازشی 800 توکن بر ثانیه برای لاما 3 به ادعای آن اعتبار می‌بخشد.

معماری Groq در مقایسه با طرح‌های مورد استفاده توسط انویدیا و سایر سازندگان تراشه، تفاوت‌های قابل‌توجهی دارد. این استارتاپ به‌جای تطبیق پردازنده‌های همه‌منظوره برای هوش مصنوعی، پردازنده Tensor Streaming خود را برای تسریع الگوهای محاسباتی خاص یادگیری عمیق ساخته است.

متا پس از عرضه لاما 3 ادعا کرده بود که این مدل زبانی عملکرد بهتری نسبت به اغلب رقبا دارد. درحال‌حاضر این مدل در دو نسخه ارائه شده که یکی از آن‌ها با 8 میلیارد و دیگری با 70 میلیارد پارامتر همراه است. متا می‌گوید که میزان تنوع در پاسخ‌های ارائه‌شده توسط این مدل بیشتر از گذشته شده است و خطاها یا عدم پاسخ‌گویی به سؤالات به‌ندرت صورت می‌گیرد. همچنین نحوه درک دستورات و نوشتن کدها هم بهبود یافته است.

گفتنی است که استارتاپ Groq ارتباطی با هوش مصنوعی Grok، متعلق به استارتاپ xAI ایلان ماسک ندارد.