هواوی یک روش متنباز به نام SINQ را معرفی کرده است که به توسعهدهندگان امکان میدهد مدلهای زبانی بزرگ را کوچک کنند و مصرف حافظه آنها را تا ۷۰ درصد کاهش دهند. با این روش میتوان مدلهای هوش مصنوعی پیشرفته را روی سختافزارهای ارزان اجرا کرد.
یکی از بزرگترین موانع بر سر راه استفاده گسترده از مدلهای زبانی بزرگ، اندازه بزرگ و نیاز سیریناپذیر آنها به حافظه و قدرت محاسباتی است. اجرای این مدلها معمولاً نیازمند پردازشگرهای گرافیکی بسیار گرانقیمت (مانند NVIDIA A100 یا H100 با قیمت دهها هزار دلار) و هزینههای بالای سرورهای ابری است. این موضوع، دسترسی به هوش مصنوعی قدرتمند را برای محققان، استارتاپها و شرکتهای کوچکتر بسیار دشوار میکند.
یکی از راهکارها برای حل این مشکل، فرایندی به نام کوانتیزاسیون (Quantization) است. در این روش، دقت عددی مدل کاهش داده میشود (شبیه به کاهش کیفیت یک تصویر برای کمکردن حجم آن). این کار باعث کاهش مصرف حافظه و افزایش سرعت میشود، اما ریسک بزرگ آن، افت کیفیت و دقت خروجی مدل است.
تکنیک جدید و متنباز هواوی که SINQ نام دارد، دقیقاً برای حل همین مشکل طراحی شده است. این روش مصرف حافظه را ۶۰ تا ۷۰ درصد کاهش میدهد، بدون آنکه افت قابل توجهی در کیفیت خروجی ایجاد کند.
روش جدید هواوی برای اجرای هوش مصنوعی روی سیستمهای ارزان
کاهش مصرف حافظه در روش جدید به معنای آن است که مدلی که قبلاً به بیش از ۶۰ گیگابایت حافظه نیاز داشت، اکنون میتواند بر روی سیستمی با حدود ۲۰ گیگابایت حافظه اجرا شود. در عمل، این یعنی شما میتوانید به جای یک پردازنده ۳۰ هزار دلاری H100، از کارت گرافیکی مانند NVIDIA GeForce RTX 4090 (با قیمت حدود ۱۶۰۰ دلار) برای اجرای همان مدل استفاده کنید. این کاهش هزینه در استفاده از سرورهای ابری نیز به همین اندازه چشمگیر است.
نکته قابل توجه این است که هواوی این روش را بهصورت کاملاً متنباز در دسترس قرار داده است. SINQ با مجوز Apache 2.0 در Github و Hugging Face منتشر شده، این یعنی هر فرد یا شرکتی در سراسر جهان میتواند به صورت کاملاً رایگان از این کد استفاده کند، آن را تغییر دهد و حتی در محصولات تجاری خود به کار گیرد.
با کاهش چشمگیر موانع سختافزاری و مالی، هواوی به جامعه جهانی توسعهدهندگان این قدرت را میدهد تا با مدلهای بزرگتر و قدرتمندتر کار کنند و موج جدیدی از نوآوری را در اپلیکیشنها و سرویسهای هوشمند ایجاد کنند.
ثبت دیدگاه علمی و آموزشی