آزمایش‌های محرمانه متا لو رفت؛ ارزیابی تأثیر داده‌ها در عملکرد هوش مصنوعی

پرونده حقوقی پرسر‌و‌صدایی که شرکت متا را هدف گرفته، اسناد داخلی متعددی از این شرکت فاش کرده است. میان آنها، سندی وجود دارد که توجه برخی پژوهشگران هوش مصنوعی را جلب کرده و جزئیات تازه‌ای درباره نحوه آموزش مدل‌های هوش مصنوعی مانند Llama آشکار می‌کند.

براساس گزارش بیزینس اینسایدر، در این اسناد توضیح داده شده که پژوهشگران متا از فرایندی به نام «Ablation» (ابلیشن) استفاده می‌کنند تا مشخص کنند کدام داده‌ها در بهبود عملکرد مدل Llama مؤثر بوده‌اند. واژه ابلیشن که از حوزه پزشکی وام گرفته شده، به فرایند حذف یا تخریب عمدی یک بخش برای بررسی تأثیر آن بر عملکرد کل سیستم اشاره می‌کند.

در حوزه هوش مصنوعی، ابلیشن به معنای حذف یا جایگزینی بخشی از سیستم یا داده‌هاست تا نقش آن قسمت در عملکرد نهایی مشخص شود.

در یکی از این آزمایش‌ها، متا بخشی از داده‌های آموزشی خود را با کتاب‌هایی از پایگاه داده‌ LibGen جایگزین کرده که غیرقانونی منتشر شده‌اند سپس مدل Llama را مجدد آموزش داد تا اثر این جایگزینی را ارزیابی کند.

متا در آزمایش دیگری، کتاب‌های علمی، فناوری و داستانی را به داده‌های آموزشی اضافه کرده و در آزمایشی دیگر، فقط کتاب‌های داستانی وارد فرایند آموزش شدند. به‌ گفته اسناد داخلی منتشرشده در دادگاه، عملکرد مدل Llama در هر 2 آزمایش به‌طور چشمگیری در بنچمارک‌های صنعتی بهبود یافته است.

نتایج محرمانه آزمایش‌های ابلیشن متا

آزمایش‌های Ablation متا بر اولین مرحله آموزش تمرکز دارد که در آن داده‌های عظیم برای آشنایی مدل با مفاهیم دنیای واقعی به‌ کار می‌روند.

در نخستین آزمایش، افزودن کتاب‌های علمی، تکنولوژی و داستانی بنچمارک BooIQ را 4.5 درصد بهبود داده. همچنین افزودن کتاب‌های داستانی 6 درصد بهبود ایجاد کرده است.

«پیتر هندرسون»، استاد علوم رایانه دانشگاه پرینستون، نمودارهایی از اسناد داخلی متا را در ایکس منتشر کرده که نتایج این بهبودها را نشان می‌دهند.

BooIQ شامل مجموعه‌ای از نزدیک به 16 هزار سؤال بله/ خیر می‌شود که مدل باید به آنها پاسخ دهد. هرچه مدل پاسخ‌های درست بیشتری به سؤالات بدهد، عملکردش بهتر ارزیابی می‌شود. بهبود 5 درصدی یعنی مدل متا توانسته به حدود 800 سؤال بیشتر پاسخ درستی بدهد.

ابلیشن تکنیکی رایج اما محرمانه برای شرکت‌های هوش مصنوعی

ابلیشن به‌ روشی رایج در متا و سایر شرکت‌های فعال در حوزه هوش مصنوعی تبدیل شده است؛ برای مثال، اینسایدر می‌گوید یکی از مهندسان متا در لینکدین اعلام کرده در فرایند توسعه Llama 4 و نسخه‌های پیشین، بیش از 100 آزمایش ابلیشن انجام داده است.

البته متا نتایج این آزمایش‌ها را منتشر نمی‌کند و سایر شرکت‌ها نیز در این زمینه سکوت می‌کنند.

«نیک وینسنت»، استادیار دانشکده علوم رایانه دانشگاه سایمون فریزر، می‌گوید یکی از دلایل احتمالی این پنهان‌کاری این است که اگر مشخص شود کدام داده‌ها دقیقاً عملکرد مدل را بهبود داده‌اند، صاحبان اصلی آن داده‌ها می‌توانند درخواست حق‌الزحمه کنند.

او می‌گوید:

«اگر این اعداد عمومی اعلام شوند، ممکن است سازمان‌های تولیدکننده محتوا موضع حقوقی قوی‌تری بگیرند.»

درنهایت وینسنت امیدوار است افشاگری‌هایی از این قبیل درباره آزمایش‌های محرمانه متا به ایجاد سیستم جدیدی برای نسبت‌دادن اعتبار به منابع داده‌های آموزشی و جبران مالی عادلانه منجر شود. او می‌گوید:

«چت‌بات‌های هوش مصنوعی متکی به این [حقیقت] هستند که انسانی جایی کاری مفید کرده باشد، آن را نوشته و منتشر کرده باشد. این فناوری آن اطلاعات را دوباره بسته‌بندی کرده و امیدوار است آن را مفیدتر ارائه دهد. درنهایت، همه‌چیز به انسان‌ها برمی‌گردد. بدون این داده‌ها، مدل‌های هوش مصنوعی عملکرد خوبی نخواهند داشت. اسناد آزمایش‌های ابلیشن می‌توانند به ایجاد جریان سالم داده و تقویت نهادهایی کمک کنند که تولید محتوا و دانش را تشویق می‌کنند.»

این گزارش در شرایطی منتشر شده که غول‌های فناوری از متا به‌خاطر تنظیم نامناسب اسناد دادگاه و افشای اطلاعات حساس انتقاد کرده بودند.