نتایج غیرمنتظره مطالعه جدید: هوش مصنوعی سرعت توسعه‌دهندگان باتجربه را کاهش می‌دهد

یافته‌های غافلگیرکننده تحقیقی جدید مشخص کرد که دستیارهای هوش مصنوعی کدنویسی نه‌تنها سرعت توسعه‌دهندگان باتجربه را افزایش نمی‌دهند، بلکه درواقع باعث می‌شوند آنها کار خود را ۱۹ درصد کُندتر به اتمام برسانند. این مطالعه نشان می‌دهد که با وجود تصور مثبت خود برنامه‌نویسان، واقعیت عملکردی این ابزارها در پروژه‌های پیچیده، کاملاً متفاوت است.

اگرچه ابزارهای هوش مصنوعی با وعده افزایش بهره‌وری کاربران دنیای فناوری را تسخیر کرده‌اند، مطالعه جدید سازمان غیرانتفاعی METR نتایج کاملاً غیرمنتظره‌ای داشته است. این پژوهش که روی توسعه‌دهندگان حرفه‌ای متمرکز بود، نشان داد که استفاده از دستیارهای کدنویسی هوشمند سرعت آنها را کاهش می‌دهد.

کاهش سرعت توسعه‌دهندگان بر اثر استفاده از هوش مصنوعی

در این مطالعه، ۱۶ برنامه‌نویس متن‌باز باتجربه، ۲۴۶ تسک واقعی (از رفع باگ تا توسعه ویژگی جدید) را در پروژه‌های بزرگی که با آنها آشنایی کامل داشتند، انجام دادند. به آنها به‌صورت تصادفی اجازه داده ‌شد که از ابزارهای هوش مصنوعی (عمدتاً Cursor Pro به همراه مدل‌های Claude 3.5 یا 3.7 Sonnet) استفاده کنند یا نکنند.

نتایج این آزمایش تضاد جالبی را آشکار کرد؛ قبل از شروع، توسعه‌دهندگان پیش‌بینی می‌کردند که با هوش مصنوعی ۲۴ درصد سریع‌تر خواهند بود. حتی پس از پایان مطالعه همچنان معتقد بودند که ۲۰ درصد بهبود بهره‌وری داشته‌اند. اما داده‌های ثبت‌شده نشان داد که توسعه‌دهندگان هنگام استفاده از هوش مصنوعی به‌طور متوسط ۱۹ درصد بیشتر برای تکمیل وظایف خود زمان صرف کرده‌اند.

اما چرا هوش مصنوعی سرعت را کاهش می‌دهد؟ محققان چندین دلیل را برای این امر شناسایی کرده‌اند:

• خوش‌بینی بیش‌ازحد: توانایی‌های فعلی هوش مصنوعی هنوز به اندازه خوش‌بینی کاربران پیشرفت نکرده است.
• آشنایی با کد: توسعه‌دهندگان باتجربه به قدری بر کدهای خود مسلط بودند که هوش مصنوعی نمی‌توانست میانبر معناداری به آنها پیشنهاد دهد.
• پیچیدگی پروژه‌ها: هوش مصنوعی در پروژه‌های عظیم (با بیش از یک میلیون خط کد) عملکرد ضعیف‌تری نسبت به مسائل کوچک و محدود دارد.
• عدم اطمینان به پیشنهادات: برنامه‌نویسان فقط کمتر از ۴۴ درصد از کدهای تولیدشده توسط هوش مصنوعی را پذیرفتند و زمان زیادی را صرف بررسی، اعتبارسنجی و اصلاح پیشنهادات آن کردند.
• فقدان درک زمینه: هوش مصنوعی در درک زمینه و روابط پنهان در پروژه‌های بزرگ با مشکل مواجه بود و اغلب پیشنهادهای نامربوطی ارائه می‌داد.

با وجود این نتایج آیا باید هوش مصنوعی را کنار گذاشت؟ پاسخ «خیر» است. محققان تأکید می‌کنند که این یافته‌ها نباید تعمیم داده شود؛ این ابزارها ممکن است برای برنامه‌نویسان کم‌تجربه‌تر یا در پروژه‌های کوچک‌تر بسیار مفید باشند.

جالب اینجاست که بسیاری از شرکت‌کنندگان در این مطالعه، با وجود مشاهده نتایج، همچنان به استفاده از این ابزارها ادامه می‌دهند. دلیل آنها این است که هوش مصنوعی اگرچه همیشه سریع‌تر نیست، اما می‌تواند فشار ذهنی ناشی از برخی جنبه‌های تکراری و خسته‌کننده کدنویسی را کاهش دهد و این فرایند را به کاری کمتر دلهره‌آور تبدیل کند. این مطالعه نشان می‌دهد که درحال‌حاضر، دستیارهای هوشمند بیشتر نقش یک «همکار» را دارند که نیاز به نظارت دقیق دارد، و ابزاری برای افزایش سرعت بدون نقص نیست.