اپل روی ایجنت هوش مصنوعی برای توصیف خیابان به نابینایان کار می‌کند

تیم تحقیقات هوش مصنوعی اپل درحال‌توسعه یک ایجنت هوش مصنوعی است که می‌تواند نمای خیابان‌ها را برای افراد نابینا توصیف کند. این ابزار به افراد نابینا کمک خواهد کرد تا بتوانند توصیفی از یک منطقه را به‌دست بیاورند.

بخش تحقیقات یادگیری ماشینی اپل به‌تازگی مقاله‌ای منتشر کرده که درباره پروژه‌ای به نام SceneScout توضیح می‌دهد. SceneScout یک ایجنت هوش مصنوعی مبتنی بر مدل زبانی بزرگ چندوجهی است که می‌توان از آن برای مشاهده تصاویر نمای خیابان، تحلیل آنچه دیده می‌شود و توصیف آن برای بیننده استفاده کرد.

ایجنت هوش مصنوعی اپل صحنه‌های مختلف را برای نابینایان توصیف می‌کند

در این مقاله گفته شده که افراد کم‌بینا به دلیل ناآشنایی با محیط جدید ممکن است از سفر یا جابه‌جایی خودداری کنند. هم‌اکنون ابزارهایی برای توصیف محیط اطراف وجود دارد، مانند اپلیکیشن Soundscape مایکروسافت که در سال ۲۰۱۸ معرفی شد. بااین‌حال، تمام این ابزارها برای استفاده در همان لحظه و در محل طراحی شده‌اند و امکان استفاده از آنها برای آگاهی قبلی وجود ندارد.

اینجاست که SceneScout وارد عمل می‌شود. SceneScout به‌عنوان یک عامل هوش مصنوعی تعاملات قابل‌دسترس را با استفاده از تصاویر نمای خیابان فراهم می‌کند و به افراد کم‌بینا یا نابینا امکان می‌دهد توصیفی از یک ناحیه را پیش از سفر به آنجا دریافت کنند.

SceneScout دارای دو حالت است که یکی از آنها «پیش‌نمایش مسیر» نام دارد و جزئیاتی از عناصری که در طول مسیر مشاهده می‌کند، ارائه می‌دهد. برای مثال، می‌تواند به کاربر اطلاع دهد که در یک پیچ، درختانی وجود دارند و سایر عناصر ملموس و قابل‌تشخیص را به او یادآوری کند.

حالت دوم، «کاوش مجازی» است که امکان حرکت آزادانه در تصاویر نمای خیابان را فراهم و در حین حرکت مجازی کاربر، عناصر موجود در محیط را برای او توصیف می‌کند.

در مطالعه‌ای مشخص شد SceneScout برای افراد کم‌بینا بسیار کاربردی است چون اطلاعاتی را فراهم می‌کند که دسترسی به آنها با روش‌های موجود ممکن نیست.

همچنین SceneScout از دقت ۷۲ درصدی در توصیف کلی و دقت ۹۵ درصدی در توصیف عناصر بصری پایدار برخوردار است. بااین‌حال، برخی خطاهای جزئی نیز در کار این ایجنت دیده شده است.