عملکرد بهتر مدل هوش مصنوعی DeBERTa در مقایسه با انسان

اخیرا کمپانی مایکروسافت، مدل هوش مصنوعی DeBERTa را بروز رسانی کرده است. این هوش مصنوعی از طریق تعلیم نسخه‌ی عظیم‌تر آن با 48 لایه‌ی ترنسفورمر، با 1.5 میلیارد پارامتر به‌روزرسانی شده است.

تقویت چشمگیر عملکرد DeBERTa سبب شده این مدل برای نخستین بار، در پردازش و فهم زبان SuperGLUE از نظر نمره‌ی متوسط کلان، از انسان پیشی بگیرد. در این آزمایش مدل DeBERTa امتیاز 89.9 کسب کرده و انسان موفق‌ به کسب امتیاز 89.8 شده است. این تفاوت امتیازها با درنظرگرفتن معیارهای پایه‌ بیشتر می‌شود (90.3 در برابر 89.8).

SuperGLUE شامل وظایف گوناگون مبتنی‌ بر پردازش زبان طبیعی (NLP) می‌باشد؛ از جمله از آن‌ها می‌توان به پاسخ‌دهی به سؤال و استنتاج زبان طبیعی اشاره کرد. مدل DeBERTa مایکروسافت با کسب نمره‌ی متوسط کلان 90.8، در رتبه‌ی نخست بنچمارک SuperGLUE قرار گرفته است.

مدل DeBERTa قادر است PLM-های پیشین نظیر BERT،اRoBERTa و UniLM را با استفاده از سه تکنیک نوین، بهبود ببخشد. یکی از این تکنیک‌ها، مکانیسم دقت منظم‌شده (Disentangled Attention) نام دارد و تکنیک دوم در واقع نسخه‌ی بهبودیافته‌ی ابزار Mask Decoder محسوب می‌شود. مایکروسافت علاوه بر آن به نوعی تعلیمِ رقابتی‌ مجازی برای بهینه‌سازی مدل DeBERTa اشاره می‌کند.

مدل 1.5 میلیارد پارامتری DeBERTa در مقایسه ‌با T5 گوگل که شامل 11 میلیارد پارامتر می‌باشد، از مصرف انرژی بسیار کمتری برخوردار است و به ‌شکلی ساده‌تر امکان فشرده‌سازی اپلیکیشن‌ها با تنظیمات مختلف را فراهم می‌کند.

این عملکرد بهتر در مقایسه با انسان در بنچمارک SuperGLUE دستاورد بسیار مهمی در حوزه‌ی هوش مصنوعی عمومی محسوب می‌شود. با اینکه DeBERTa عملکر بسیار خوبی در این مقایسه داشته اما مدل مایکروسافت با هیچ متر و معیاری به سطح هوش انسان در زمینه‌ی درک زبان طبیعی (NLU) دست پیدا نمی‌کند. ذهن انسان در زمینه‌ی یادگیری دانش از وظایف مختلف برای حل کردن وظیفه‌ای جدید، عملکردی بسیار هوشمندانه دارد.

این ابر غول فناوری تصمیم دارد این فناوری را با نسخه‌ی جدید مدل بازنمایی زبان طبیعی Microsoft Turing ادغام کند. شرکت ردموندی از این مدل در Bing،اOffice،اDynamics و Azure Cognitive Services برای ممکن ‌شدن انواع کارها نظیر تعاملات انسان-انسان و تعاملات انسان-دستگاه استفاده می‌کند. مایکروسافت تصمیم دارد مدل 1.5 میلیارد پارامتری DeBERTa و کد منبع آن را در دسترس عموم قرار دهد.