تيك توك تعلن عن ذكاء اصطناعي جديد يجعل الصور الثابتة تتحدث

نظام INFP من بايت دانس: تحويل الصور الثابتة إلى شخصيات متحدثة

سنتعرف اليوم في موقع ريال ويب على نظام INFP الجديد الذي أعلنت عنه شركة بايت دانس. هذا النظام يستخدم الذكاء الاصطناعي لتمكين الصور الشخصية الثابتة من “التحدث” والاستجابة من خلال إدخال الصوت، دون الحاجة إلى تحديد أدوار التحدث والاستماع يدويًا.

كيف يعمل نظام INFP؟

يتألف سير عمل INFP من خطوتين رئيسيتين:

1. تقليد الرأس بناءً على الحركة

يقوم النظام بتحليل تعبيرات الوجه وحركات الرأس أثناء المحادثات لاستخراج التفاصيل من مقاطع الفيديو. ثم يتم تحويل بيانات الحركة هذه إلى تنسيق يمكن استخدامه للرسوم المتحركة اللاحقة، مما يسمح للصور الثابتة بمطابقة حركات الشخص الأصلي.

2. توليد الحركة الموجهة صوتيًا

يقوم النظام بتوليد أنماط حركة طبيعية بناءً على مدخلات الصوت. تم تطوير أداة تسمى “موجه الحركة” لتحليل الصوت من كلا الطرفين في محادثة وإنشاء أنماط حركة التحدث والاستماع. بعد ذلك، يقوم مكون الذكاء الاصطناعي المسمى “محول الانتشار” بتحسين هذه الأنماط تدريجيًا لتوليد حركات سلسة وواقعية تتوافق تمامًا مع محتوى الصوت.

مجموعة البيانات DyConv

لتدريب النظام بشكل فعال، أنشأ فريق البحث مجموعة بيانات حوارية تسمى DyConv، والتي تجمع أكثر من 200 ساعة من مقاطع فيديو المحادثة الحقيقية. تتمتع DyConv بمزايا فريدة في التعبير العاطفي وجودة الفيديو مقارنة بقواعد البيانات الأخرى مثل ViCo وRealTalk.

التطبيقات المستقبلية

على الرغم من أن INFP يدعم حاليًا إدخال الصوت فقط، إلا أن فريق البحث يستكشف إمكانية توسيع النظام ليشمل الصور والنصوص. الهدف المستقبلي هو إنشاء رسوم متحركة واقعية لشخصيات كاملة الجسم. ومع ذلك، نظرًا لإمكانية استخدام هذه التكنولوجيا في إنشاء مقاطع فيديو مزيفة، يخطط فريق البحث لتقييد التكنولوجيا الأساسية بمؤسسات البحث، على غرار طريقة إدارة مايكروسوفت لنظام استنساخ الصوت المتقدم.

الأسئلة الشائعة