הטכנולוגיה שתגרום לקים קרדשיאן לדבר בעברית

בשיתוף סודהסטרים

בימי הקורונה בהם השמיים סגורים כמעט לחלוטין, גם האפשרות לצלם סדרה, סרט או אפילו פרסומת בחו"ל היא כמעט בלתי אפשרית. התעשייה חייבת להסתגל ולמצוא פתרונות יצירתיים - למשל לגרום לשחקנים זרים להצטלם בביתם במדינה אחת, ולדבר בשפה אחרת כאילו זו היתה שפת האם שלהם, מבלי להבחין שמדובר בדיבוב. איך עושים את זה?

בדיוק על הצורך הזה חשבו שני יזמים ישראלים צעירים עוד הרבה לפני הקורונה. עומר בן עמי ויונתן היימן, חובבי סדרות מושבעים, צפו כהרגלם בנטפליקס כשהבחינו שישנן לא מעט סדרות בשפות זרות, הם ניסו לצפות בהן אך היה קשה להתמיד. הם סברו שכך קורה לצופים רבים אחרים שרגילים לצרוך סדרות בשפה שמוכרת להם, ישראלים למשל רגילים לשפה האנגלית, אך במדינות אחרות כמו שוודיה או רוסיה מדובבים את כל הסדרות לשפה המקומית.

הפתרון שעלה במוחם הוא שימוש בטכנולוגיית בינה מלאכותית. השניים הקימו את הסטרטאפ CANNY AI שמבוסס על טכנולוגית VDR - (בשמה המלא Video Dialogue Replacement) שמשמעותה החלפת דיאלוג בווידאו. כך למעשה ניתן להפוך כל שחקן או שחקנית לדוברי השפה המקומית, אך לא בדיבוב גס ומגוחך אלא באופן הטבעי ביותר כאילו הייתה זו שפת האם שלו.

"ההר" מ"משחקי הכס" נראה בפרסומת של סודהסטרים (בתמונה) כשהוא מזמר בעברית אף שמעולם לא למד את שפת הקודש. האלגוריתם גרם לדמותו להניע את השפתיים ואת הפנים בהתאם למילות השיר.

"אנחנו למעשה מאפשרים להחליף את הדיבור המקורי בווידאו", אומר בן עמי. "התוכנה שפיתחנו לומדת את התנועות והדינמיקה של הפנים גם של השחקן וגם של המדובב וכך לומדת שוב ושוב את המאפיינים של השניים, ויכולה בסופו של דבר לשלב ביניהם. כך אנו רואים פתיחת פה שמתאימה את הדיבור אך עם זאת שומרת על התנועה המקורית של השחקן".

סודהסטרים מגייסת עובדים בעזרת הטכנולוגיה

בשבוע שעבר ראינו בפעם הראשונה איך חברה עולמית, סודהסטרים, משתפת פעולה עם הסטארט אפ ובעזרתו "מגיירת" את הפרזנטור האיסלנדי שלהם ת'ור יוליוס ביורנסון Thor Julius Bjornsson ("ההר" ממשחקי הכס) לשיר בעברית כאילו הייתה זו שפת האם שלו, אך בקולו של גורי אלפי.

החברה בחרה להעלות קמפיין כדי להביא למודעות הציבור את העובדה שהיא מגייסת מעל 250 משרות על מנת לעודד מועמדים להגיש קורות חיים, בתקופה כזו של נתוני אבטלה חסרי תקדים. ה"הר" צולם בביתו באיסלנד, שר מילים אקראיות בשפת האם שלו ובפועל לא אמר אפילו מילה אחת בעברית. במקביל הוקלט גורי אלפי באולפן הקלטות בתל אביב וצולם כשהוא שר את מילות השיר בעברית. בתוך כ-48 שעות, הטכנולוגיה שילבה בין צילום הווידאו של "ההר", והתאימה את תנועות השפתיים שלו לתנועות השפתיים של גורי אלפי, כך שבתוצאה הסופית נראה כי ה"הר" שר בעברית כמעט מושלמת.

גיל בוראקס, מנכ"ל בוראקס קראייטיב שהפיק עבור סודהסטרים את סרטון הגיוס, מספר שסודהסטרים מגיעה מתוך הסטארט אפ ניישן, ולכן שיתופי פעולה עם סטארטאפים הם דבר שטבעי לה גם בפרסומות. "הפיתוח הישראלי של עומר ויונתן פותח דלתות למניפולציית ווידאו באופן שטרם חשבנו. כחברה שמתמחה בקמפיינים בינלאומיים, אפשר לזהות את הפוטנציאל הגלום בטכנולוגיה ובטוחים כי חברות נוספות יאמצו אותה. זה עומד לשנות את חוקי המשחק כשזה מגיע להתאמת קמפיינים באנגלית עבור שווקים דוברי ספרדית או גרמנית".

בוראקס מציין שהם חקרו מספר טכנולוגיות אינטלגנציה מלאכותית שמאפשרות לתמרן וידאו בדרכים שונות, אך רובן דורשות זמן רב כדי לעבד את התוצרים שלהם. "היתרון הגדול בפיתוח של Canny AI הוא המהירות בה הם מייצרים תוצרים ביחס לתוצאה המעולה שהם מפיקים. אנחנו מחבקים את ההזדמנות לאמץ אמצעים חדשים ליצירת תכנים שקשה להוריד מהם את העיניים, בעיקר אם הן של יזמים ישראלים צעירים".

סודהסטרים מזמינה אתכם להגיש קורות חיים. להגשה כנסו

בשיתוף סודהסטרים