טוטם – תיאוריה – הדמיה
מאת מגיש: אסף אושינסקי העבודה מוגשת לד"ר בועז תמיר 8/3/2010
מבוא
" אז זה אמיתי או לא? "
פעמים רבות שמעתי את השאלה המופתעת. גם הופתעתי בעצמי: הדמיה ממוחשבת, ריאליסטית וברמה גבוהה, מעלה באופן ילדותי כמעט שאלה המרכזית לחשיבה המערבית הפוסטמודרנית, אותה שאלה בנוגע לתפישת המציאות האנושית החמקמקה. אולי קשה להבחין, אך יש בפליאה לנוכח הדמיה ריאליסטית צד מאגי משהו, משום שהמצב מזכיר במקצת ילד הצופה בקסם ומנסה לשפוט האם ייתכנו הדברים שרואות עיניו, או שמא מדובר באחיזת עיניים. אמנם, עינינו מורגלות באחיזות עיניים שכאלה ואנו מסוגלים לתפוס כיצד ניתן להפיקן באמצעים ממוחשבים, מתוחכמים ככל שיהיו. אולם, זיהוין של מציאויות אלו כסינתטיות, ללא הצגתן ככאלה מראש, אינו קל מלכתחילה, ותפישתן כממשיות אינה יוצאת מן הכלל. מדובר בזיוף מאוד מציאותי של המציאות, על גבול הכישוף.
סרטי קולנוע רבים, כמו גם ספרים ומדיות אחרות, עוסקים במצבים בהם מתברר לגיבור הסרט כי המציאות אותה הוא חי, אותה חשב לממשית עד כה, אינה אלא אשליה. בסרטים "מטריקס" ו"המופע של טרומן", למשל, מגיע הגיבור להכרה כי חייו עד כה התנהלו, למישרין או שלא, בתוך סצינה מבוימת הנשלטת ע"י מישהו אחר ובאמצעים מכניים וממוחשבים (כאלה שעיקר חשיבותם בזה שהם מתקבלים על הדעת). גיבורנו, רגלו האחת במציאות היום-יומית והשניה ניצבת כבר על האפשרות למציאות חדשה, מקוממת ובלתי ידועה, מתחבט בשאלה: "מה פה אמיתי ומה לא?" (The Red pill or the Blue pill?). אבל השאלה האמיתית המייסרת את הגיבור היא אחרת: "מה אכפת לי"? מדוע עליו להקריב את המציאות הנוכחית עבור האחרת אם יתכן, עכשיו, שטיבה של זו הוא שקרי לא פחות? הנרטיב ההוליוודי השולט, של פתרון והגשמה עצמית, מחייב את הגיבור שלא לבחור באופציה הבטוחה, התבוסתנית כביכול, שמהותה חזרה למציאות הרגילה כאילו לא קרה כלום, ולהמשיך במסע המפרך אל עבר מציאויות חדשות שהוא, אולי, החיים (ואחרת, האם הייתה עולה כלל האפשרות למציאות נוספת? תפישה זו מוצגת בסרטו של דיוויד קרוננברג "אקזיסטנז"). אך לעניינינו, הנקודה הקריטית בסיפור, ובמיוחד בבחינתו באור ביקורתי, היא בהבנה כי המציאות בוחרת את גיבורה יותר מאשר בוחר הוא אותה.
הגבולות הסבוכים בין המציאות המכונה "ממשית" לבין זו הוירטואלית מיטשטשים בעשורים האחרונים בתחומי מחשבה רבים; פילוסופיה, פוליטיקה, פרסום, תרבות ומדע, כולם עד אחד מכירים בחשיבותה של המציאות הנצפית, המדיה הויזואלית, כמעצבת מרכזית של תפישת המציאות שלנו. התדמית, ההופעה, סגנון החיים
ריי סיזר [Ray Ceasar], אמן תלת ממד מקורי, מעיד על טשטוש הגבולות בעבודתו:
"…שואלים אותי הרבה על העותק המקורי, אך הוא קיים רק במחשב, בעולם תלת ממדי של עומק, רוחב וגובה. מרתק אותי הרעיון שמרחב תלת ממדי זה קיים ממש כמו כל מציאות אחרת. אפילו כאשר אני מכבה את המחשב רודפת אותי העובדה שמרחב זה עדיין מתקיים כהסתברות מתמטית, והמרחב בו אנו חיים כעת עשוי שלא להיות שונה בהרבה."
פרק ראשון: טכנולוגיה
– טכנולוגיה קיימת ושימושיה: זיוף מציאות עד יצירת מציאות
– הסבר: טכניקה בסיסית
– אמנות הקירוב: באיזה דיוק ניתן לחקות מציאות? [קישור לסורקים]
טכנולוגיה קיימת ושימושיה: זיוף מציאות עד יצירת מציאות
מי עוד לא ראה את סרטי הקולנוע לטרילוגיית "שר הטבעות" של ג'.ר.ר. טולקין? ומי לא זוכר משם את דמותו של גולום? רובנו יודעים, כי פריצתו לחיים הויזואליים כל כך של היצור האנושי-מפלצתי התאפשרה רק בזכות טכנולוגיות ההדמיה החדישות ביותר הקיימות כיום בשוק (או שהיו קיימות אז). את תנועותיו הרופסות של גולום הקליטו בעזרת חיישנים שהוצמדו לגופו של שחקן אנושי לגמרי ו"הלבישו" ע"ג שלד ממוחשב; הבעות פניו תוכנתה בידי מיטב האנימטורים; גוון עורו, הברק בעיניו והאבק שהוא משאיר בריצתו ביער: כולם עד אחד שיתוף פעולה של אדם ומחשב. זה נראה טוב, וזה נראה אמיתי להחריד:
אנחנו גם יודעים להגיד שאם בפרסומת כלשהי יושב בחור בדירה שקירותיה מתהפכים מאליהם והופכים לאולם ריקודים, או שכרגע פוצצה חללית עצומה את הבית הלבן על מסך הטלוויזיה – כנראה שמדובר פה בהתערבות ממוחשבת כלשהי. מה שידוע אולי פחות, הוא שמספר גדל והולך של דמויות ודימויים ויזואליים (כלומר: תמונות, סרטים) בהם אנו נתקלים בחיי היום-יום הם פיקטיביים בדיוק כמו דמות המסך של גולום, ואינם אלא פלט ויזואלי של קובץ מחשב, מתוחכם ככל שיהיה, המגולם בסופו של דבר כאוסף בינארי של הספרות אפס ואחת על הדיסק הקשיח.
הג'יפ של ניסאן (ימין) אמנם מעלה אבק בדרכים, אבל כשהוא יעצור מול המצלמה הוא יוותר מבריק וחף מכל פירור אבק דיגיטלי; מכונית האאודי השחורה (שמאל) תיעצר בחריקת בלמים ללא סיכון נראה לעין וצלחות הגלגלים יוותרו מקבילות לחלוטין אחת לשניה; את הנעל של נייקי (מרכז), אם רק תרצו, אפשר לקלוט מעופפת בכל תנועת מצלמה, אפשרית וגם בלתי אפשרית. במקרים מתרבים והולכים, גם אם ניתן להוציא צוות צילום מורכב לשטח בכדי להפיק תמונה או סרטון, העניין פשוט לא משתלם, מסובך ולעיתים מסוכן הרבה יותר מאשר לשבת במשרד ליד המחשב ולהקליד. בעבור הצופה, הצרכן, המקרים בהם בכל זאת ניתן להבחין בזיוף נרתמים לרוב לזכות המפרסם, המשתמש בטכנולוגיות מתקדמות דוגמת הדמיה ממוחשבת.
שוק משחקי המחשב הוא מהפורחים בתחום המציאות הוירטואלית ומהווה את חזית האינטראקציה בין אדם למרחב ממוחשב. הממשק המשתפר והולך בין המפעיל ודמותו הממוחשבת הופכים את השיטוט במרחבים העצומים, המסתתרים בנבכי ממלכות מדומיינות, לחוויה המתקרבת מאוד אל המציאות. משחקים אלו, המבוססים על טכנולוגיות ההדמיה הממוחשבת, הם הסנונית הראשונה בלבד המבשרת את כניסתה של ההדמיה ממש אל תוך מרחב המציאות הויזואלית/פיזית.
Doom 3
הסבר: טכניקה בסיסית
על אף מורכבותה של הטכנולוגיה והפרקטיקה המעורבות ביצירת ההדמיה הממוחשבת, תהליך העבודה הרעיוני מוכר לנו מתחומי היצירה השונים, והבנתו דרושה לכיסוי הנושא. הפקת תמונה בהדמיה ממוחשבת דורשת, באופן כללי, ארבעה שלבים עיקריים (הסדר אינו מחייב): מידול (בניית מודל), תאורה, השמת חומרים ורינדור (הפקה). המטרה הסופית של התהליך היא פלט ויזואלי, תמונה, של הדבר אותו רצינו לראות או להראות.
1. מידול [Modeling]
בשלב הראשון צריך מודל. התלתיסט, בעזרת תוכנות מחשב, בונה דגם תלת ממדי של ההתרחשות הפיסית ("סצינה", Scene) אותה הוא מתכוון להראות בהדמיה. התקשורת עם התוכנה מתאפשרת ע"י כך שהתוכנה, בהתבסס על הנדסת המרחב, מסוגלת לייצר נקודות במרחב תלת ממדי, לחבר ביניהן בקווים ומשטחים ולתרגם אותן לשרטוט על מסך המחשב (תרגום זה הוא ויזואליזציה בסיסית ביותר של המודל הממוחשב ותכליתו היא חיסכון בזמן חישוב ויעילות בבניית המודל.)
הבניה מתחילה בנקודה. נקודת האפס, ראשית הצירים. הכיוונים סטנדרטיים ומוכרים לנו מכל מערכת צירים תלת ממדית. מאחר וקיימים נקודה ושלושה כיוונים ניתן להתחיל ליצור: החל במינימום, קרי נקודה, המשך בקו, וכלה בצורות מתמטיות מסובכות המיוצרות בהינתן מספר פרמטרים המגדיר אותן. אובייקטים נוצרים ומוצבים במרחב החדש. למעשה, כל הבניה מתאפשרת ע"י מניפולציה פרמטרית על נקודות במרחב, ברמות תחכום שונות, וכן ע"י הויזואליזציה של המודל על המסך, שהיא המשוב למניפולציה.
הדימויים מציגים ספירה בשלושה היטלים שונים וכן במצב "חלק":
שלוש המניפולציות הבסיסיות הן:
הזזה [Move]
סיבוב [Rotate]
הגדלה/הקטנה [Scale]
מעבר ליכולת לשלוט כך בכל אחת מעשרות אלפי הנקודות העשויות להרכיב את המודל, עומדים לרשות המודליסט כלים רבים למניפולציה בכל רמות האובייקטים שהנקודות מרכיבות, בהתאם לארכיטקטורה של התוכנה בשימוש. הנקודה החלשה ביותר בתהליך המידול, כרגע, היא היכולת המוגבלת לשלוט במרחב תלת ממדי באמצעות מכשיר שליטה דו ממדי: העכבר.
2. תאורה [lighting]
מטרתנו הסופית היא לראות את המודל שנבנה. לשם כך יש להאיר אותו, או, ליתר דיוק, לקבוע מהם מקורות האור המאירים את המודל. לשם כך יש למקם מקורות אור, בעוצמות ובמאפיינים המתאימים, בנקודות הרצויות במודל. מגוון סוגי התאורה המוצעים ע"י התוכנות השונות כולל תאורות בסיסיות, תאורות המחקות מאפיינים של שמש, תאורה סביבתית (Environment, HDRI) וכן חיקויים פוטומטריים מדויקים של תאורות פיסיות מלאכותיות ע"פ סטנדרטים בין-לאומיים. במקורות אור אלו, בניגוד לאחיהם המציאותיים, ניתן לשלוט גם באופנים שאינם מדויקים פיסית, כמו בהגבלת המרחק שאליו האור מגיע או ביטול השפעת האור על אובייקטים מסוימים במודל. גם הצל המוטל בהיעדר אור הוא נושא למניפולציות ודרכי חישוב שונות.
הדימויים מציגים את שלושת סוגי תאורה הבסיסיים:
משמאל, תאורה נקודתית [Omni] המפזרת אור לכל הכיוונים (ספירה).
התאורה האמצעית היא בעלת קרניים מקבילות [Direct] היוצרות צילינדר של אור.
ואילו הימנית היא של תאורה נקודתית בעלת משפך אור קוני [Spot].
3. חומר [Material, Texturing]
כעת יש להורות למחשב כיצד להתייחס לאור ה"נופל" על המודל. בהדמיה הסופית יחושבו החזרי האור מהמודל, ולכן יש "לצבוע" את המודל בפרמטרים לפיהם אנו רוצים שיחושב החזר האור. חלקי המודל האמורים להיראות מתכתיים יצבעו בחומר המחקה התנהגות של מתכת תחת האור וחלקים אחרים יקבלו חומרים אחרים בהתאם. ה"חומר" הוא למעשה אוסף הנתונים המתארים את תכונותיו והתנהגותו תחת האור.
ה"צבע", או החומר [Material], מורכב מפרמטרים רבים המתארים תכונות פיסיות דוגמת צבע, שקיפות, השתקפות, ברק, זוויות כניסה ויציאה של קרני אור וכן הלאה. החישוב המתמטי הבסיסי של החזר האור מגולם באלגוריתמים לחישוב החזרי האור [Shaders] המתאימים בכלליות לתיאור חומרים בעלי איכויות שונות, כגון מתכת, בד או זכוכית.
הדימויים הבאים מדגימים שימוש באלגוריתמים שונים לחישוב החזרי האור מפניה של ספירה המוארת בתאורה זהה וללא שינוי בפרמטרים נוספים:
הפרמטרים הרבים הנוספים על האלגוריתמים מייחסים לחומר את תכונותיו הפרטניות יותר. כך, לדוגמא, חומר לזכוכית שקופה יקבל ערך גבוה בפרמטר השקיפות, מראה תקבל ערך גבוהה בפרמטר ההחזר [Reflection] וחומר מתכתי יהיה בעל ערך גבוהה לברק.
צבעו הכללי של חומר נקבע בפרמטר צבע האור המפוזר [Diffuse]. בפרמטר זה, ולמעשה ברבים, אין די בערכים מספריים פשוטים (דוגמת RGB), שכן רב החומרים במציאות אינם מושלמים, עקביים ויציבים בצבעם ובמרקמם, ואין לתאר את צבעם, כאמור, בערך קבוע. חומרים מציאותיים הם בעלי טקסטורות, ולכן חיקויים הפרמטרי דורש התערבות גראפית יותר, טקסטורלית. מערכת הפרמטרים המרכיבה את ה"חומר", אם כן, צריכה לקבל ערכים שונים עבור נקודות שונות במשטח אותו היא מתארת. לשם כך נעשה שימוש בטקסטורות [Textures], הנקראות גם "מפות" [Maps], שהן לרוב תמונות גראפיות, בין אם מצולמות או אחרות. מפות מסוג נוסף מיוצרות ע"י נוסחאות מתמטיות שונות דוגמת "רעש" רנדומלי [Noise]. בעזרת פריסתן של המפות ע"ג המודל ניתנים לחומר ערכים שונים עבור פרמטרים במקומות שונים במשטח הצבוע.
בדוגמאות ניתן לראות כיצד מפה משובצת משפיעה על פרמטרים שונים של החומר והמשטח:
השימוש המיידי ביותר של מפות אלו הוא בחיקוי פני השטח של חומרים והן נלקחות לרוב מתוך תמונות דיגיטליות הממופות ע"ג המודל, כמו שניתן לראות בדוגמאות הבאות:
4. רינדור (הפקה) [Rendering]
פעולת הרינדור היא השלב בו המחשב מייצר תמונה דו ממדית מתוך כל הנתונים והפרמטרים שניתנו בשלבים הקודמים. מכיוון, כאמור, שמטרתנו היא לראות את המודל, יש לקבוע נקודה במרחב ממנה אנו צופים במודל, או, במילים אחרות, להציב מצלמה.
תחילתו של תהליך הרינדור מתחיל, איפה, במצלמה. המצלמה המדומה מחקה את תפקידה של המצלמה הפיסית בדיוק רב. פה, כמו שם, משטח בעל גודל, צפיפות ורגישות נתונים נחשף דרך עדשה ממרכזת לקרני אור המגיעות מן השטח המצולם. חישוב מתמטי של קרניים היוצאות ממקורות האור בסצינה קובע את מקום פגיעתן במישור התמונה. מאחר ויכולת החישוב של המחשב נמוכה משמעותית, עדיין, מהיכולת הדרושה לתאר מציאות מלאה, נולדו שיטות קירוב שונות לדגימת קרני האור המוחזר בסצינה [Sampling]. קירובים אלו קובעים מספרים מרביים לקרני אור המפוזרות בסצינה ע"י מקורות האור, את מספר הפעמים בו יכולה קרן להישבר ע"י אובייקט [Depth], את צפיפות הטריאנגולציה של מבנה המודל [Triangulation], עומק הדגימה לכל פיקסל (תא תמונה) וכד'. במילים אחרות, קירובים אלו קובעים את צפיפות ודיוק דגימת המידע מן הסצנה הממוחשבת. ערכי דגימה נמוכים יפיקו תמונה מדויקת פחות מזו שתופק בערכים גבוהים, אולם, זמני הרינדור, העשויים להגיע לשעות ארוכות לתמונה בודדת בדגימה צפופה, יתקצרו בהתאם.
אומנות הקירוב: באיזה דיוק ניתן לחקות מציאות?
תיאורטית, המכשול היחידי העומד בינינו לבין ההדמיה המושלמת הוא זמן. גם אם היה עולה בידנו, לבסוף, לתאר סצינה מלאה, בגבולות כאלו ואחרים, על פרטיה ודקדוקיה, הזמן שהיה דרוש למחשב בן זמננו בכדי לרנדר (להפיק) מן הסצינה תמונה סופית ומדויקת עשוי להיות ארוך מאוד, ארוך מדי. מאידך, עלינו לתהות באיזו איכות קולטים אנו בעצמנו את המציאות? גם למצלמה המדויקת ביותר ישנם גבולות של דיוק, רזולוציה סופית, שריטה על העדשה. תוכנות המחשב מקצרות את הדרך לכיוון תוצאות הנראות ממשיות גם אם אינן מדויקות לחלוטין.
גבול הדיוק בהדמיות ממוחשבות עובר בשני תחומים שיש להפרידם. מצד אחד עומדת המצלמה הקולטת את הסצינה. בדומה לכל תמונה דיגיטלית, איכות התמונה נקבעת ע"י הרזולוציה בה היא נדגמת: ככל שעולה הרזולוציה כך עולה דיוק הדגימה של הסצינה, של המציאות, והתמונה המופקת חדה ואמינה יותר. מצד שני עומדת הסצינה: המודל, האורות והחומרים, ופה ניכר ההבדל המשמעותי בין מציאות והדמיה:
בעוד במציאות האור אכן מציף את החלל בשלמות, הרי שבהדמיה עלינו להסתפק בקירובים. רמות דגימה נמוכות בסצינה לא ייצרו תמונה מטושטשת יותר או פחות, כמו במצלמה, אלא תמונה "לא נכונה" מבחינה פיסית, שאינה מדויקת בבחינת החזרי האור. סצינה הדגומה ברמה לא מספקת עשויה לסבול מכתמי אור לא מוסברים, זליגת צבע מוגזמת[Color Bleeding] ושאר תופעות "מלאכותיות" [Artifacts].
לכל אלמנט בסצינה קיימים נתונים ואלגוריתמים המתארים את ערכי הדגימה שלו. לדוגמא, בעבור תאורות- מספר הקרניים, החלוקות ותת-החלוקות אליהן הן מתפצלות; בעבור טקסטורות- מספר הדגימות פר שטח; בעבור אובייקטים של המודל- צפיפות החלוקה שלהם, או מהו החלק הקטן ביותר שלהן שהמחשב מזהה; בעבור המצלמה- רזולוציה סופית ומספר הדגימות לכל תא תמונה (פיקסל). לכל מקרה, לכל סצינה ספציפית ולכל אובייקט בסצינה ייתכנו מספר פתרונות אשר יתארו אותו בצורה אופטימלית. שתי מראות הניצבות במקביל אחת מול השניה מייצרות הדהוד אינסופי, מראה בתוך מראה בתוך מראה, אינסוף פעמים. הפקת תמונה בהדמיה ממוחשבת של סצינה כזו תדרוש בהכרח אינסוף זמן חישוב. אחת הדרכים הפשוטות לפתרון הבעיה תהיה להגביל את מספר הפעמים בהן קרן אור יכולה לפגוע בעצם ולחזור לפני שהיא נעלמת.
בעוד שמספר פעמים נמוך מדי ייראה סינתטי ולא מדויק, ישנו סיכוי סביר שעשרות בודדות של החזרים יספיקו בכדי לתאר תמונה מדויקת למדי. פתרונות מתמטיים אחרים עשויים לחשב מראש את האפקט כתוצר של סדרה מתמטית.
כנראה שמבחינת הדיוק, בלתי אפשרי לחקות את התנהגות העולם הפיסי במלואו, ולו בגלל שאיננו שולטים לגמרי בחוקיות לפיה הוא פועל. כמו בניסוי המדעי, גם בהדמיה אנו משתמשים בקירובים, בידע קודם ממקרים דומים ובצמצום ההתרחשות לטווחים שהם מוקדי העניין. הדמיות ממוחשבות, גם אם לא ויזואליות, משמשות זה זמן רב בתחומים שונים של מחקר וייצור. החל במודלים תת-אטומיים וכלה במסלולים בליסטיים, תכלית ההדמיה היא חישוב הייתכנות של מבנה או מצב כלשהם, ולשם כך מחושב הדיוק ומחושבות סטיות תקן. תכליתן של ההדמיות הויזואליות בהן עוסקת העבודה, מכל מקום, אינה בדיקה, ניסוי או הוכחה, אלא דווקא יצירה של מצבים חדשים והצגתם כאמינים בתוך מסגרת ההקשר, כמציאותיים. הדיוק הנדרש למטרה זו הוא תלוי הקשר ואינו קשור ביחס ישר לצפיפות האינפורמציה.