Curato

זהו לב המוצר, והמפתח שלו הוא מודל בינה מלאכותית לראייה ממוחשבת שאימנתי בעצמי, במיוחד כדי למצוא יצירות אמנות. במקום להסתמך על מזהה גנרי מהמדף, לימדתי מודל משלי איך נראית יצירת אמנות אמיתית בעולם, וזה מה שגורם לסורק לעבוד גם במקרים שסורקים רגילים נכשלים בהם.

מאגר נתונים וכלי תיוג שבניתי

כדי לאמן מודל טוב צריך דוגמאות אמיתיות, אז בניתי לעצמי מאגר נתונים ייעודי: צילמתי והסרטתי יצירות אמנות בתנאים אמיתיים (תלויות על קיר, בסטודיו, עם מסגרת, עם צל, ועם ציורים אחרים סביבן), וסימנתי ידנית את ארבע הפינות של היצירה על אלפי פריימים. כדי שזה יהיה אפשרי בכלל, בניתי גם כלי תיוג משלי: הוא שולף פריימים מתוך וידאו, מנחש זיהוי ראשוני, ואני מתקן ומאשר, וכך הפכתי כמה סרטונים למאות דוגמאות מתויגות. מכל זה אימנתי רשת נוירונים קומפקטית שלמדה לזהות את הגבול של היצירה, כולל המקרה הקשה במיוחד: קנבס בהיר על קיר בהיר, שבו סורקים רגילים מתבלבלים ונועלים על כתם פנימי במקום על הגבול האמיתי של היצירה.

רץ על המכשיר, בשתי הפלטפורמות

והדבר החשוב: המודל המאומן רץ על המכשיר עצמו, גם באייפון וגם באנדרואיד. אותה "אינטליגנציה" בדיוק, שהמרתי לפורמט שרץ על הטלפון, בלי אף פנייה לענן ובלי עלות לכל שימוש. הוא מוצא את ארבע הפינות בזמן אמת על תמונת המצלמה החיה, עוקב אחריהן ברציפות תוך כדי שהיד זזה (בלי שהמיקוד "יקפוץ" לציור השכן), ומזהה כמה יצירות בפריים בו זמנית, קיר של תערוכה ולא רק ציור אחד. על כל פלטפורמה עטפתי אותו בשכבות משלימות מהקוד הנייטיבי (מעקב אופטי בזמן אמת, וטכנולוגיית הראייה של אפל באייפון), עם הגנות חכמות שמונעות נעילה בטעות על מסגרת התמונה או על אובייקט שכן, כדי שהנעילה תישאר יציבה וחלקה.

מודל שמשתפר מכל סריקה שנכשלה

כל פעם שהסורק מתקשה, למשל כשהוא לא מוצא את היצירה או כשהמשתמש צריך לתקן פינה ביד, האפליקציה שומרת את הרגע הזה ושולחת אותו לאימון. כך המודל לומד בדיוק מהמקרים שבהם הוא טעה, בתנאים אמיתיים של אמנים אמיתיים: קירות, תאורות ומסגרות שאי אפשר לביים בסטודיו. ככל שיותר אמנים סורקים, המודל רואה יותר מקרים קשים, והסריקה של כולם משתפרת.

יישור ותיקון פרספקטיבה

היישור, תיקון הפרספקטיבה, הוא המקום שבו האיכות באמת מורגשת. ברגע שהמערכת יודעת איפה ארבע הפינות, היא מיישרת את התמונה מתמטית. שני דברים הפכתי לחשובים במיוחד עבור אמנות: ראשית, שחזור הפרופורציות האמיתיות של היצירה, ציור שצולם בזווית לא יוצא מתוח או שטוח אלא ביחס הגובה רוחב הנכון שלו. שנית, נאמנות צבע מוחלטת, היישור לא נוגע בצבעים בכלל, כדי שגוון היצירה יישאר מדויק. וכדי שכל זה ירוץ חלק בלי לתקוע את המצלמה, כל החישובים הכבדים רצים במנוע ביצועים ייעודי ברקע, לא על המסך.

צילום אוטומטי, בלי ללחוץ

והכי חשוב, זה עובד לבד. המשתמש לא צריך ללחוץ על כלום. המערכת מודדת עד כמה המסגרת מיושרת ומרובעת, מחכה שהיא תהיה יציבה ומדויקת, ואז מצלמת אוטומטית עם רטט אישור קטן. חוויה של "פשוט תכוון, וזה קרה".

הצבת היצירה בחלל אמיתי

האמן בוחר מתוך שבעה עשר חללים (סלון, מוזיאון, גלריה, חוף, ג׳אפנדי ועוד) או רקע מהגלריה שלו, מתוך שש מסגרות עם פספרטו או מסגרת בצבע ובעובי משלו, ומוסיף שכבות טקסט בארבעה גופנים. היצירה ממוקמת על הקיר לפי המידות האמיתיות שלה בסנטימטרים, כך שציור של מטר נראה כמו ציור של מטר, והאמן יכול לגרור ולהגדיל אותה באצבעות. פוסט יוצא בריבוע של 1080 פיקסלים, או ביחס המקורי של היצירה בגבולות שהרשתות מקבלות, וכמה תמונות עולות כקרוסלה.

סרטון שנערך על המכשיר, בלי שרת

הסרטון לא נשלח לשרת לעיבוד. כל פריים הוא רכיב ממשק שמרונדר מחוץ למסך, נלכד כתמונה, ועובר למודול נייטיבי שכתבתי לכל פלטפורמה ומקודד אותו לוידאו: ב-iOS דרך מקודד הוידאו של אפל, ובאנדרואיד דרך מקודד החומרה של המכשיר עם רינדור גרפי. התוצאה היא סרטון אנכי ב-1080 על 1920 ושלושים פריימים בשנייה. שנים עשר אפקטי תנועה (זום מאקרו, ורטיגו, הליכה לעבר הקיר, מעבר שוט, שינוי תאורה ועוד) בנויים מתנועות מצלמה ומעברי עמעום, והתזמון שלהם יחסי לאורך הקליפ. התצוגה המקדימה והייצוא רצים על אותו קוד בדיוק, כך שמה שהאמן רואה הוא מה שיוצא. ואין אף שקל של עלות עיבוד בענן.

לחיצה אחת

במצב האוטומטי המערכת מגרילה סגנון (חלל, מסגרת, אפקט) ומייצאת מיד. הכיתוב מתמלא לבד מתוך התיאור של האמן, או מתוך התיאור שכתב האוצר האוטומטי כשהיצירה נסרקה, יחד עם ההאשטגים שלה ובשפת האפליקציה. כל הגדרות העריכה מקבלות טביעת אצבע, כך שאם שום דבר לא השתנה, הייצוא הקודם נשלף מהמכשיר במקום לרנדר מחדש.

פרסום ישיר ותזמון לכל הרשתות החברתיות

מאותו מסך האמן מפרסם ישירות לאינסטגרם, פייסבוק, טיקטוק ויוטיוב, בלי לפתוח כל אפליקציה בנפרד ובלי שירות ביניים בתשלום. אפשר לפרסם מיד או לתזמן עד חודש קדימה, והמערכת דואגת לשאר: מעלה את הקובץ פעם אחת, שולחת לכל רשת בזמן שנקבע, ולעולם לא מפרסמת את אותו פוסט פעמיים, גם אם משהו נתקע בדרך.

מפתחות גישה שלא נוגעים בטלפון

ההתחברות לרשתות עוברת בתהליך הרשאה חתום וחד פעמי, ומפתחות הגישה של האמן נשמרים בכספת סודות מנוהלת בענן, בנפרד לכל משתמש, ואף פעם לא מגיעים למכשיר. הם מתחדשים בזמן השימוש ובסריקה יומית, ניתוק מהרשת או בקשת מחיקת נתונים מצד הרשת מטופלים אוטומטית, ומחיקת חשבון מנקה הכל. לפני הפריסה המודול עבר סקירת אבטחה, וכל הממצאים שעלו בה תוקנו.

הפרופיל של האמן משתקף אוטומטית לאתר הציבורי, כשכל חלק (ביו, קישורים, קורות חיים) נשלט במתג נפרד, האמן מחליט מה חשוף ומה לא. האתר עצמו מוגש על ידי רכיב נפרד וקליל, שמזהה את האמן מהכתובת וטוען את התוכן שלו במהירות עם גלילה אינסופית. כך כל אמן מקבל נוכחות מקצועית ברשת בלי לגעת בשורת קוד.

השתמשתי במנועי המציאות הרבודה הרשמיים של שתי הפלטפורמות, של אפל ושל גוגל, כדי "להבין" את המרחב התלת ממדי מול המצלמה. כדי לתת מספר שאפשר לסמוך עליו, המערכת לא מסתמכת על שיטת מדידה אחת אלא מצליבה שתי שיטות בלתי תלויות ודורשת שהן יסכימו: אחת קוראת את מפת העומק של המצלמה, השנייה מזהה את מישור הקיר. המדידה "ננעלת" רק אחרי שהמשתמש מחזיק את הטלפון יציב לרגע, כדי לסנן רעד. התוצאה, למשל תשעים ואחת על מאה עשרים ושתיים סנטימטרים, נכנסת אוטומטית לטופס פרטי היצירה, מוכנה לעריכה. במכשירים ישנים בלי תמיכה במציאות רבודה, המערכת פשוט מדלגת בחן לצילום רגיל.

הניתוח מונע על ידי מודל הבינה המלאכותית המתקדם של גוגל, ג׳מיני, שרץ בענן. שתי החלטות הופכות את זה מגימיק לכלי אמין.

תשובה מסודרת ומלאה, תמיד

במקום פסקה חופשית שאי אפשר לסמוך עליה, המודל מחויב להחזיר את כל שדות הניתוח במבנה קבוע, כך שכל יצירה תמיד מקבלת קטלוג מלא ותקין, מוכן להצגה ולעריכה, בלי "המצאות" של פורמט.

צבעים נמדדים באמת, לא מנוחשים

לפני שהמודל כותב, המערכת כבר חילצה על המכשיר את הצבעים הדומיננטיים האמיתיים של היצירה, בעזרת אלגוריתם שמקבץ את הפיקסלים ומוצא את הגוונים העיקריים לפי כמה מקום כל אחד תופס בתמונה. את הצבעים המדויקים האלה אני "מגיש" למודל כעובדה, עם הנחיה מפורשת: אלה הצבעים האמיתיים, תתאר אותם, אל תמציא אחרים. כך תיאור הצבע תמיד נאמן ליצירה עצמה.

התוצאה: צילום אחד הופך לרשומת קטלוג מלאה תוך שניות, וחוסך לאמן שעות של כתיבה.

חיפוש לפי משמעות

כשהאמן מחפש "נופים כחולים מלנכוליים", המערכת לא מחפשת את המילים האלה בטקסט. היא מבינה את הכוונה ומחזירה יצירות שמתאימות ברוח, גם אם המילים "כחול" או "מלנכולי" לא נכתבו עליהן מעולם.

הבנת האמן כשלם

ברגע שלכל היצירות יש טביעת אצבע, אפשר לקרוא את כל גוף העבודה יחד ולשאול שאלה גדולה יותר: מי האמן הזה? מה חוזר אצלו? מה השפה החזותית שלו? מכאן נולדת הצהרת אמן ותיאור שנכתבים אוטומטית, לא על יצירה בודדת, אלא על האמן כולו.

טביעת האצבע של כל יצירה נבנית ממכלול ההבנה שלה, הנושא, הסגנון, האווירה, האלמנטים, הצבעים והתיאור, ונשמרת יחד עם היצירה.

חיפוש מיידי, על המכשיר

את כל טביעות האצבע אני מסנכרן אל הטלפון עצמו, כך שכשהמשתמש מחפש, ההשוואה בין השאילתה לכל היצירות רצה מקומית ומיידית, בלי סבב לשרת לכל תוצאה, ובלי עלות. חיפוש חכם שמרגיש מיידי, ועובד גם על קטלוג של מאות יצירות. דאגתי גם שחיפוש בעברית יעבוד על יצירות שתוארו באנגלית, בעזרת מרחב משמעות רב לשוני.

הצהרת אמן מהתמונה השלמה

כשאמן מבקש הצהרת אמן, המערכת לא מנתחת יצירה אחת, היא ניגשת לטביעות האצבע ולניתוחים של כל היצירות שלו, מזהה את החוטים המשותפים ואת השפה החזותית שלו, וכותבת טקסט שמדבר על האמן כיוצר. זה ההבדל בין "תיאור של ציור" לבין "הבנה של אמן".

נכתב חי, מול העיניים

במקום מסך טעינה, בניתי חיבור מיוחד לשרת שמזרים את הטקסט חזרה מילה אחר מילה, כמו הקלדה, מהשנייה הראשונה. זה גם מרגיע את ההמתנה, וגם משדר שהמערכת באמת "חושבת" ומחברת עבור האמן משהו אישי.

עותק חכם ומוצפן על הטלפון

על המכשיר יושב מסד נתונים מקומי שמשקף את הנתונים שבענן, היצירות, האלבומים, הפרופיל והאתר. הממשק קורא ממנו ישירות, כך שגלילה בגלריה של מאות יצירות לא יוצרת אפילו פנייה אחת לרשת, והכל מרגיש מיידי.

סנכרון שקוף ברקע

כל עוד האפליקציה פתוחה, היא מקשיבה לשינויים בענן. ברגע שמשהו משתנה, עריכה שנעשתה ממכשיר אחר, או ניתוח בינה מלאכותית שהסתיים, העדכון זורם לבד אל המכשיר, והמסך מתעדכן מעצמו בלי שהמשתמש לוחץ "רענן" ובלי הבהוב. כשהאפליקציה יורדת לרקע, ההקשבה נעצרת כדי לחסוך בסוללה ובעלויות.

עובד גם בטיסה

כתוצאת לוואי של הגישה הזאת, האפליקציה ממשיכה לעבוד גם ברכבת תחתית, במטוס או באזור עם קליטה גרועה, אפשר לגלוש, לחפש, ואפילו לסרוק ולהעלות יצירה. מה שנעשה בלי רשת מסתנכרן אוטומטית ברגע שהיא חוזרת.

חיסכון דרמטי בעלויות

בלי הגישה הזאת, כל משתמש פעיל היה גורר מאות פניות יקרות לענן בכל יום. כאן, השרת נשמע רק כשמתבצעת כתיבה אמיתית או כשמגיע עדכון חדש, הבדל שיכול להגיע לפי עשרים ויותר בעלות החודשית של אותה תנועה.

והכל מוצפן

כל הנתונים על המכשיר מוגנים בהצפנה מלאה, עם מפתח סודי שנוצר על המכשיר בהפעלה הראשונה ונשמר בכספת המאובטחת של מערכת ההפעלה, נגישה רק כשהטלפון פתוח. גם אם מישהו מחלץ פיזית את הקבצים מהמכשיר, הם רעש חסר משמעות.

שלושה מנגנונים עובדים יחד.

גרסה קטנה ומהירה לכל תמונה

מיד כשתמונה נשמרת, המערכת מייצרת ממנה גרסה מוקטנת שמיועדת לרשת התצוגה, כי לפענח תמונה ענקית לתוך תא קטן בגריד זה בזבוז אדיר. מסך הפירוט לעומת זאת טוען את הרזולוציה המלאה.

זיכרון של הכתובות

המערכת זוכרת מאיפה כל תמונה הגיעה, ולא מבקשת אותה שוב מהשרת בכל פעם.

קריאה מקומית חכמה

כשמסך נטען, כל הכתובות המקומיות נשלפות במכה אחת מהירה במקום בדיקה איטית לכל תמונה בנפרד. התוצאה: הגלריה מרגישה מיידית, גם אחרי סגירה ופתיחה מחדש של האפליקציה.

השרת בנוי כשרשרת של תגובות אוטומטיות: תמונה חדשה שנקלטה מפעילה סנכרון והרשאות ואת הניתוח החכם; סימון יצירה כמושלמת מפעיל את הניתוח; מעבר של יצירה לציבורית מפרסם אותה. כל שלב "זוכר" אם הוא כבר רץ, כדי לא לחזור על עבודה יקרה פעמיים.

החיסכון החכם

במקום שכל צפייה באתר של אמן תגרור שאילתות יקרות למסד הנתונים, אני שומר את פרטי התצוגה של כל יצירה צמוד לתמונה עצמה באחסון הענן. כך הפיד הציבורי של האמן מוגש כמעט בלי ולו פנייה אחת למסד הנתונים, מהיר וזול מאוד. פרטים רגישים כמו מחיר סופי או שם לקוח מושמטים אוטומטית מהגרסה הציבורית, וההרשאות של כל תמונה (ציבורית או פרטית) מסתנכרנות לבד עם הבחירה של האמן.

הפרדתי בין תרגום הטקסט לבין היפוך הפריסה, כדי שכל אחד יעבוד בצורה נקייה. כל הרכיבים העיצוביים, כולל האפקטים הגרפיים המיוחדים של האפליקציה, יודעים להתהפך נכון בעברית. וברמת הבינה המלאכותית, כפי שתואר למעלה, החיפוש החכם עובד גם בעברית וגם על קטלוג שתואר באנגלית, כך שהמעבר בין השפות באמת חלק, לא רק במראה, אלא גם בהבנה.

כל משתמש נעול לנתונים של עצמו בלבד, ברמת הענן. שכבת הניהול מוגנת בשלוש שכבות נפרדות, כולל אימות מחדש בצד השרת בכל פעולה ניהולית, כי הרשאה בצד הלקוח לעולם אינה גבול האבטחה האמיתי. העלאות תמונה עוברות דרך קישורים מאובטחים זמניים בעלי תוקף קצר, במקום גישת כתיבה פתוחה; ותמונות פרטיות נחשפות רק דרך קישור מאובטח שפג תוקפו. הוספתי הגבלת קצב בצד השרת שרצה לפני כל פעולה יקרה, כך ששימוש לרעה לעולם לא מגלגל עלינו עלות. הנתונים על המכשיר מוצפנים, סודות המערכת נשמרים בכספת ייעודית ולא בקוד, וביציאה מהחשבון מפתח ההצפנה נמחק וכל העקבות המקומיות נמחקות איתו.

כל שינוי במבנה הנתונים מקבל צעד שדרוג ממוספר. כשמשתמש פותח את האפליקציה אחרי עדכון, המערכת מריצה בשקט את כל הצעדים החסרים בסדר הנכון ומביאה אותו לגרסה העדכנית, בלי איבוד מידע ובלי התערבות. שמרתי בקפידה על תאימות לאחור מלאה, כך שגם משתמש ותיק מאוד עובר עדכונים בלי תקלה.

לוח הבקרה הוא אפליקציית ווב נפרדת שמציגה בזמן אמת את בסיס המשתמשים ואת כל הטיקטים, ומאפשרת פעולות ניהול מאובטחות: השבתת משתמש, מחיקה עם אישור מפורש, וצפייה בתמונות פרטיות. כפתור המשוב באפליקציה מצלם צילום מסך אוטומטית ופותח פנייה, כך שאפשר לראות בדיוק על מה המשתמש הסתכל.

החיבור לאימייל, ההחלטה ההנדסית המעניינת

במקום להסתמך על ממשק תכנות רשמי כבד עם הרשאות מורכבות, חיברתי את המערכת ישירות לתיבת הדואר של התמיכה בפרוטוקולי המייל הסטנדרטיים (שליחה וקבלה), עם הזדהות מאובטחת מודרנית. המערכת בודקת את התיבה כל כמה דקות, מזהה כל תשובה נכנסת ומצמידה אותה אוטומטית לטיקט הנכון לפי מזהה ייחודי בכותרת הנושא, ותשובה חדשה אף פותחת מחדש טיקט שכבר נסגר. סודות ההתחברות לתיבה שמורים בכספת מאובטחת, לא בקוד. התוצאה: מערכת תמיכה מקצועית שלמה, בעלות תשתית זניחה.

צד השרת מחולק ליחידות עצמאיות קטנות, כל אחת אחראית על תחום אחד. החלקים שדורשים חיבור מתמשך (כמו הזרמת הטקסט החי) חיים כשירות נפרד שמתאים לזה. לוח הבקרה ואתר האמן הציבורי הם גם הם יחידות פריסה עצמאיות. היתרון כפול: תקלה באזור אחד לא מפילה את השאר, ואפשר לשדרג חלק אחד של המוצר במהירות בלי לגעת בכל היתר.