מה איליה ראה?? (התיאוריה המלאה)

פוסט לא ׳צהוב׳,
אלא נסיון לחדד את המחלוקת.

פרשנות שלי להתרחשות בצמרת ה-AI בשנה האחרונה:

א. איליה סוצקבר ניסה לפטר את סאם אלטמן מתפקידו כמנכ״ל OpenAI. צעד קיצוני ללא ספק. איליה נתפס כאדם ענייני ומקצועי. הציניקנים יאמרו שאלו קרבות אגו אבל אני חושב שאמירה כזו היא לעשות לעצמנו חיים קלים. כולם שואלים ״מה איליה ראה״ כי מאוד קשה להסביר מה גרם לו לנקוט בצעד חריף כל כך.

ב. הבורד של OpenAI נימק את ההחלטה באמירה שסאם לא היה שקוף מול הבורד (במילים אחרות הם טענו שהוא שיקר לאורך הדרך בכל מיני נקודות). אמירה שאם היא נכונה – זה בהחלט יכול להיות הצדקה לפיטורים. אלא שכאשר הבורד התבקש לפרט את הנימוק – הוא התקשה לספק הסבר מניח את הדעת. אחד המנכ״לים שהוצעו לתפקיד דרש מהבורד הבהרות – ולא קיבל. משמע: יש פה עניין אחר.

ג. אם כן – סאם אמנם זייף פה ושם מול הבורד, אבל לא זו הסיבה לפיטורים. יש סיבה אחרת – והיא כנראה סיבה אמיתית מספיק כדי להניע את איליה למהלך כזה, אבל לא כזו שאפשר לומר אותה בקול. מדוע? כי סאם אלטמן מפולפל מספיק כדי להצדיק את האסטרטגיה שלו כמנכ״ל, כך שאם יעמידו מולו את הסיבה האמיתית – הוא יפרק אותה עם טיעונים נגדיים. אבל מול שקרים אין לו דרך להתמודד (לך תוכיח שאתה לא שקרן אם טוענים שאתה כן).

ד. במהלך השנה האחרונה בלטה המגמה של עזיבת הבכירים את OpenAI בעיקר על רקע נושא הבטיחות. הקשר בין נסיון הפיטורים לשרשרת העזיבות קשה להכחשה.

ה. במקביל היה הרבה דיבור על מודל חכם במיוחד שOpenAI הולכים להשיק, תחת שם קוד Q* ואח״כ Strawberry.. המודל הזה שוחרר ביום חמישי האחרון. והבנה של המודל יכולה לשפוך עוד קצת אור על כל הסוגיה.

ו. הקשר המשולש בין הפיטורים, מודל Strawberry, ועזיבת הבכירים מתחום הבטיחות – הוא מסתבר. אם כי לא מוכרח. אבל כל השלושה האלה מספיק דרמטיים כדי שיהיה קשה להפריד ביניהם.

ז. אם רוצים להבין את איליה צריך להסתכל על המעשים שלו, לא על הדיבורים שלו. איליה הוא בחור מופנם והפירסומים שלו הם יותר קורקטיים מאשר מעידים על הרצון האמיתי שלו. בעזיבה את OpenAI הוא כתב שהוא בטוח ש-OpenAI יעמדו במשימה שלהם לפתח AGI בטוח. אבל מיד אח״כ הוא הציב מטרה משלו: להקים SSI שזה בעצם תחרות ישירה עם אותה מגמה, כאשר הוא חידד בצורה הכי ברורה – שהמטרה היחידה שלו זה בניית SSI ללא שום הסחות דעת מסחריות. בינה מלאכותית כללית (בינת על) שתהיה בטוחה. נקודה. איליה מבטא את החלום האמיתי שלו דרך העשייה ב-SSI מה שבוודאות הוא לא מצא ב-OpenAI למרות שקיווה למצוא בה בתחילת הדרך.

ח. עכשיו נחבר את כל הקצוות –

סאם אלטמן הוביל את המהלך של OpenAI שהקים את חברת הבת למטרות רווח, תחת המלכ״ר. סאם, בפילפול חריג הצליח להביא משקיע גדול (מייקרוסופט) לטובת המחקר של OpenAI וההבנה (עד כדי גאונות) של סאם בגיוס כספים היא נקודה חשובה מאוד בסיפור.

כעת, ממה שמסתמן, סאם סבור ש-OpenAI חייבת לפנות לאפיקים מסחריים משמעותיים. זאת מכיון שהחמצן ממייקרוסופט לא יימשך לנצח. תחום ה-AI כולו בסכנה, אם לא יימצאו אפיקי רווח משמעותיים. זה לא רק OpenAI – זו תעשייה שלמה שעומדת בפני בעיה שעוד לא נמצא לה פתרון עומק. מחקר ה-AI צורך המון משאבים, ובנתיים לא מניב מספיק בחזרה. סאם מבקש להציל את המחקר דרך פנייה לפתרונות מסחריים כמה שיותר – גם על חשבון המשימה המקורית.

כאשר OpenAI קמה – ההחלטה שהיא תהיה מלכ״ר היא החלטה קריטית בהתווית המסלול של הארגון. אי אפשר לבנות AGI שדורש מסלול ייחודי – אם במהלך הדרך חושבים על צרכים מסחריים. זו היתה ההסכמה. הכיוון שסאם אלטמן התחיל בגלוי לקדם את הארגון (בצעד ראשון מול מייקרוסופט, ובצעדים נוספים וגם גילוי דעתו בפועל) – הוא לרוקן מתוכן את ההחלטה הזו. איליה מבין שסאם אלטמן פשוט הורס את OpenAI. לוקח אותה לכיוון שמנוגד בתכלית לעקרון שעליו נוסדה. עד כדי כך שהסיכוי להקים AGI בטוח הולך ומתרחק. בדיוק הסיבה שממנה חששו כאשר הגדירו את OpenAI כמלכ״ר – זה בדיוק מה שכרגע הופך למכשול שלה להגשים את יעודה.

אם איליה מגיע להבנה שחייבים לעצור את סאם אלטמן – או ש-OpenAI תוסט מהמסלול שלה – זו סיבה שנשמעת מספיק חיונית כדי לקדם את המהלך לפטר אותו.

עד היום OpenAI אימנו רשתות יותר ויותר חזקות, כאשר השיא היה עם GPT-4. מאז השתנתה המגמה. ההבנה היא שרשתות יותר ויותר גדולות לא יביאו לפתרונות טובים יותר מכיון שהמשאבים הנדרשים להפעלה שלהם לא מאפשרים לפתוח אותם לציבור הרחב, וגם אי אפשר להעמיס עליהם מנגנונים חשובים כמו שיחה בזמן אמת ועוד… לכן OpenAI מתחילה לחפש קיצורי דרך כדי להפיק תוצרים שירגישו טובים יותר אבל בפועל הם חלשים יותר. וכאן מגיעים ל-GPT-4o שיצא עם הרבה באזז ומגניבות והבטחה שהוא בחינם לכולם, מהיר יותר, זול יותר…. מהיר יותר זול יותר — ואני אומר: קטן יותר. חייב להיות קטן יותר. את זה OpenAI לא סיפרו. הם קוראים לו ״ברמה של GPT-4״ וזה לא נכון. הוא לא יכול להיות כמו GPT-4 כי הוא עובד אחרת. בחלק מהדברים הוא עושה רושם שהוא מוצלח יותר מ-GPT-4 אבל זה בגלל כל מיני טריקים של אימון, שבסוף ההבנה העמוקה שלו לא עולה על GPT-4 אלא נופלת ממנה.

אלא ש-OpenAI החליטו לדחוק את GPT-4 וכרגע הגישה אליו קשה יותר. נראה שהם רוצים להכריז עליו כמיושן למרות שהוא המודל הכי חכם שלהם.

מודל Strawberry המכונה o1 ממשיך את אותה המגמה. זה מודל עוד יותר קטן, מהיר וזול. אבל העלו אותו טרמפ על רכב משוכלל שלוקח אותו לטיולים בעץ החלטות, ובעצם ״חושב בשבילו״. סגנון קבלת ההחלטות של המודל, כך מקווים, יקנה לו מצד אחד את המיומנות האינטלגנטית החשובה, ואף יעשה את זה באופן שעולה על שאר המודלים – אבל יוציא את זה מפעולת המודל עצמו. הוא לא מנחש סטטיסטית עוד תשובות טובות וחכמות, אלא הוא מנחש סטטיסטית ממש גרוע – וכדי שהוא ינחש טוב צריך לתת לו את המסגרת הנכונה. המנגנון של פיתוח המחשבות של o1 הוא המסגרת בתוכה המודל הזה פועל, וכשזה פועל טוב הוא חכם יותר מכולם. אבל זה לא המודל עצמו חכם יותר, אלא הרכב שהוא נוסע בתוכו.

מבחינה מסחרית השוק רואה שיש התקדמות ל-AI ויש פחות חשש שהמשקיעים יברחו והשוק יקרוס. ובנוסף אפשר להניע מוצרים מסחריים קדימה כמו המודל הקולי שזוקק זמן אמת ועוד.. אפשר לתת שירותים בחינם וכך גם למנף יותר שירותים בתשלום (משפך שיווקי קלאסי).

איך כל זה קשור לבטיחות?

כאן אני מגיע לתיאוריה, שהיא לגמרי שלי, קחו אותה בערבון מוגבל (כמו כל הפוסט הזה, אבל במיוחד זו) – מודל קטן יותר הוא גם מודל פחות בטוח. תחשבו על זה ככה: האם הייתם נותנים לילד קטן לנהל מפעל גרעין? בוודאי שלא. מדובר בתפקיד מלא אחריות. אז ממש בדומה לזה – מודל קטן הוא מודל לא אחראי. הוא עטוף אמנם במנגנון ששומר עליו, אבל חוש האחריות לא מוטמע בתוך המודל עצמו. לעומת זאת מודל גדול וחכם באמת (כן, יש דבר כזה) הוא מודל אחראי יותר שאפשר באמת ליישר אותו עם ערכים אנושיים ואפשר לומר שהוא יבין את החשיבות של השמירה על האנושות.

הבחירה של OpenAI לחפש פתרונות שיעבדו בשוק כדי לשמור על המשקיעים וללכת על טכנולוגיה מפוקפקת עם חורי אבטחה (כי המודלים פשוט צריכים השגחה הרבה יותר מקיפה, כאשר אין להם את ההבנה מעצמם) זה סכנה משמעותית ובעיקר סתירה לכל המגמה של פיתוח AGI אחראי באמת.

האם אמנם המשקיעים לא נותנים אמון ב-AI שלא מניב רווח?

איליה סוצקבר ושני הדניאלים שהקימו את SSI בנתיים הוכיחו אחרת: הם גייסו הון של מליארד דולר רק על ההבטחה לפתח SSI. זהו. בלי אופק מסחרי ובלי כלום. בדיוק כמו ש-OpenAI התחילו. מה שנראה שסאם אלטמן מאמין שלא יחזיק, בנתיים נראה שהמשקיעים האמיתיים שמבינים את הנושא – מוכנים לסכן את הכסף שלהם לטובת המפעל הזה.