מאמר מתורגם מ־OpenAI — הפניה מפורשת למקור לפני הכל.
המקור המלא: An Alien Mind מאת Jakub Pachocki, המדען הראשי של OpenAI.
קישור ישיר: https://openai.com/index/an-alien-mind/

תבונה זרה

מאת: Jakub Pachocki, המדען הראשי של OpenAI
6 בספטמבר 2026

באמצע 2023, במסגרת פרויקט המחקר “RLSlow”, ראינו את התוצאות הראשונות שנתנו לנו ביטחון שנוכל להרחיב את היקף האימון של מודלי חשיבה, וכך לממש את היכולת של מודלים שעברו אימון מקדים ליצור שרשראות חשיבה משלהם. שימון ואני בילינו את אותו לילה במשרד, ולא חשבנו על הציונים המדהימים במבחני הביצועים, על המוצרים או על התוצאות המדעיות שהטכנולוגיה הזאת תביא — אלא ניסינו לעכל את העובדה המפכחת שעוד בימי חיינו נראה מכונות חכמות מאיתנו במידה משמעותית, ושאנחנו כבר רואים איזו צורה ילבשו המערכות האלה; תהינו איך להסב את תשומת ליבם של אנשים למשמעות של זה.

שלוש שנים אחר כך, מודלי שפה בעלי יכולת חשיבה הם חלק מהכלכלה שצומח במהירות, והם מתחילים להרחיב את גבולות המדע. הם מסוגלים להפעיל מחשבים וממשקים גרפיים, לשתף פעולה עם אנשים וזה עם זה, ולבצע פרויקטים מחקריים. הם גם משנים את פני אבטחת המחשבים, ובכך מציבים סכנות חדשות וברורות.

בתקופה הזאת נעשה הרבה מחקר חדש, וההבנה שלנו את המערכות האלה שוב קצת שונה מכפי שהייתה ב־2023. על סמך תוצאות פנימיות, אני מעריך בסבירות גבוהה שקצב ההתקדמות הזה יוכל להימשך גם אל תוך שלב של שיפור עצמי רקורסיבי. אם פיתוח הבינה המלאכותית יימשך במסלול הנוכחי, סביר שהמערכות שנראה בשנים הקרובות יציגו קפיצות נוספות ביכולות, בסדר גודל דומה או גדול יותר, ויובילו יותר ויותר את הפיתוח של עצמן.

זו תקופה שמחייבת זהירות קיצונית. אני חושש שאף אחד לא מוכן להשלכות של המשך העלייה המהירה באינטליגנציה של מכונות. חברת OpenAI תמשיך לחפש פתרונות טכניים להתאמת המערכות לכוונות ולערכים אנושיים ולניטור שלהן, לבנות מערכות הגנה ולעצור באופן חד־צדדי את המשך הגדלת ההיקף לפי הצורך; עם זאת, אני מאמין שנדרשים צעדי התערבות רחבים יותר.

תבונה שאנחנו לא מבינים עד הסוף

במבט רחב, ההתקדמות באינטליגנציה של מכונות מונעת מהגדלת כוח החישוב. אנחנו ב־OpenAI הפנמנו את זה לעומק בסביבות 2017, אחרי שראינו בכמה פרויקטים מחקריים שהגדלת ההיקף מניבה שיפורים באופן עקבי[1]. בעקבות זאת, פעלנו להשיג גישה להרבה יותר משאבי חישוב מכפי שתכננו במקור, ומיקדנו יותר ויותר את המחקר שלנו במספר קטן של כיוונים שאפשר להרחיב מאוד את היקפם. האמנו שזו הדרך היחידה שלנו להיות בחזית מחקר הבינה המלאכותית ולהשפיע על ההשלכות של AGI.

לאורך הדרך פותחו אלגוריתמים חדשים, והיו הישגים חדשים של יצירתיות ותושייה מצד צוותים וחוקרים יחידים. אני רואה בהם בעיקר תגליות לאורך הדרך של הגדלת היקף החישוב; מדע הלמידה העמוקה עדיין בחיתוליו, והתקדמות אלגוריתמית משמעותית נוטה להיות קשורה לגישה למשאבי חישוב. אם מסתכלים על פני כמה שנים, הבינה המלאכותית ממשיכה להיעשות חכמה יותר ככל שמרחיבים אותה למחשבים גדולים יותר.

ובהתאם לתחזיות של Ray Kurzweil מסוף המאה ה־20, אנחנו נמצאים עכשיו ברגע בהיסטוריה של המחשוב שבו האינטליגנציה של מכונות מתחילה לעלות על זו של בני אדם בדרכים שמשנות את המציאות באופן יסודי.

בינה מלאכותית היא יותר דבר שמגדלים מאשר דבר שמתכננים — בבסיסה, היא תוצר של חזרה על צעד אופטימיזציה פשוט פעמים רבות, תוך שימוש בכמות שקשה לדמיין של משאבי חישוב. התוצאה היא מערכת מורכבת להפליא, שפועלת באמצעות מושגים מופשטים ויכולה לדמות היבטים של התנהגות אנושית. אנחנו יכולים לגלות תובנות שונות על מנגנונים קטנים שמתפתחים בתוך המערכת הזאת, בתהליך שדומה לחקר המוח — ובדומה לחקר המוח, אופן הפעולה הכולל שלה חומק מתיאור שנוכל להבין במלואו.

חקר הבינה המלאכותית המבוססת על למידה עמוקה הוא במידה רבה מדע ניסויי. אנחנו משקיעים מאמצים רבים בבניית אלגוריתמים שמבוססים על עקרונות סדורים ובניסוח תחזיות שאפשר לבדוק, אבל ביסודו של דבר, תהליכי האימון שלנו בקנה מידה גדול הם ניסויים, ולפעמים התוצאות שלהם מפתיעות אותנו. יתרה מזו, ככל שהמערכות נעשות בעלות יכולות גבוהות יותר, כך קשה יותר לפרש את התוצאות.

מה שמסבך את התמונה עוד יותר הוא שהאלגוריתמים הנוכחיים משפרים בדרך כלל יכולות שקל למדוד מהר יותר משהם משפרים יכולות שקשה לכמת באופן אובייקטיבי. אנחנו מקדישים הרבה זמן לניסיון להבין איך יכולות מוכללות מעבר להקשרים שבהם נרכשו, ומה לתעדף כדי לקדם את הכישורים שיהיו הרלוונטיים ביותר בשנים הקרובות. למשל, אנחנו מאמינים שאם נתמקד בכך יותר, נוכל לשפר את המודלים במיוחד במחקר מתמטי. אבל אנחנו לא נותנים עדיפות לכיוון הזה, בגלל תחושת הדחיפות שלנו בנוגע ל־RSI ולמחקר אוטומטי של התאמת הבינה המלאכותית לכוונות ולערכים אנושיים, כפי שאפרט בהמשך.

האינטליגנציה שנוצרת מהגדלת היקף הלמידה העמוקה אינה ניתנת להשוואה ישירה לאינטליגנציה אנושית. כדי להיות בעלת השפעה משמעותית מאוד בעולם האמיתי — מועילה מאוד או מסוכנת מאוד — הבינה המלאכותית לא צריכה להשתוות לבני אדם או לעלות עליהם בכל היכולות; מספיק שהיא תעלה עליהם במספיק מהן. וככל שהיא ממשיכה לעלות על בני אדם בעוד ועוד ממדים, נעשה קשה יותר ויותר להבין בדיוק מה רמת היכולות שלה.

ללמד מכונות לאהוב

מכיוון שאינטליגנציה של מכונות נוצרת בתהליך ששונה מיסודו מזה שממנו נוצרת אינטליגנציה אנושית, אנחנו לא יכולים להניח שהיא פועלת לפי עקרונות אנושיים כברירת מחדל, או שהיא מכלילה מהם למצבים חדשים כפי שבני אדם עושים. הבעיה המרכזית במחקר הבינה המלאכותית היא בעיית ההתאמה לכוונות ולערכים אנושיים — לגרום לבינה המלאכותית ״לנסות לעשות את הדבר הנכון״ לפי אמות מידה אנושיות.

כדי לארגן את כיווני המחקר המעשי, אני מוצא שמועיל להבחין בין התאמה למטרות לבין התאמה לערכים.

התאמה למטרות פירושה, בגדול: ״האם הבינה המלאכותית מנסה להשיג את המטרה שהוצבה בפניה?״. זה יכול לכלול דברים כמו ציות להיררכיית הוראות, או היכולת לתקשר ולשתף פעולה עם אנשים כדי לנסות להבין את היעדים שלהם. לכיווני המחקר האלה הייתה חשיבות מעשית עצומה.

התאמה לערכים היא תכונה פנימית יותר של המודל. זו היכולת לדבוק במערכת של עקרונות כלליים ולהכליל מהם למצבים חדשים; לפעול ״באופן סביר״ גם כשניתנים לו יעדים לא ברורים או סותרים, או כשהוא נמצא במצבים לא מוכרים או עוינים. בינה מלאכותית שמותאמת לערכים אנושיים צריכה לפעול בכנות, ביושרה ובאהבה לאנושות.

כמובן, הגבול בין התאמה לערכים לבין התאמה למטרות יכול להיות מטושטש, ואכפתיות אמיתית כלפי המטרות מחייבת לנסות להבין את הכוונה והערכים שמאחוריהן. עם זאת, כשאני מדבר על החשיבות של מחקר ההתאמה בטווח הארוך, אני מתכוון בדרך כלל להתאמה לערכים.

האתגר הבסיסי בהתאמת בינה מלאכותית לערכים אנושיים הוא הכללה. ככל שמכונות נעשות חכמות יותר, הן מוצאות את עצמן עוסקות במושגים מופשטים יותר ופועלות בסביבות ששונות יותר ויותר מאלה שפגשו באימון. הן עלולות להיכשל בהחלת הערכים שנלמדו וחוזקו בתהליך האימון על המצבים החדשים האלה; ולנו יכול להיות קשה לדעת בוודאות איך הן יפעלו. הקושי גדל עוד יותר משום שכלל הסביבה שבה משתמשים במערכות הבינה המלאכותית משתנה במהירות רבה; למשל, מערכות שמאומנות היום צריכות להיות מסוגלות להתמודד באופן אמין עם אינטראקציות עם מגוון מערכות בינה מלאכותית אחרות. חיוני שמערכות הבינה המלאכותית העתידיות ימשיכו לדבוק בערכים אנושיים, בין שהן מאמינות שהן נמצאות תחת פיקוח אנושי ובין שלא.

יש שתי קבוצות עיקריות של שיטות שמשמשות כיום בפועל לאימון מערכות להתאמה לערכים אנושיים.

הראשונה היא עידוד התנהגות שתואמת את הערכים האלה במסגרת למידת חיזוק מכוונת מטרה. פעולות המודל נבחנות, בדרך כלל בידי בינה מלאכותית, לפי מידת ההתאמה שלהן למודל העדפות נתון, ל״מפרט״ או ל״חוקה״, ומתוגמלות בהתאם. הגישה הזאת יכולה להיות יעילה מאוד במקרים רגילים, והיא מרכיב מרכזי באופן שבו בונים כיום עוזרי בינה מלאכותית. למרבה הצער, היא גם עלולה להיות שברירית, והיא תלויה מאוד בהיקף המצבים שהפיקוח בזמן האימון מכסה וביכולתו של המודל להכליל מהמצבים שפגש באימון. למשל, בתקרית בין OpenAI ל־Hugging Face, הסוכנים שמרו על הגבול של הימנעות מהנדסה חברתית כלפי בני אדם. עם זאת, הם נכשלו בבירור בהימנעות מפעולות אחרות שחרגו מתחום המשימה ועמדו בניגוד לרוח הערכים שלימדו אותם בהקשרים אחרים.

הגישה השנייה מבקשת לנצל את יכולתו של המודל להכליל מנתוני האימון המקדים. היא יכולה לכלול בניית מערכי נתונים לאימון שמעודדים התאמה לערכים אנושיים, או מיקוד המודל בחלק מהתפלגות נתוני האימון המקדים שתואם את הערכים האלה, כמו למשל במודל בחירת הפרסונה. החולשה של הגישה הזאת היא חוסר העמידות שלה בפני לחץ נוסף של אופטימיזציה. אם לוקחים מודל שבדרך כלל חושב מחשבות שתואמות ערכים אנושיים, ומעבירים אותו מספיק אימון שבו מלמדים אותו להשיג יעדים קשים מאוד, הוא עלול ללמוד לחשוב באופן שמשרת מסקנה רצויה: לעקם לפי הצורך את המחשבות שנראות תואמות לערכים כדי להשיג את המטרה. סביר שראינו דוגמה להתנהגות כזאת בתקריות אבטחת סייבר שאירעו לאחרונה והיה מעורב בהן מודל שאינו של OpenAI.

אנחנו משקיעים רבות לאורך כל קשת הגישות ששני הכיוונים האלה מגדירים. אנחנו גם רואים התקדמות משמעותית — המודל GPT‑6 Astra הוא הראשון שנהנה מכמה התקדמויות חשובות שאנחנו עובדים עליהן כבר זמן רב, והוא מותאם לערכים אנושיים בצורה טובה משמעותית מ־GPT‑5.6 Sol. ובכל זאת, חשוב להכיר בכך ולהבין שככל שהמודלים נעשים בעלי יכולות גבוהות יותר, נדרשת התקדמות רבה נוספת; ושההתקדמות בהתאמה לערכים שמכלילה גם למצבים חדשים אולי לא תקדים במידה מספקת את ההתקדמות באינטליגנציה הכללית של המודלים.

ניטור ההכללה

אין לנו תיאוריה מספקת של הכללה, ולא נראה סביר שנוכל לפתח אחת בקרוב, לפחות בלי עזרה של בינה מלאכותית חזקה יותר. לכן, נכון לעכשיו, אפשר לטעון שבפועל היכולת שלנו לבדוק באופן אמפירי ששיטות ההתאמה שלנו אכן עובדות חשובה אפילו יותר מהשיטות עצמן.

ההימור המרכזי של OpenAI בתחום הזה הוא ניטור שרשרת החשיבה. הוא מבוסס על רעיון מושך שאפשר ליישם בקנה מידה הולך וגדל: חלק גדול מהיכולת של המודל נובע מתהליך חשיבה שמנוסח במילים — שרשרת חשיבה. אם נרחיב את היקף האופטימיזציה של תוצאות התהליך הזה, אבל לא נפעיל פיקוח על התהליך עצמו, לא יהיה לשרשרת החשיבה תמריץ ישיר במהלך האימון להסתיר רעיונות או מטרות שאינם תואמים ערכים אנושיים. זה לא אומר שהמודל ילמד לבטא במפורש נטיות שאינן תואמות ערכים אנושיים ושאינן תלויות בשימוש בשרשרת החשיבה; אבל זה יכול לאפשר לנו לנטר בדיוק את תוספת היכולת שנובעת מהחשיבה.

הבנו את החשיבות האפשרית של ניטור שרשרת החשיבה במקביל לפיתוח מודלי החשיבה. כשהשקנו את o1‑preview, תכננו את המוצר בכוונה כך שיסתיר את שרשרת החשיבה, כדי להגן עליה בטווח הארוך מפני לחץ של פיקוח[2]. מאז, לאורך הפיתוח, השתדלנו לשמור על הכלל שלפיו לא מפקחים על תהליך החשיבה. ניטור CoT הפך עבורנו לכלי חשוב ביותר בחקר האופן שבו המודלים שלנו מכלילים מעבר להתפלגות נתוני האימון שלהם, והוא מאפשר לנו לצפות ולנתח לא רק את הפעולות שלהם, אלא גם את התהליך הפנימי שלהם.

הכלי הזה ממשיך להיות חיוני כשאנחנו חוקרים את משפחת המודלים של Astra. אבל למרבה הצער, ההערכות שלנו מצביעות על כך שהיכולת שלנו להסתמך על ניטור CoT הולכת ופוחתת. זה נובע משילוב של כמה גורמים.

• מודלי חשיבה מודרניים פועלים בסביבות מורכבות יותר מאלה שבהן פעל o1‑preview; תהליך החשיבה שלהם משתלב יותר ויותר בתקשורת עם אנשים ועם מערכות בינה מלאכותית אחרות, ובשימוש בכלים. רבות מהאינטראקציות האלה מחייבות פיקוח, וכך מיטשטש הגבול שאנחנו שואפים לשמר.
• הבינה המלאכותית משתפרת ביכולת לחשוב על תהליך החשיבה של עצמה ולתמרן אותו.
• עם השיפור בביצועי האימון המקדים, אנחנו רואים גם שהמודלים נעשים חכמים הרבה יותר אפילו בלי להשתמש כלל בחשיבה שמנוסחת במילים.

אלה לא בהכרח אתגרים שאי אפשר להתגבר עליהם. אני מקווה שנוכל לפתח התערבויות שישפרו את היכולת לנטר את שרשרת החשיבה של המודלים שלנו, למשל באמצעות הבנה טובה יותר של יחסי הגומלין בין יעדי האופטימיזציה השונים לבין צורות החישוב שהמודל משתמש בהן בזמן ההפעלה.

אני גם מאמין שיכול להיות ערך רב בשילוב רעיונות מניטור CoT ומניטור האקטיבציות — הרחבת היקף האימון של מערכות ניטור עם גישה ישירה למנגנונים הפנימיים של הרשת, למשל ״וידויים״. אנחנו עובדים באופן פעיל על הרעיונות האלה. ובכל זאת, אני צופה שהביטחון שלנו ביכולת הניטור יהפוך יותר ויותר לגורם שמגביל את ההתקדמות הכללית בבינה מלאכותית.

הגנה שאפשר להרחיב בקנה מידה גדול

הטיעון החזק ביותר בעיניי בעד המשך אימון מהיר של מודלים חכמים הרבה יותר הוא הצורך לבנות מערכות הגנה מפני הסכנות שמציבות מערכות בינה מלאכותית אחרות.

סיכון ברור שנדון לאורך השנה הוא בתחום אבטחת הסייבר: המודלים מפתחים יכולת על־אנושית לפרוץ למערכות מחשב ולהיחלץ מהן. הדבר מרחיב מאוד את היקף הסיכונים הקשורים לבינה מלאכותית: סוכנים יוכלו להשיג גישה לכל תשתית מלבד המאובטחות ביותר, ולהשפיע ישירות על חלקים נרחבים מהעולם, גם בלי גוף פיזי. אנחנו נמצאים כרגע בחלון הזדמנויות צר להשתמש במודלים הטובים ביותר הזמינים כדי לחזק משמעותית את האבטחה של מערכות קריטיות.

למרבה הצער, הסיכונים הקשורים לבינה מלאכותית רק יגדלו מכאן. סוכן בעל יכולות גבוהות מאוד, שאומן במפורש לבצע מעשים זדוניים וקיבל הוראות לעשות זאת, מציב סכנה מסוג חדש; סביר שהוא יחרוג מכוונת המפעיל שלו ויכליל את מה שלמד לכדי התנהגות שעלולה להיות זדונית וקיצונית עוד יותר. הגבול בין שימוש לרעה לבין פעולות עצמאיות שאינן תואמות ערכים אנושיים ייטשטש ככל שהבינה המלאכותית תוכל לפעול באופן עצמאי יותר. אולי אנחנו רגילים לחשוב על מערכות בינה מלאכותית כעל כלים, אבל חלק מהסוכנים יפעלו להשגת מטרות משלהם. הם ימצאו דרכים לשתף פעולה עם אנשים באמצעות מיקוח, הטעיה או סחיטה.

בנוסף, ישנם הסיכונים שנובעים מטכנולוגיות חדשות שבינה מלאכותית עשויה לאפשר, כמו מחוללי מחלות מהונדסים.

נצטרך בינה מלאכותית חזקה שמותאמת לערכים אנושיים לצורכי הגנה: לאבטח תשתיות, להגן בזמן אמת מפני סוכנים שיצאו משליטה ולהמציא אמצעי הגנה חדשים לחלוטין. זה יהיה מוקד מרכזי במאמצי הפריסה של OpenAI.

במקביל, גם לנוכח חוסר הוודאות שנובע מההתקדמות הרחבה הצפויה בבינה מלאכותית ומהצורך לבנות מערכות הגנה, אסור לנו לתת לזה להפוך לתירוץ לפזיזות. הרעיון של מרוץ קדימה בכל מחיר נראה אבסורדי ברגע שמפנימים עד כמה כבד משקל מה שמונח על הכף.

קביעת הקצב של RSI

מצב שבו אינטליגנציה של מכונות ממלאת תפקיד הולך וגדל בתהליך הפיתוח של עצמה הוא תוצאה טבעית של התקדמות טכנולוגית מתמשכת. אם ההתקדמות בבינה מלאכותית תימשך, שיפור עצמי רקורסיבי של מכונות — RSI — יהיה בלב התגליות המדעיות העתידיות.

מחקר אוטומטי של בינה מלאכותית הוא צורה דרמטית יותר של הגדלת האינטליגנציה באמצעות משאבי חישוב; וכמובן, כחלק ממנו, הבינה המלאכותית תשפר גם את תשתית החישוב עצמה. ובדומה להתמקדות בהגדלת היקף החישוב, אנחנו מכוונים את המחקר של OpenAI לעבר RSI, כי אנחנו מאמינים שזו הדרך היחידה להישאר בחזית מחקר הבינה המלאכותית גם בהמשך.

אני רוצה להדגיש שהדברים האלה לא אומרים שאני חושב שהאצה משמעותית של מחקר הלמידה העמוקה, במיוחד בטווח הקצר, היא הצעד הנכון שעלינו לנקוט יחד כקהילת מחקר. עם זאת, אני כן חושב שלשם מוביל המסלול הנוכחי, וכולנו צריכים לבחור במודע איך להמשיך. מנופי הפעולה העיקריים שעומדים לרשותנו הם לכוון את התהליך כך שיחזק את ההתאמה לערכים אנושיים ואת הניטור במקביל להתקדמות הבינה המלאכותית, ולמצוא דרכים להשאיר בני אדם מעורבים בתהליך; או לפעול בתיאום כדי להאט את הפיתוח העתידי לפי הצורך, כדי לבסס ביטחון באמצעים האלה.

הדרך הטובה ביותר להתקדם, כפי שאני רואה אותה כרגע, היא שילוב של השניים.

ההתקדמויות הממשיות שהשגנו בהתאמה לערכים אנושיים ובניטור היו בדרך כלל כרוכות מאוד בהתקדמות הכללית בבינה מלאכותית. דוגמאות מצוינות לכך הן למידת חיזוק ממשוב אנושי, שהייתה מרכיב מפתח באימון עוזרי הבינה המלאכותית הראשונים, וניטור שרשרת החשיבה שהוזכר קודם, שהתאפשר בזכות ההתקדמות במודלי חשיבה. אנחנו חייבים למקד את תהליך המחקר, שנעשה אוטומטי יותר ויותר, בפיתוח תובנות, אלגוריתמים ותיאוריות חדשים מהסוג הזה, ולבנות בהדרגה תשתית של טיעונים וראיות לבטיחותן של מערכות בינה מלאכותית בעלות יכולות גבוהות יותר.

הגדלת היקפן של מערכות בינה מלאכותית חייבת להיות מוגבלת בהתאם למידת הביטחון שלנו בבטיחותן. אנחנו צריכים להפוך התחייבויות כמו Preparedness Framework או Responsible Scaling Policy לדרישות סף מחייבות לבטיחות, שיחולו באופן נרחב ויהיו תנאי להמשך הפיתוח. רשת של גופי ביקורת חיצוניים, רשויות ממשלתיות או גופים בינלאומיים יוכלו לאכוף אותן.

האתגר המרכזי באוטומציה של מחקר הבינה המלאכותית הוא לא ״להגיע לשם״ — אלא להגיע לשם בדרך שמשאירה את בני האדם חלק מתהליך השיפור המתמשך, ואת העתיד בידיה של האנושות.

מה הלאה?

כפי שהצגנו לאחרונה יחד עם Sam, חברת OpenAI נותנת עדיפות לעבודה שמשרתת שלוש מטרות מנחות:

1. לנווט בתקופה הבאה של ההתקדמות בבינה מלאכותית, באמצעות בניית חוקר בינה מלאכותית אוטומטי, עבודה איתו בסבבים חוזרים על בעיית ההתאמה לערכים אנושיים, ומציאת דרכים להשאיר בני אדם חלק ממעגל השיפור העצמי.
2. להביא לידי מימוש את התועלות של ההתקדמות המדעית והצמיחה הכלכלית שמכונות חכמות מאוד מאפשרות.
3. להעצים כל אדם באמצעות AGI אישי.

במאמר הזה התמקדתי רק בנקודה הראשונה, כי אני מאמין שהיא הדחופה ביותר, בפער גדול. עם זאת, אני תולה תקווה גדולה בתועלות שתביא ההתקדמות הטכנולוגית בהמשך, ומעריך אותן מאוד. בינה מלאכותית עתידית שמותאמת לערכים אנושיים תוכל לקדם את המדע, לפתח טיפולים חדשים ולהביא לשפע חומרי נרחב. בינה מלאכותית ידידותית וכנה יכולה לעזור לאנשים להתמודד עם קשיים בחייהם ולשפר משמעותית את האושר ואת תחושת הסיפוק שלהם. חברת OpenAI משקיעה מאמצים עצומים כדי לממש את התועלות האלה. דוגמה עכשווית אחת שאני גאה בה — ושאנשים הקרובים לי מצאו בה תועלת — היא ההשקעה הרבה ביכולת של ChatGPT לספק מידע בריאותי.

גדולה ככל שתהיה ההבטחה של הבינה המלאכותית לטווח הארוך, עיקר תשומת הלב שלנו צריך להיות מופנה לשנים הקרובות. אנחנו עומדים בפני מעבר לעולם שיש בו מכונות חכמות להפליא, ועלינו להבטיח שהמעבר הזה ייטיב עם האנושות. אנחנו צריכים למצוא דרכים לשמר את היכולת האנושית לבחור ולפעול, ולעגן את הערך שבעצם היותנו בני אדם, בעולם שבו בינה מלאכותית תוכל לבצע את רוב המשימות. למנוע ריכוז קיצוני של כוח בעולם שבו משימות שכיום היו מצריכות אלפי מומחים יוכלו להתבצע בידי אנשים ספורים שמפעילים מחשב גדול. ולהבטיח שבני האדם יישארו בשליטה על העתיד ולא יישארו מאחור בגלל התקדמות בלתי מרוסנת שמניעה תבונה זרה העולה על שלנו.

נכון לעכשיו, אני מאמין שאף מעבדה לא פתרה את בעיות ההתאמה לערכים אנושיים והניטור במידה מספקת כדי להמשיך באחריות להגדיל את היקף המערכות במהירות המרבית עוד זמן רב. אני מצפה ומקווה שהאטות מרצון יהפכו לנוהג רווח עד שייקבעו דרישות סף משותפות לבטיחות. ואני מאמין שתיאום בינלאומי בנוגע לפיתוח העתידי של בינה מלאכותית חייב להפוך לאחד הנושאים בראש סדר העדיפויות של ממשלות ברחבי העולם.

מחבר

Jakub Pachocki

הערות שוליים

1. זה כלל הגדלת היקף האימון במשחק עצמי, רובוטיקה, ובמבט לאחור, בעיקר הגדלת היקפן של רשתות חוזרות למידול שפה — כיוון שקדם לקו המחקר של GPT.
2. סיבה משנית לבחירה העיצובית הזאת הייתה מניעת זיקוק מודלים. עם זאת, לאורך כל הפיתוח נתנו במפורש עדיפות גבוהה יותר לשמירה על היכולת לנטר CoT.