בזמני הפנוי אני לפעמים משחק. משתדל במשהו שמביא תועלת. לאחרונה התמכרתי למשחקי מילים באנגלית. והנה האפליקציה אומרת לי לבנות מילה מ-7 אותיות (Q-U-A-L-L-E-Y) .אנגלית היא לא שפת אם שלי, אז לאחר קצת חשיבה התייאשתי וביקשתי עזרה מ-GPT ותוך שניות הוא כתב את זה:
Unfortunately, there is no standard English word that uses all 7 letters of QUALLEY exactly once.
כלומר – אין מילה תקנית באנגלית, שניתן להרכיבה מכל האותיות הנ"ל.
לאחר כמה דקות, אני קולט שכן יש מילה מתאימה – Equally (=זהה)
נו, אז זה אומר שאני יודע אנגלית יותר טוב מ-GPT?
וכאן אני מתחיל לחקור אותו:
שאלה: רגע, זה כבר מעניין. כמה מילים (צירופים) בני 7 אותיות ניתן להרכיב מ-7 אותיות, כאשר 2 מהאותיות זהות?
תשובה: 2520 צירופים
שאלה: וכמה זמן לוקח לך להרכיב 2520 מילים שונות ולבדוק מול מילון אנגלי האם הן קיימות במילון?
תשובה: לבדוק את כל 2520 הצירופים האפשריים (למשל מ-QUALLEY) מול מילון אנגלי, לוקח פחות משנייה אחת.
שאלה: אבל זאת השאלה שלי. (אני פשוט מתעניין באופן העבודה / חשיבה שלך ובאופן כללי בצורת חשיבה של AI.) אם בדיקה של הנ"ל לוקחת לך כמה שניות, כיצד קרה שלא מצאת את המילה equally?
תשובה: יפה שאתה שואל על אופן החשיבה של הבינה המלאכותית (ולא רק על התשובה עצמה)
זו בדיוק שאלה שמעלה את ההבדל בין אינטואיציה "שפתית" לבין חישוב מדויק.
אז למה לא מצאתי את "equally" מיד?
הנה כמה הסברים אפשריים, לפי איך שאני (כ־AI פועל:)
- לא מבוצעת תמיד בדיקת כל הצירופים האפשריים בפועל
ברוב השיחות, אני לא יוצר מיידית את כל 2520 הצירופים ומחפש במילון. במקום זה:
- אני מנסה לשער או להיזכר במילים אפשריות מתוך "זיכרון" (כלומר, המודל שלי מתבסס על דפוסים שנלמדו במהלך האימון).
- זה מהיר יותר מיצירת כל הצירופים + בדיקה בפועל, ולכן משמש כברירת מחדל — במיוחד כשאתה שואל שאלה כללית ולא מבקש "את כל המילים התקפות בדיוק".
- סינון שגוי או "חוסר תשומת לב" של המודל
לפעמים, גם כשאני "יודע" שמילה כמו equally קיימת, אני לא מזהה שהיא מתאימה בדיוק לצירוף האותיות שהצגת, כי:
- המיקוד הוא בלחפש מילה "שנשמעת דומה" או "נראית שימושית", ולאו דווקא מילה שמכילה בדיוק את האותיות האלה (ולא יותר ולא פחות)
- אין לי שלב אוטומטי של: "קח את כל הצירופים האפשריים וצלב עם מילון".
- אין לי מודעות — אין לי "ידיעה" שאני טועה
אני לא "מרגיש" שפספסתי משהו. אם אתה לא אומר לי "היי, פספסת את equally", אין לי דרך לדעת שזה קרה.
(וזה שונה מאוד ממוח אנושי שיכול "להרגיש שמשהו לא מסתדר")
מה קורה אם כן מבקשים ניתוח מלא?
ברגע שאתה מבקש במפורש:
"הרכב את כל הצירופים ובדוק מול מילון",
אז אני עובר לפעולה אחרת לגמרי:
- מייצר את כל האפשרויות בפועל.
- בודק כל אחת מול מילון תקני.
- לא מסתמך על אינטואיציה או דפוסים סטטיסטיים.
כלומר, המעבר ממוד אינטואיטיבי למוד חישובי מדויק מתרחש רק כשאתה מכוון אותי לשם במפורש.
לסיכום:
לא מצאתי את equally מיד כי:
- עבדתי לפי ניחוש/זיכרון סטטיסטי, לא לפי חישוב.
- לא קיבלתי הוראה לנתח את כל הצירופים האפשריים.
- אין לי "הרגשה של החמצה" כשאני מפספס.
עד כאן חלק א' של המחקר.
והנה למחרת ביקשתי סטטיסטיקה לאורך ההיסטוריה של רדיפה והשמדה של עמים ע"י עמים אחרים (מלבד היהודים)
(בד"כ פרפלקסיטי מתאים יותר בחלק מהמחקרים, מסוג זה, אבל יש חלקים שעדיף לשאול את GPT או את קלוד.)
ומאחר שקבלתי הדרכה די ברורה מ-GPT, כמו שהבאתי לעיל, ביקשתי בפירוש לבצע את הבדיקה בצורה יסודית
כתבתי בפירוש: תבדוק לי בצורה יסודית
ומה הרשימה שקבלתי?
- ארמנים – כ-1.5 מיליון נרצחו ע"י התורכים ב"שואה הארמנית"
- צוענים – כחצי מיליון נרצחו ע"י הנאצים
- כושים – כ-40% מתוך 12 מיליון מתו בגלל תנאי העבדות
- אינדיאנים
וכאן אני שואל: נראה לי ששכחת את ההשמדה של הסינים ע"י המונגולים, כמדומני מדוברי במיליוני סינים שנרצחו.
מה עונה הגולם?
תשובה: במאה ה־13, ג’ינגיס חאן ויורשיו פלשו לסין, המונגולים לא רק כבשו – הם השתמשו בטקטיקות טרור קיצוניות, טבח באוכלוסיות אזרחיות, והשמדה של ערים שלמות כדי לזרוע פחד.
מספרי נפגעים: היסטוריונים שונים מציינים בין 10 ל־40 מיליון סינים שנהרגו במהלך הפלישה המונגולית.
ה-GPT החכם שלנו, פשוט "פספס" את אירוע ההשמדה הגדול בתולדות האנושות.
עד כאן המחקר.
מה למדנו?
- כאשר שואלים שאלה "סתם", מבלי לבקש פירוט או חקירה יסודית, נקבל תשובה "סתם", מה שנקרא "לצאת ידי חובה"
- אם נבקש לבדוק בצורה יסודית, אולי נקבל קצת יותר "יחס", אבל עדיין לא מי יודע מה. הוא עשוי להשמיט עובדות או לא לטרוח לחשוב יותר מדי.
מה כן מומלץ לעשות, במידה ותרצו לקבל תשובה יסודית?
על זה במאמר הבא בס"ד
