1. השמעות סביב סאגת Open AI ומודל הבינה בעל התודעה (Sentient) בשם Q-Star.

אי אפשר היה לפספס את הסאגה ב OpenAI שהחלה בדיוק לפני שבוע ב 17 לנובמבר (שעות הלילה שלנו) עם ההדחה של סם אלטמן על ידי מועצת המנהלים של החברה. מה שהתחיל בהדחה שלומיאלית לצד פיגוע תקשורתי באחת החברות המתוקשרות ביותר בשנה האחרונה, עבר דרך איומי התפטרות של רוב עובדי החברה עד להחזרתו של אלטמן, הכרזה על הצטרפות של אלטמן ונשיא החברה גרג ברוקמן למיקרוסופט, המשקיע הגדולה ביותר ב OpenAI, ובסיום חזרתם של אלטמן וברוקמן לתפקידים הקודמים שלהם כמנכ"ל ונשיא OpenAI לא לפני שהם שלחו הביתה את מי שעמד מאחורי הפיטורים של  אלטמן ב-מועצת המנהלים.

אבל הסיפור המסקרן באמת הם השמועות שמסתובבות ברשת אודות הסיבה שהחלה את כל הסאגה המתוקשרת. השמועות נעות מיישות בעלת תודעה מבוססת בינה מלאכותית, ועד למודל שמסוגל לפתור באופן עצמאי בעיות מתמטיקה של בית ספר יסודי, אלא שבמקרה זה, מדובר ביכולות שלא היו בנתוני האימון של המודל. הפריצה הזו, שפותחה על ידי איליה סוצקבר וצוותו, נתפסת כשלב לקראת בינה כללית מלאכותית (AGI), ועשויה לאפשר יכולות חשיבה יותר אנושיות.

לפי השמועות חוקרים בחברה, כנראה בהובלה של איליה סוצקבר שהיה אחראי על הפיתוח שלחו מכתב למועצת המנהלים של החברה והתריעו על פריצת הדרך והסיכונים שלהערכתם אינם מנוהלים בצורה נכונה ועלולים לסכן לא פחות מאשר את כל האנושות. לפי הדיווחים, המכתב היה אחד הגורמים שהובילו לפיטוריו של אלטמן, אך זו לא הייתה הסיבה היחידה.

בנתיים כאמור אלטמן חזר לתפקידו כמנכ"ל OpenAI והתעלומה סביב Q-Star רק הולכת וגדלה.



לקישור לידיעה אודות Q-Star לחצו כאן
לקישור ליומן האירועים סביב סאגת הפיטורים ב OpenAI לחצו כאן

2. קרב הענקים נמשך, אנטרופיק מעדכנת את מודל השפה שלה לגרסה 2.1 עם חלון הקשר של 200K.

בעיצומו של המשבר ב OpenAI, המתחרה Anthropic חשפה את עדכון הגרסה שלה למודל השפה והצ'אטבוט החדש שלה, Claude 2.1, עם חלון הקשר שגודלו כפול מזה של קודמו - 200,000 טוקנים.

הגדלת חלון ההקשר ממקמת את Claude 2.1 כמודל ה-AI המתקדם ביותר בשוק כיום, אשר עולה גם על GPT-4 Turbo שהוכרז רק בתחילת החודש ושגודל חלון ההקשר שלו הוא 128,000 טוקנים.

חלון ההקשר מאפשר לטפל ב כ 150 אלף מילים שהם כ 500 דפי ספק. המשמעות היא עיבוד טקסטים ארוכים, קטעי קוד ארוכים יותר ועוד. הממשק של Anthropic מאפשר טעינה במקביל של מספר קבצים כשהמודל יודע לאסוף את המידע מהקבצים השונים ולשלב אותם במענה שלו.

לפי הכרזת החברה המודל גם שומר בצורה טובה יותר על מהימנות עיבוד המידע בטקסטים ארוכים שידוע שגורמים להזיות בשל תופעת שנקראת " lost in the middle" שמשמעותה איבוד מידע לאורך "קריאת" הטקסט. במקביל נוספות כלים חדשים ל API אשר מאפשרים למודל לבצע משימות כמו ביצוע חישובים ממתמטיים מורכבים, חיבור בבסיסי נתונים, הפעלת פונקציות בסיסיות של מערכות צד שלישי ועוד. 



לקישור להכרזה הרשמית לחצו כאן

3. בעקבות מודלי הטקסט והסאונד, חברת Stability AI משחררת את מודל וידאו בקוד פתוח.

השבוע שוחרר מודל הוידאו הגנרטיבי הראשון של חברה Stability AI וכהרגלה בקודש, גם המודל הזה זמין בקוד פתוח לצורכי מחקר ופיתוח. המודל החדש מסוגל ליצור סרטונים קצרים (עד ארבע שניות) מתוך הנחיה טקסטואלית בדומה לכלים האחרים שקיימים כיום בשוק (רק שהוא כמובן בקוד פתוח).

המודל כולל שני וריאנטים, האחד עם 14 פריימים והשני עם 24 פריימים עם יכולת להגדיר את קצב הפריימים בין 3 ל-30 פריימים לשנייה, לפי דברי החברה יכולת זו יוצרת יתרון על זה של המתחרים. המודל מציע גם יכולת הגדרה מיוחדת ליישומים שמאפשרת סיבוב של מודלים תלת-מימדיים.

חברת Stability AI מדגישה כי המודל אינו מיועד כרגע לשימוש מסחרי או בעולם האמיתי מכיוון שעדיין חסרים בו מרכיבי איכות ובטיחות שצפויים להגיע בהמשך.



לקישור להכרזה הרשמית לחצו כאן
לקישור לקוד המקור ב GitHub לחצו כאן
לקישור למחקר לחצו כאן

4. מיקרוסופט מלמדת מודל קטן בשם Orca-2 לחשוב כמו מודל גדול.

השבוע הציגה מיקרוסופט את Orca 2 - זוג מודלים של שפה בגדלים קטנים, אשר מציגים ביצועים לא פחות טובים (לטענתם אפילו טובים יותר) מהמודלים הגדולים כמו Llama-2 Chat-70B של Meta, במבחנים של חשיבה מורכבת.

מודלים אלה, בגודל של 7 ו-13 מיליארד פרמטרים, הוקמו על בסיס עבודה שבוצעה במודל המקורי של Orca בגודל 13B, שהראה יכולות חשיבה חזקות על ידי חיקוי של תהליכי חשיבה מורכבים של מודלים גדולים ויעילים יותר.

"ב-Orca 2, אנו ממשיכים להראות ששיפור בתוצאות ובשיטות האימון שיכולות להקנות למודלים קטנים יותר יכולות חשיבה מתקדמות, שבדרך כלל נמצאות רק במודלים גדולים," כתבו החוקרים של מיקרוסופט בבלוג משותף.

למודלים קטנים משמעות גדולה בשוק ה AI העתידי שכן היא מאפשרת לחברות עם משאבים מוגבלים לעשות שימוש במודלים כאלו בפעילות הארגונית, זאת לצד שילוב של מודלים קטנים יותר במכישרי חשמל ביתיים וטלפונים חכמים.



לידיעה המקורית לחצו כאן

5. אינטל עולה על מגרש ה GenAI עם מודל שפה גדול וצ'טבוט בשם NeuralChat.

אינטל שיחררה צ'אטבוט חדש בשם NeuralChat שמדורג בראש טבלת המודלים מסוג OpenLLM עם 7 מילארד פרמטרים. כדי להשיג את הביצועים הנ"ל, אינטל השתמשה באסטרטגיית אימון דומה לזו של המודל Zephyr 7B של Hugging Face.

תחילה בוצע אימון מפוקח על המודל Mistral 7B (קוד פתוח) ועל מאגרי נתונים ממודלים כמו SlimOrca ו-Open-Orca.

ואז הם המשיכו לאימון מסוג DPO תוך שימוש במודל המאומן כמודל ייחוס. בנתוני ה-DPO הם בחרו שיטתית פלטים של ChatGPT כ"טובים" ופלטים של Llama 2.13b כ"גרועים", בהנחה ש-ChatGPT עדיף.

לידיעה המקורית לחצו כאן
לקישור למודל ב Huggingface לחצו כאן

6. החברה Inflection AI מאחורי מודל הצ'ט המצליח – PI, חושפת את גרסה 2 של המודל.

אינפלקשן - Inflection AI הודיעה על השקת המודל החדש שלה  Inflection-2 . המודל החדש מתעלה על קודמו, Inflection-1  בידע עובדתי, ובשליטה על סגנון השיח ויכולות החשיבה.

הוא אומן באמצעות5,000  מעבדי NVIDIA H100 ומתחרה בדגם PaLM 2 Large של Google כשהוא מדביק את הפער במספר בדיקות ביצועים סטנדרטיות שבוצעו.

ההתקדמות של המודל החדש מהווה שלב חשוב במסע של אינפלקשן ליצירת AI אישי לכל אחד, עם תוכניות מתמשכות לפיתוח מודלים גדולים יותר בעתיד. אינפלקשן מדגישה את חשיבות האבטחה והאמינות באימון מודלים גדולים ומתאימה עצמה לסטנדרטים ורגולוציות בין לאומיות עדכניות.

לדברי מנכ"ל אינפלקשן המודל החדש ישולב בקרוב ב PI, הצ'ט בוט הפופולארי של החברה.



לידיעה המקורית לחצו כאן

7. חברת A21 הישראלית מגייסת עוד 53 מיליון דולר.

חברת הבינה המלאכותית הישראלית AI21 הודיעה על סבב גיוס שלישי עם תוספת של 53 מיליון דולר, ובכך היא סוגרת סבב גיוס בסכום של 208 מיליון דולר. במקביל לגיוס, החברה גם הודיעה כי היא מרחיבה את מצבת העובדים שלה ופותחת כ-100 משרות חדשות, מעבר ל 250 עובדים שיש לחברה כיום.

ההשקעה הזו הגיעה בעקבות השקת גרסת Wordtune המתקדמת, אחת המשקיעות בסבב הנוכחי היא ענקית התוכנה אינטל, שמצטרפת לגוגל ולאנבידיה, שנמנות בין המשקיעות.

לידיעה המקורית לחצו כאן

8. אמזון משיקה סדרה של קורסי GenAI בחינם!

אמזון משיקה יוזמה חדשה בשם "AI Ready"  אשר באה בעקבות מחקר חדש שביצעה החברה ומצא שיש ביקוש גבוה להכשרות AI ופוטנציאל הולך וגדל של משרות בשוק.  המחקר של אמזון גם מצביע על כך שעובדים עם כישורים אלו יכולים להרוויח עד 47% יותר מעובדים ללא כישורים אלו. המחקר מצא ש-73% מהמעסיקים רואים גיוס כח אדם עם מיומנויותAI  כעדיפות, אך 75% מהמעסיקים אינם מוצאים את הכישורים שהם צריכים.

כדי לענות על הביקוש, אמזון משיקה "AI Ready" – כחלק מהמחוייבות שלה להכשיר כ -2 מיליון איש בחינם עד 2025. זאת על ידי שמונה קורסים חדשים וחינמיים לצד מלגת לימודים ב-AWS ל-50 אלף תלמידי תיכון ואוניברסיטה, בשיתוף פעולה עם  Code.org.

הקורסים כוללים הכשרות לאנשים ללא מיומנויות בתחום לצד קורסים טכניים למתכנתים.

לידיעה המקורית לחצו כאן

9. שופט פדרלי דחה את רוב הטענות בנושא הפרת זכויות היוצרים של שרה סילברמן נגד מטא.

בית המשפט הפדרלי בארה"ב דחה את רוב הטענות המרכזיות בתביעה שהגישה השחקנית שרה סילברמן נגד מטא על שימוש לא מורשה בספרים מוגני זכויות יוצרים לצורך אימון המודלים שלה. השופט וינס צ'בריה דחה את הטענה כי המודל עצמו, הנקרא LLaMA, מהווה עבודה נגזרת.

זוהי מכה נוספת לתובעים לאחר שבית משפט אחר קבע כי אין הפרה ללא ראיות ליצירות זהות שיוצר המודל. השופט ציין כי יהיה צורך בהוכחה שהפלטים של המודל מכילים בפועל חלקים מהספרים המוגנים. ההחלטה מקשה על האפשרות לפצות יוצרים על שימוש ביצירותיהם לאימון מודלי שפה מתקדמים. חברות AI טוענות שהן מוגנות על ידי הגנת השימוש ההוגן. בשלב זה נראה שעל התובעים להציג ראיות חד משמעיות להפרה.

לידיעה המקורית לחצו כאן

10. בארד של גוגל יכול עכשיו לסכם לכם סרטוני Youtube.

גוגל שילבה יכולת לנתח, לסכם ולחפש בתוך סרטונים ב YouTube. במקום שתצטרכו לחפש דקות ארוכות בסרטונים רק בשביל להגיע לפיסת המידע שאתם מחפשים, מעכשיו תוכלו לבקש מבארד מיד על הוידאו ולקבל תשובות על בסיס המידע בסרטון. לדוגמה, כותב המאמר המקורי ביקש מבארד לנתח סרטון על מרטיני אספרסו, והמודל ידע לספק במדויק את רשימת המצרכים וההוראות.

היכולת החדשה מאד שימושית לצופים אך מדאיגה מאד את יוצרי התוכן שכן היא מצמצמת את הצורך של הגולשים לצפות בסרטונים ובמקביל מצמצמת את ההכנסות הפוטנציאליות מפרסומות.

לידיעה המקורית לחצו כאן