מהו RAG ומדוע הוא נדרש

הבינה המלאכותית היוצרת ממשיכה להתפתח בצורה מרשימה ומהירה. התקדמות מהירה זו יוצרת הזדמנות חדשה להפיק ערך מהיר מהנתונים בארגון. מנהלים, צוותי שירות, מחלקות משפטיות, צוותי מכירות וצוותי תפעול דורשים למנף את הטכנולוגיה החדשה כדי לעבוד מהר יותר, לענות טוב יותר ללקוחות, לנתח מידע מורכב ולקבל החלטות מדויקות יותר.

אך בעוד שהבינה המלאכותית יודעת לנסח בצורה מרשימה תשובות על מידע כללי שהיא למדה באינטרנט, האתגר האמיתי בארגון הוא לייצר תשובה מהימנה שאפשר לסמוך עליה מבלי לסבול מתופעת ההזיות.

מודלי שפה גדולים, או LLMs, מאומנים על כמויות עצומות של מידע. הם למדו דפוסים, הקשרים, שפה, מושגים ודרכי ניסוח. אבל הידע שלהם מוגבל למה שקיים בזמן האימון שלהם, והוא אינו כולל בהכרח את הנהלים הפנימיים של החברה, מסמכי המדיניות המעודכנים, נתוני הלקוחות, חוזים, מצגות, מפרטי מוצר או מאגרי ידע פנימיים.

לכן, כאשר עובד שואל את הצ'ט מבוסס ה AI שאלה כמו “מה מדיניות ה X של הארגון", ה AI צפוי לספק תשובה כללית על בסיס נתונים שהוא למד באינטרנט. תשובה כזו אולי תישמע טוב, אבל היא לא בהכרח תתבסס על המדיניות הארגונית הנכונה, או על הגרסה האחרונה עם ההקשר העסקי הרלוונטי.

התוצאה היא שהתשובה שנקבל מבוססת על מידע כללי, מיושן או לא רלוונטי, בחלק מהמקרים הצ'ט עלול להמציא תשובה שנשמעת משכנעת, אך אינה נכונה (מה שזכה לשם "הזיות").

כאן נכנס לתמונה RAG, קיצור של Retrieval Augmented Generation. בעברית אפשר לתאר זאת כיצירת תשובה בעזרת אחזור מידע רלוונטי. זהו אחד המושגים החשובים ביותר בעולם ה AI הארגוני, משום שהוא מחבר בין היכולת של מודלי שפה לכתוב ולהסביר יחד עם היכולת לשלוף ידע אמין ומעודכן מתוך המאגרים הפנימיים של הארגון.

המנגנון שפועל בבסיס ה RAG מאפשר למערכת AI לגשת למידע מוסמך בזמן אמת, לשלוף את החלקים הרלוונטיים ביותר, ולנסח תשובה שמתבססת עליהם. במקום שהמודל יענה רק מתוך הידע הכללי שלו, הוא מקבל הקשר עדכני מתוך מקורות שהארגון מנגיש למודל.

ההיסטוריה הקצרה של איך הגענו ל RAG

כדי להבין את החשיבות של RAG, כדאי להבין בקצרה מאיפה הוא הגיע. RAG הוא לא המצאה שנולדה בבת אחת. הוא תוצאה של התפתחות ארוכה בשני עולמות, אחזור מידע ומענה בשפה טבעית.

כן. הנה גרסה קצרה בכ־50%, עם הסבר פשוט ל TF-IDF ושמירה על ההתקדמות מחיפוש מילות מפתח עד RAG. מבוסס על חומר הרקע שסיפקת.

במשך שנים, מערכות חיפוש ניסו להתאים בין המילים שהמשתמש הקליד לבין המילים המופיעות במסמכים. אם חיפשתם “מדיניות חופשה”, המערכת חיפשה מסמכים שבהם מופיעות המילים האלה בדיוק. אחת השיטות החשובות בעולם הזה נקראת TF-IDF. בפשטות, זו דרך לחשב עד כמה מילה מסוימת חשובה בתוך מסמך. אם מילה מופיעה הרבה במסמך מסוים, אבל לא מופיעה במסמכים אחרים, כנראה שהיא מייצגת היטב את התוכן של אותו מסמך.

כך המערכת יכלה להחליט אילו מסמכים רלוונטיים יותר לשאלת החיפוש של המשתמש. הבעיה היא שחיפוש כזה מבוסס על מילים מדויקות ולא על המשמעות של החיפוש. אם עובד שואל “כמה ימי חופש מגיעים לי”, אבל המסמך הרלוונטי נקרא “זכאות שנתית לחופשה”, חיפוש רגיל יפספס את אותו מסמך.

בשנים האחרונות התפתחו שיטות חיפוש מתקדמות יותר, ובהן חיפוש סמנטי. חיפוש סמנטי לא מסתפק בהתאמת מילים, אלא מנסה להבין את המשמעות של השאלה ולחפש את המענה במידע רלוונטי גם כאשר השאלה והמסמך משתמשים במילים שונות. ההתפתחות המשמעותית של שיטות אלו צצו עם עליית מודלי השפה הגדולים ועם התפתחות החיפוש הסמנטי מבוסס ה embeddings מה שסלל את הדרך למאמר שפורסם בשנת 2020 והגדיר את ה Retrieval Augmented Generation כגישה מובילה לאחזור מסמכים רלוונטיים לשאילתות חיפוש של משתמשים ובהמשך כבסיס למענה של צ'טים מבוססי בינה מלאכותית יוצרת.

מה זה RAG וכיצד הוא פועל בשלבים

ארכיטקטורת ה RAG מחברת מודלי שפה גדולים למאגרי ידע שונים (בדרך כלל פנימיים). בשיטה זו המודל אינו מסתמך רק על הזיכרון הפנימי שלו (המידע עליו הוא אומן) אלא מקבל גישה למקורות מידע רלוונטיים בזמן יצירת התשובה.

התהליך לרוב כולל כמה שלבים מרכזיים:

שלב 1: איסוף וחיבור מקורות מידע הארגון בוחר את פרטי המידע והנתונים הרלוונטיים בעיקר לאור השימוש הייעודי של הצ'ט או הסוכן שרוצים לממש. אלו יכולים להיות מסמכי PDF, מצגות, מסמכי Word, אתרי אינטרנט פנימיים, בסיסי נתונים, מערכות CRM, מאגרי שירות, חוזים, נהלים ועוד. המטרה היא ליצור שכבת ידע ספציפית למשימה של המודל/צ'ט/סוכן מהם ניתן לשלוף מידע בעת הצורך.

שלב 2: פירוק המידע לחלקים קטנים על מנת לאפשר תושבה מדוייקת המסמכים הארוכים מפורקים לקטעים קטנים יותר, פעולה שנקראת chunking. במקום לשלוח למודל מסמך שלם, המערכת שומרת יחידות מידע ממוקדות שניתן לאחזר לפי רלוונטיות של השאלה של המשתמש. שלב זה קריטי, אם החלקים גדולים מדי, המערכת עלולה להחזיר יותר מדי מידע לא ממוקד, אם הם קטנים מדי, ההקשר עלול ללכת לאיבוד והתשובה לא תיהיה מדוייקת.

שלב 3: המרה לייצוגים מספריים על מנת שניתן יהיה לאחזר את המידע לפי המהות/משמעות שלו, ממירים את קטעי המידע ל embeddings, כלומר ייצוגים מספריים שנשמרים בבסיס נתונים וקטורי ובאמצעות שאילתה מיוחדת ניתן לחפש דמיון סמנטי בין השאלה של המשתמש לתוכן שנשמר כ embeddings בבסיס הנתונים הוקטורי. כך, גם אם המשתמש שאל את השאלה שלו באותן מילים בדיוק כפי שהן מופיעות במסמך, המערכת עדיין יכולה למצוא תוכן בעל משמעות דומה ורלוונטית.

שלב 4: אחזור המידע הרלוונטי כאשר המשתמש שואל שאלה, היא מומרת לייצוג סמנטי (embeddings), באמצעות שאילתה לבסיס הנתונים הוקטורי מחפשים את קטעי הטקסט הקרובים ביותר מבחינת משמעות לשלאלה של המשתמש ומחפשים את הייצוג הטקסטואלי שלהם. כל קטע טקסט מקבל דירוג דמיון לשאלה מ 0 עד 1 והתשובות הדומות ביותר מוחזרות מהשאילתה. זהו לב התהליך. איכות האחזור משפיעה באופן ישיר על איכות התשובה.

שלב 5: יצירת תשובה בעזרת מודל שפה לאחר שנשלפו הקטעים הרלוונטיים, הם מצורפים לשאלה שהשמתמש שלח לצ'ט כתשובה אפשרית. המודל מקבל את השאלה יחד עם התשובות שחזרו מבסיס הנתונים הוקטורי ובאמצעות יכולות השפתה שלו הוא מייצר תשובה ברורה, טבעית ומבוססת מידע מדוייק לשאלת המשתמש. במערכות מתקדמות מציגים גם את מקורות המידע, הקישורים והציטוטים, כך שהמשתמש יוכל להבין על מה התשובה מבוססת.

יתרונות השימוש ב RAG

במערכות ארגוניות, תשובה יפה אינה מספיקה. לצורך ביצוע פעולות וקבלת החלטות עסקיות מהימנות נדרשות תשובות מדויקות. עובדים ומנהלים צריכים לדעת שהמידע מגיע ממקור מוסמך, עם יכולת לבקר את התהליך לצרכים משפטיים ציות ובקרה. לקוחות מצפים למידע עדכני.

שימוש ב RAG מאפשר לארגון לשמור על שליטה במקורות הידע שבהם ה AI משתמש. במקום לאמן מחדש את המודל בכל פעם שמסמך משתנה, פשוט מעדכנים את מאגר הידע. בפעם הבאה שהמערכת תישאל, היא תוכל לשלוף את המידע החדש. זהו יתרון משמעותי במיוחד בסביבות שבהן מידע משתנה במהירות, כמו רגולציה, מוצרים, תמחור, נהלים, תמיכה טכנית, שירות לקוחות ותפעול - כלאלו מידע פנימי בארגון שלא נגיש לתהליכי האימון שמודלי ה AI מבצעים על מידע גלוי.

כאשר המודל מקבל את ההקשר הנכון, הסיכוי לקבל תשובה מדויקת ורלוונטית עולה באופן משמעותי. מאחר שהמידע נשלף ממקורות מנוהלים פנימיים (ברוב המקרים), ניתן לעדכן את בסיס הידע בלי לאמן מחדש את המודל. היכולת להציג את מקור המסמך שעליו התשובה התבססה מסייע למשתמש לאמת ולהבין את ההקשר.

השימוש ב RAG חוסך בעלויות רבות. אימון מחדש או fine tuning של מודלים עשוי להיות יקר ומורכב. RAG מאפשר להוסיף ידע ארגוני למערכת בצורה גמישה וזולה תוך שליטה על אילו מקורות ידע להנגיש ואילו משתמשים יקבלו גישה לאיזה מידע על בסיס הרשאות, רגישות וציות.

חסרונות השימוש ב RAG

למרות היתרונות, RAG אינו פתרון קסם. הוא דורש תכנון נכון, תחזוקה ובקרה. לשימוש ב RAG מספר חסרונות:

החיסרון הראשון הוא תלות באיכות המידע.
אם בסיס הידע לא מסודר ולא מעודכן, גם מערכת RAG טובה תתקשה לספק תשובות איכותיות.

החיסרון השני הוא מורכבות בהכנת הנתונים.
מסמכים סרוקים, מצגות מורכבות, קבצי PDF עם טבלאות ותמונות, או מידע שמפוזר בין מערכות שונות, עלולים להקשות על שלב האינדוקס (embeddings) והאחזור.

החיסרון השלישי הוא טעויות אחזור.
אם המערכת שולפת קטע לא נכון או לא מספיק רלוונטי, המודל צפוי ליצור תשובה שמבוססת על הקשר שגוי.

החיסרון הרביעי הוא צורך בניהול הרשאות.
בארגון, לא כל מידע צריך להיות נגיש לכל עובד. מערכת RAG חייבת להשתלב עם מנגנוני אבטחת מידע והרשאות כי היא לא יודעת לבד איזה מידע רלוונטי לאיזה עובד. היא פשט פועלת על בסיס הדמיון לשאלה של המשתמש.

החיסרון החמישי הוא צורך במדידה ושיפור מתמשך.
שיימוש ב RAG דורש בקרה תמידית - נדרש לבדוק אילו תשובות נתנו מענה מדויק, אילו שאלות נכשלו, איפה צריך לשפר את הפירוק לקטעים, ואילו מקורות מידע דורשים עדכון.

שימושים מרכזיים ל RAG

אחד השימושים הנפוצים הוא חיפוש ארגוני חכם. עובדים שואלים שאלות בשפה טבעית ומקבלים תשובות מתוך נהלים, מסמכים, מצגות, דוחות ומאגרי ידע בארגון. שימוש נוסף הוא שירות לקוחות וצ'אטבוטים מבוססים על אחזור RAG מתוך המדיניות העדכנית של החברה, הוראות פתרון תקלות, מידע על מוצרים ותשובות מתוך מאגר השירות.

תחום נוסף ונספוץ הוא השימוש המשפטי לרגולציה וציות. צוותים במחלקה המשפטית משתמשים בצ'טים מבוססי RAG כדי לאתר סעיפים רלוונטיים בחוזים, להשוות מסמכים, לסכם מדיניות ולוודא ניסוח בהתאם לנהלים קיימים.

גם מחקר עסקי והפקת תובנות הם שימוש נפוץ. אנליסטים ומנהלים עושים שימוש במערכות מחקר מבוססות RAG כדי לסכם דוחות, לנתח תמלולים, לחלץ מסקנות ממצגות ולזהות דפוסים מתוך מידע לא מובנה.

אלו רק חלק מהשימושים בהם ניתן לשלב תהליכי אחזור מבוססי RAG לשילוב בסוכנים או צ'טים מבוססי AI.

לסיכום

כיום, RAG הוא אחד המרכיבים המרכזיים במעבר מ AI ניסיוני ל AI ארגוני אמיתי. הוא מאפשר לארגונים להשתמש בבינה מלאכותית יוצרת בלי לוותר על דיוק, בקרה, שקיפות ועדכניות.

היתרון ברור - RAG מאפשר להפוך ידע ארגוני מפוזר לנכס אמיתי. הוא מאפשר לעובדים למצוא תשובות מהר יותר, לצוותי שירות לתת מענה טוב יותר, למחלקות מקצועיות לעבוד עם מידע אמין יותר, ולמנהלים לקבל החלטות על בסיס ידע נגיש ומעודכן.

הערך של RAG אינו רק טכנולוגי. הוא עסקי. הוא מצמצם סיכונים, משפר פרודוקטיביות, מחזק אמון במערכות AI ומאפשר להטמיע חדשנות בצורה אחראית.

ארגונים שרוצים להתפתח מעבר לפיילוטים ולבנות יכולות AI שמשרתות תהליכים אמיתיים צריכים לראות ב RAG שכבת יסוד. לא כעוד כלי טכנולוגי, אלא כגשר בין מודלי שפה חזקים לבין הידע המדויק שמניע את הארגון.