למה עקביות הטוקנים היא הכלל החשוב ביותר?
כי המשמעות של מסמך טמונה בקשרים שבו: מי פנה למי, מי חתם, מי חייב כסף למי. אם ג'ון מילר הופך ל-PERSON_001 בפסקה אחת ול-PERSON_007 בפסקה אחרת — הקשרים נקרעים, והמסמך הופך לחסר ערך לניתוח. עקביות ההחלפה היא מה שמבדיל בין טוקניזציה שימושית לבין ערימת טקסט מבולבלת.
- עקביות בתוך המסמך — כל 30 המופעים של אותו שם מקבלים את אותו טוקן, כולל וריאציות כתיב ('ג'ון', 'מר מילר').
- שמירת התפקידים — ברור ש-PERSON_001 הוא התובע ו-PERSON_002 הנתבע לכל אורך המסמך.
- שמירת סוג הערך — הטוקן מסגיר את הסוג (אדם, חברה, חשבון) אבל לא את התוכן; כך כלי AI מבין את המבנה.
- עקביות בין מסמכים — כשמנתחים תיק שלם, כדאי שאותו אדם יקבל את אותו טוקן בכל המסמכים.
מה ההבדל בין טוקניזציה, השחרה והצפנה?
| שיטה | מה קורה לערך | מה נשאר מהמסמך |
|---|---|---|
| השחרה | נמחק או מכוסה | חורים שחורים — ההקשר אובד |
| הצפנה | הופך לרצף בלתי קריא, הפיך עם מפתח | מסמך שלם אך בלתי קריא בלי המפתח |
| טוקניזציה עקבית | מוחלף בטוקן קריא ויציב | מסמך קריא ושמיש — בלי הזהויות |
השחרה מתאימה כשרוצים שהקורא לא ידע שהיה שם משהו לקרוא; הצפנה מגינה על מסמך בתעבורה ובאחסון; טוקניזציה היא היחידה שמאפשרת לעבוד על המסמך — לקרוא, לנתח, לסכם — בלי להיחשף לזהויות.
איך עובד תהליך טוקניזציה של מסמך?
- זיהוי — סריקת המסמך לאיתור ערכים רגישים: שמות, מספרי זהות, טלפונים, כתובות, חשבונות, שמות חברות.
- נרמול — קיבוץ וריאציות של אותו ערך ('ג'ון מילר', 'מילר', 'ג'ון') לישות אחת.
- הקצאת טוקנים — כל ישות מקבלת טוקן יציב לפי סוגה: PERSON_001, COMPANY_002, ID_001.
- החלפה בכל המופעים — כולל בכותרות, בטבלאות ובהערות.
- שמירת מפת ההחלפה מקומית (או מחיקתה) — אם צריך לתרגם את התוצאה חזרה, המפה נשארת אצלכם בלבד.
למה טוקניזציה היא הדרך הנכונה לעבוד עם AI?
כי כלי AI מנתח היטב רק מסמך שההקשר שלו שלם. מסמך מטוקנן מאפשר לשאול 'מה הסיכונים בחוזה הזה?' או 'סכם את טענות הצדדים' ולקבל תשובה מלאה — כשהכלי כלל אינו יודע על מי מדובר. זה הבסיס לאנונימיזציה נכונה של מסמכים, וכך עורכי דין, למשל, יכולים להשתמש ב-AI בלי להפר חיסיון. את התשובה שהתקבלה אפשר לתרגם חזרה עם מפת ההחלפה — שנשארה אצלכם.