עושים תוכנה Osim Tochna

מה קורה כשמפסיקים להתייחס ל־AI כאל אוסף של פרומפטים ומתחילים לבנות איתו יכולות אמיתיות?
אירחתי היום את יוני ואסף מ־Microsoft לשיחה על Skills, Claude.md, MCP והדור הבא של סוכני AI.
הם הסבירו שהבסיס הוא לא רק להשתמש במודלי שפה, אלא להבין איך הם עובדים: קונטקסט, טוקנים, תיאורי Skills וניהול ידע. בלי ההבנה הזו, גם המודלים המתקדמים ביותר יתקשו לספק תוצאות עקביות ואיכותיות.
הנושא המרכזי בשיחה היה Skills – מתי נכון להשתמש בהם ואיך בונים Skill טוב. דיברנו על ההבדל בין פרומפט חד־פעמי לבין יכולת שניתן להפעיל שוב ושוב, לשתף בין אנשים וצוותים, ולשפר לאורך זמן.
הרעיון המרכזי הוא ש־Skill הוא לא עוד פרומפט.
Skill הוא יכולת שניתן להשתמש בה שוב ושוב, לשתף בין אנשים וצוותים, ולשפר לאורך זמן. במקום שכל עובד יכתוב את אותם פרומפטים מחדש, הופכים ידע ותהליכי עבודה ליכולות ארגוניות משותפות.

מה קורה כשמפסיקים להתייחס ל-AI כקסם ומתחילים לעבוד איתו כמו שצריך?
אירחתי את סהר כרמל, שפירק את ההייפ סביב אייג׳נטים וכלים כמו Claude Code, ודייק את הנקודות החשובות ביותר להצלחה בעידן שלנו.
דיברנו על איך לגשת להטמעה של AI בארגונים, מנסיון של 50 סדנאות, איך יוצרים אימפקט גם במחלקות לא טכנולוגית ומה עדיין לא עובד.
האזנה נעימה, עמית בן דור

מה הופך בקשה אחת ל-LLM למורכבת כל כך מאחורי הקלעים? איך מאות מיליארדי פרמטרים נדחסים על עשרות GPUs, ואיך כל ה-cluster הזה משרת אלפי משתמשים במקביל בלי להתפוצץ?
אירחתי את מייק ארליכסון, אושייה בעולם הAI, ופירקנו את עולם ה-inference מבפנים: KV cache, batching, ההבדל בין prefill ל-decode, חלוקה של מודל בין GPUs שונים, ו-Mixture of Experts. דיברנו גם על למה זה הפך לאחד התחומים הכי קריטיים בעולם ה-AI - וגם איך נכנסים אליו אם אתם מהנדסים שרוצים להתחיל להריץ מודלים בעצמכם.
האזנה נעימה, עמית בן דור.

מה עושים כשהאייג׳נט שלכם ממציא ללקוח מוצר שלא קיים? בפרק אירחתי את אלמוג בקו לשיחה על השיטות השונות להתמודד עם בעיות באייג׳נט, על Root cause analysis בעידן הAI, איתור שגיאות וEvals. האזנה נעימה, עמית בן דור

כולם מדברים על כמה קל לבנות היום מערכות AI, אבל מה קורה כשמנסים להביא אותן ל-Production אמיתי?
אירחתי באולפן את רן בר זיק, מפתח ב-CyberArk, ששיתף אותנו במסע המורכב (והרועש) של פיתוח מערכת מבוססת מודלי שפה רב-מודאליים (Multimodal LLMs).
דיברנו על האתגרים שאף דמו בלינקדאין לא מראה: מהזיות של המודל ובעיות אבטחה ועד לניהול עלויות (FinOps), מדידת איכות המודל ושימוש ב-Agents לביצוע אופטימיזציה. פרק חובה לכל מי שרוצה להבין את הפער שבין ההייפ למציאות בשטח.
האזנה נעימה, עמית בן דור.