LLM (לא כבד מידי) שתומך בעברית + rag, מישהו מכיר?

[eido]

ליצירת בוט שירות לקוחות טלפוני.
לא מצאתי LLM תומך עברית כמו שצריך שיכול לרוץ על שרת סביר (בפלטפורמה ollama). ועוד יותר לא מצאתי איך עושים בזה RAG.

אשמח לעזרה.

[חגי]

@eido
נראה לי ששום LLM לא ירוץ לך על שרת סביר, צריך בשביל זה בד"כ שרתים יקרים.

[eido]

@חגי דוקא יש כמה שרצים, עד 2B רצים אפילו די מהר, אבל העברית שלהם על הפנים.

[dovid]

בכל מקרה אתה מתקשר עם HTTP, למה לא להשתמש עם שירות חיצוני?

[eido]

@dovid עם ollama לא צריך בקשות, זה cli.

הבעיה עם API זה בעיקר המחיר, כי זה כולל המרה לטקסט, שאילתא והמרה חזרה לאודיו.

[dovid]

@eido כתב בLLM (לא כבד מידי) שתומך בעברית + rag, מישהו מכיר?:

לא צריך בקשות, זה cli

לא פיללתי שcli יותר טוב מבקשות.

הבעיה עם API זה בעיקר המחיר, כי זה כולל המרה לטקסט, שאילתא והמרה חזרה לאודיו.

לולי האודיו המחיר ממש ממש נמוך, ואם להמרה מאודיו לטקסט וחזרה אתה רוצה AI מקומי, אז תדע שאפילו בשירות חיצוני זה רחוק מלהיות מושלם, אני ממש מתפלא אם יהיה משהו מקומי נורמלי.

[eido]

@dovid כתב בLLM (לא כבד מידי) שתומך בעברית + rag, מישהו מכיר?:

@eido כתב בLLM (לא כבד מידי) שתומך בעברית + rag, מישהו מכיר?:

לא צריך בקשות, זה cli

לא פיללתי שcli יותר טוב מבקשות.

יותר מהיר, לא? ככה לפחות נראה לי.

הבעיה עם API זה בעיקר המחיר, כי זה כולל המרה לטקסט, שאילתא והמרה חזרה לאודיו.

לולי האודיו המחיר ממש ממש נמוך, ואם להמרה מאודיו לטקסט וחזרה אתה רוצה AI מקומי, אז תדע שאפילו בשירות חיצוני זה רחוק מלהיות מושלם, אני ממש מתפלא אם יהיה משהו מקומי נורמלי.

נכון, אבל בגלל שזה כולל אודיו, אז זה משמועתי. וגם הדיבור של ג'ימני בלייב, ל אלטעמי.