שרת להרצת מודול AI דיבור לטקסט

[אביחיל]

האם יש למישהו מידע איזה חברה ואיזה שרת מומלץ בשביל להריץ מודולAI דיבור לטקסט של opneai
https://github.com/openai/whisper
וכמובן שיהא כמה שיותר זול
תודה

[צדיק תמים]

@אביחיל אם זה בשביל עברית עדיף לך להשתמש במודל המשופר של ivrit.ai, הדיוק טוב משמעותית מהמקור

[ivrtikshoret]

@אביחיל
לא יודע להמליץ על חברה מסויימת,
רק שימו לב בשביל שזה יעבוד מהר וטוב צריך שרת gpu שלרוב מתחיל בכמה מאות דולרים לחודש!
הרבה הצלחה!
(אפשר להריץ את זה אפילו על שרת ממש פשוט עם cpu רק שצריך שיהיה לו הרבה זיכרון ראם, אבל ייקח לו איזה כמה דקות טובות לקובץ קצר וכמה שעות לקבצים ארוכים.)

[אביחיל]

@ivrtikshoret כתב בשרת להרצת מודול AI דיבור לטקסט:

רק שצריך שיהיה לו הרבה זיכרון ראם,

כמה מינימום GB צריך שיהא לשרת?

[אף אחד 3]

@אביחיל אתה צריך את זה שיעבוד בצורה אוטומטית וקבועה?
כי אם לא יש פתרונות
אני יוכל לפרט לך במייל egozkokus1 בג'ימייל

[אביחיל]

@אף-אחד-3 בעיקרון אני צריך שיעבוד בצורה קבועה
אבל אשמח לשמוע פתרונות נוספים אולי זה יעזור לי

[nigun]

@אביחיל
כאן אתה יכול להריץ ולשלם לפי שניה
https://replicate.com/openai/whisper
אפשר לשכור GPU החל מ$0.000225 לשניה
כשפותחים שם חשבון נראה לי שיש קצת דקות בחינם

[צדיק תמים]

@אביחיל למה בעצם אתה רוצה להריץ את המודל לבד ולא להשתמש בשירות מנוהל כמו:

• של OpenAI עצמם (ואם זה לא תמלול לשימוש מיידי אז בBatch API שלהם, 50% הנחה)
• של groq - לתוצאות מהירות במיוחד
• או בכלל מודלים צד ג' כמו AWS Transcribe

[אביחיל]

@צדיק-תמים האמת היא שלא חשבתי על הכיוון הזה
ואחרי מה שכתבת ומה ש @nigun כתב
לכאורה זה הפתרון וייצא לי יותר זול
מלהשכיר שרת ולפרוס עליו מודול