בירור בירור מספר דברים בשיטת zstd

[המלאך.]

יש פה כמה נקודות.
מדובר פה על מסד נתונים של החיפוש הרגיל לאוצריא.
1 האם לספרייה המקורית בc יש יתרון על פני הספרייה לדארט (זה מיועד לאוצריא),
2 האם תמיכה בחישובים בריבוי הליבות ייאיץ את המהירות.
3 האם במקרה ובו זה ישוכתב בראסט או c עם ffi לדארט יהיה שיפור במהירות בהקשר של ה איטיות של הצינור - דארט שאינה שפת לוע לבל.
4 האם טעינת הבלוק הבא למחזור הצ'יינג' יועיל?

אשמח לתשובתכם.
למרות שידוע לי שבדברים כאלה בסופו של דבר מה שמשנה זה המדידה במציאות בכל זאת-
אשמח להשערתכם .

[dovid]

זה נראה שבאת לפה אחרי דיון ארוך, ואתה בטח תתפלא שאנחנו לא בעומק הפרטים.
ZSTD, לפחות מה שאני מכיר מהשם הזה, זה ספריית דחיסה שמחייבת אימון מראש.
את אוצריא אני לא מכיר, מה הקשר חיפוש לדחיסה?
אם אנחנו עדיין על הקו... מה אתה מחפש לייעל, את האימון או את הדחיסה או הפרישה?

[הבל הבלים]

@dovid
מדובר על המסד נתונים של הספרייה ששוקל כיום כ 7 GB, והייתה הצעה לדחוס אותו כדי לחסוך במקום.
והנידון הוא מה ה"נזק" ואיך לעשות את זה עם הכי פחות נזק.

[dovid]

"לדחוס" עם ZSTD זה שלוש חלקים בלי קשר:
אימון, שזה יכול להתבצע פעם אחת ולתמיד בכלל במחשב פצצה כל שהוא, או לחכות שלושה ימים.
דחיסה, שזה לכאורה מעט פעמים, כי לא כל הזמן מוזן תוכן חדש. אפשר אפילו לשמור תוכן חדש לא דחוס, ולדחוס אותו ברקע לאט לאט.
פרישה, שזה בעת טעינה, גם לא אמור להיות טיל של העולם, גם לפתוח וורד עובר פרישה.

לעניין החיפוש זה עניין שונה לגמרי, אם החיפוש כיום הוא סריקה מלאה, תגנזו דחוף את תכנית הדחיסה.
החיפוש צריך להיות מבוסס אינדקס שלא עובר שום דחיסה.

[הבל הבלים]

@dovid
החיפוש אכן מבוסס אינדקס.
אני חושב שזו טעות של @המלאך.

[dovid]

אז אם ככה השאלה נשארת האם בשביל דחיסה/פרישה, יש ייתרון בשימוש בספריה אחרת שהיא בשפה יותר low-level.
דעתי היא שההפרש לא שווה את העלות - מפתחים במה שהכי נח. לו יצוייר שיש משהו יעיל יותר, זה לא יהיה בר אבחנה, בטל בשישים באיטיות מסביב.

[yossiz]

@המלאך. כתב בבירור בירור מספר דברים בשיטת zstd:

אשמח להשערתכם

אם יש ערך לעוד השערה...
השערתי שההבדל לא יהיה מורגש כלל אם מה שמסביב יבוצע בצורה הנכונה

[dovid]

@yossiz כתב בבירור בירור מספר דברים בשיטת zstd:

אם יש ערך לעוד השערה...

יש ערך ועוד איך, אני לפחות כעת בטוח ורגוע במה שעניתי אחרי חוות דעתך.

[המלאך.]

@dovid @yossiz כשאמרתי חיפוש רגיל התכוונתי למבוסס אינדקס.
זהו מבחינתי חיפוש רגיל,

השאלה של פיתוח במה שנח זה לא הספק, כי רובם של מפתחי אוצריא משתמשים בai למיטב ידיעתי.
עיקר טענתכם היא שהמהירות שאולי תשפיע תיהיה נמוכה יחסית.

אבל אני מסתכל על זה בצורה שונה יחסית.
אוצריא משתמשת בחיפוש בזמן תוך כדי הקלדה כך שהתוצאות החלקיות מופיעות עוד קודם גמר החיפוש.
השאלה היא עד כמה זה יהיה קטן, כי מבחינת חווית משתמש יש הבדל עצום בכל חלקיק שניה.

כך או כך לא עניתם לשני שאלות האחרות.
האם זה נורמלי לשלב תמיכה בריבוי ליבות והאם זה ישפיע על המהירות.
והאם הוספת בלוקי טעינת נתונים לצייינג' במקביל לחישוב הבלוק הקודם תיהיה יעילה (אם היא לא מיושמת כבר בספרייה)

[dovid]

@המלאך. קודם תסביר מה שאתה שואל, כי אני שאלתי שאלות ולא קיבלתי מענה.
מה זה מסד נתונים של חיפוש? הוא זה שלוקח 7 גיגה? אותו אתם שוקלים לדחוס?
אני לא עניתי על השאלות האחרות כי לא שייך לענות עליהם לפני שתסביר בדיוק מה השאלה, ועולה לי חשש חריף שאתה לא תדע לענות לי.