דילוג לתוכן
  • דף הבית
  • קטגוריות
  • פוסטים אחרונים
  • משתמשים
  • חיפוש
  • חוקי הפורום
כיווץ
תחומים

תחומים - פורום חרדי מקצועי

💡 רוצה לזכור קריאת שמע בזמן? לחץ כאן!
  1. דף הבית
  2. תכנות
  3. מהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?

מהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?

מתוזמן נעוץ נעול הועבר תכנות
14 פוסטים 4 כותבים 916 צפיות 3 עוקבים
  • מהישן לחדש
  • מהחדש לישן
  • הכי הרבה הצבעות
תגובה
  • תגובה כנושא
התחברו כדי לפרסם תגובה
נושא זה נמחק. רק משתמשים עם הרשאות מתאימות יוכלו לצפות בו.
  • pcinfogmachP מנותק
    pcinfogmachP מנותק
    pcinfogmach
    כתב ב נערך לאחרונה על ידי pcinfogmach
    #1

    מכיון שהתוכנה שלי תורת אמת בוורד בנוייה על בסיס מסמכי טקסט סטטיים. תהיתי לעצמי האם יש צורה יותר טובה לשמור את התוכן של הספרים מאשר בתוך מסמך טקסט פשוט.
    כלומר האם וכיצד יש צורה לשמור את הטקסט באופן שיאפשר טעינה מהירה יותר של הטקסט. את ההבדל מתחילים לראות במסמכי טקסט ארוכים שם הטעינה עלולה לקחת כמה שניות טובות. או כאשר התוכנה מנסה לשלוף כמה מסמכים בו זמנית.

    גמ"ח מידע מחשבים ואופיס

    תגובה 1 תגובה אחרונה
    0
    • dovidD מנותק
      dovidD מנותק
      dovid
      ניהול
      כתב ב נערך לאחרונה על ידי dovid
      #2

      אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?
      התוכן הוא טקסט ולכן טבעי שכך אתה שומר, אין הוקוס פוקוס, ומה שאתה טוען זה מה שאתה לכאורה צריך.
      עם זאת יש כמה כיוונים לתקוף את הבעיה, השאלה מה רלוונטי ובשביל זה צריך להכיר טוב את התנהגות התוכנה שלך ומשתמשיה:
      א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.
      בשביל זה צריך לשמור את הטקסט במקטעים בקבצים נפרדים או בשורות נפרדות במסד נתונים.
      ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
      זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.
      ג. טעינה חכמה מראש - למשל בעת חיפוש, טעינת X התוצאות הראשונות ברקע כניחוש שכנראה המשתמש יבחר באחד מהם.

      • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
      • בכל נושא אפשר ליצור קשר dovid@tchumim.com
      pcinfogmachP 2 תגובות תגובה אחרונה
      4
      • dovidD dovid

        אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?
        התוכן הוא טקסט ולכן טבעי שכך אתה שומר, אין הוקוס פוקוס, ומה שאתה טוען זה מה שאתה לכאורה צריך.
        עם זאת יש כמה כיוונים לתקוף את הבעיה, השאלה מה רלוונטי ובשביל זה צריך להכיר טוב את התנהגות התוכנה שלך ומשתמשיה:
        א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.
        בשביל זה צריך לשמור את הטקסט במקטעים בקבצים נפרדים או בשורות נפרדות במסד נתונים.
        ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
        זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.
        ג. טעינה חכמה מראש - למשל בעת חיפוש, טעינת X התוצאות הראשונות ברקע כניחוש שכנראה המשתמש יבחר באחד מהם.

        pcinfogmachP מנותק
        pcinfogmachP מנותק
        pcinfogmach
        כתב ב נערך לאחרונה על ידי pcinfogmach
        #3

        @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

        אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?

        כן בדקתי את זה. כמובן שגם עיבוד הנתונים לוקח יותר זמן, אבל גם הטעינה.

        @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

        ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
        זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.

        האמת היא ששמתי לב שבספריות כמו lucene הטעינה של הטקסט השמור יותר מהירה האם זה בעצם מה שהם עושים?
        כמו"כ מדבריך נשמע שלא בהכרח מומלץ ללכת על הכיוון הזה? הבנתי נכון?

        גמ"ח מידע מחשבים ואופיס

        dovidD 2 תגובות תגובה אחרונה
        0
        • pcinfogmachP pcinfogmach

          @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

          אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?

          כן בדקתי את זה. כמובן שגם עיבוד הנתונים לוקח יותר זמן, אבל גם הטעינה.

          @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

          ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
          זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.

          האמת היא ששמתי לב שבספריות כמו lucene הטעינה של הטקסט השמור יותר מהירה האם זה בעצם מה שהם עושים?
          כמו"כ מדבריך נשמע שלא בהכרח מומלץ ללכת על הכיוון הזה? הבנתי נכון?

          dovidD מנותק
          dovidD מנותק
          dovid
          ניהול
          כתב ב נערך לאחרונה על ידי dovid
          #4

          @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

          האמת היא ששמתי לב שבספריות כמו lucene הטעינה יותר מהירה האם זה בעצם מה שהם עושים?

          אני חושב שזה בגלל הטעינה הסלקטיבית, הם טוענים בדיוק את אותו נפח מהר יותר?

          כמו"כ מדבריך נשמע שלא בהכרח מומלץ ללכת על הכיוון הזה? הבנתי נכון?

          בדוק את זה.
          כתוב קוד שטוען טקסט ארוך במיוחד בשני הצורות: בצורת טקסט רגיל וגם דחוס בDeflateStream ואז בטעינה לפענח אותו.
          תעקוב במנהל המשימות על עלות המעבד באחוזים ואולי גם עלות האנרגיה (לא יודע איך בודקים) של שני הדרכים, אם היא לא שולית אז זה בהחלט סיבה להימנע מזה.
          אם תעשה תוכנה תוכל לבקש את המבדק מחברים עם מחשבים שונים.
          ייתכן שישנם דחיסות שיהיו יותר אידיאליות מDeflateStream אבל זה ללא ספק בדיוק אותו כיוון - אם הוא שגוי תדע שאין לך מה לחפש עם דחיסה.

          • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
          • בכל נושא אפשר ליצור קשר dovid@tchumim.com
          pcinfogmachP תגובה 1 תגובה אחרונה
          2
          • dovidD dovid

            @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

            האמת היא ששמתי לב שבספריות כמו lucene הטעינה יותר מהירה האם זה בעצם מה שהם עושים?

            אני חושב שזה בגלל הטעינה הסלקטיבית, הם טוענים בדיוק את אותו נפח מהר יותר?

            כמו"כ מדבריך נשמע שלא בהכרח מומלץ ללכת על הכיוון הזה? הבנתי נכון?

            בדוק את זה.
            כתוב קוד שטוען טקסט ארוך במיוחד בשני הצורות: בצורת טקסט רגיל וגם דחוס בDeflateStream ואז בטעינה לפענח אותו.
            תעקוב במנהל המשימות על עלות המעבד באחוזים ואולי גם עלות האנרגיה (לא יודע איך בודקים) של שני הדרכים, אם היא לא שולית אז זה בהחלט סיבה להימנע מזה.
            אם תעשה תוכנה תוכל לבקש את המבדק מחברים עם מחשבים שונים.
            ייתכן שישנם דחיסות שיהיו יותר אידיאליות מDeflateStream אבל זה ללא ספק בדיוק אותו כיוון - אם הוא שגוי תדע שאין לך מה לחפש עם דחיסה.

            pcinfogmachP מנותק
            pcinfogmachP מנותק
            pcinfogmach
            כתב ב נערך לאחרונה על ידי pcinfogmach
            #5

            @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

            הם טוענים בדיוק את אותו נפח מהר יותר?

            אני חושב שכן אם הבנתי נכון ככה ה-Highlighter שלהם עובד הוא טוען את תוכן הספר ואז יוצר tokens ואז מחשב גזירים

            גמ"ח מידע מחשבים ואופיס

            תגובה 1 תגובה אחרונה
            0
            • dovidD dovid

              אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?
              התוכן הוא טקסט ולכן טבעי שכך אתה שומר, אין הוקוס פוקוס, ומה שאתה טוען זה מה שאתה לכאורה צריך.
              עם זאת יש כמה כיוונים לתקוף את הבעיה, השאלה מה רלוונטי ובשביל זה צריך להכיר טוב את התנהגות התוכנה שלך ומשתמשיה:
              א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.
              בשביל זה צריך לשמור את הטקסט במקטעים בקבצים נפרדים או בשורות נפרדות במסד נתונים.
              ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
              זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.
              ג. טעינה חכמה מראש - למשל בעת חיפוש, טעינת X התוצאות הראשונות ברקע כניחוש שכנראה המשתמש יבחר באחד מהם.

              pcinfogmachP מנותק
              pcinfogmachP מנותק
              pcinfogmach
              כתב ב נערך לאחרונה על ידי
              #6

              @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

              א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

              יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

              גמ"ח מידע מחשבים ואופיס

              dovidD תגובה 1 תגובה אחרונה
              0
              • pcinfogmachP pcinfogmach

                @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                dovidD מנותק
                dovidD מנותק
                dovid
                ניהול
                כתב ב נערך לאחרונה על ידי
                #7

                @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                לא בקובץ טקסט.
                לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
                • בכל נושא אפשר ליצור קשר dovid@tchumim.com
                pcinfogmachP A 2 תגובות תגובה אחרונה
                1
                • pcinfogmachP pcinfogmach

                  @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                  אתה בטוח שהבעיה היא זמן טעינה מהדיסק (IO) ולא זמן עיבוד הטקסט (CPU)?

                  כן בדקתי את זה. כמובן שגם עיבוד הנתונים לוקח יותר זמן, אבל גם הטעינה.

                  @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                  ב. שימוש בדחיסה ופריסה כדי לחסוך מכמות הטעינה מהדיסק על חשבון העיבוד.
                  זה יכול לעלות יותר במחשבים מסויימים, וגם ייתכן שזה לוקח יותר אנרגיית בטריה במחשבים ניידים.

                  האמת היא ששמתי לב שבספריות כמו lucene הטעינה של הטקסט השמור יותר מהירה האם זה בעצם מה שהם עושים?
                  כמו"כ מדבריך נשמע שלא בהכרח מומלץ ללכת על הכיוון הזה? הבנתי נכון?

                  dovidD מנותק
                  dovidD מנותק
                  dovid
                  ניהול
                  כתב ב נערך לאחרונה על ידי
                  #8

                  @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                  כן בדקתי את זה. כמובן שגם עיבוד הנתונים לוקח יותר זמן, אבל גם הטעינה.

                  בדוק את זה לעומק יותר, האם בלי שום עיבוד יש טעינה שלוקחת זמן? כמה MB מדובר?

                  • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
                  • בכל נושא אפשר ליצור קשר dovid@tchumim.com
                  תגובה 1 תגובה אחרונה
                  3
                  • dovidD dovid

                    @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                    @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                    א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                    יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                    לא בקובץ טקסט.
                    לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                    pcinfogmachP מנותק
                    pcinfogmachP מנותק
                    pcinfogmach
                    כתב ב נערך לאחרונה על ידי
                    #9

                    @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                    לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                    מצד איחסון הטקסט בלבד ולא משאר הבחינות האם אני מרוויח משהו ממסד נתונים (חוץ מהעובדה שאין לי אלפי קבצי טקסט במחשב).

                    גמ"ח מידע מחשבים ואופיס

                    תגובה 1 תגובה אחרונה
                    0
                    • yossizY מנותק
                      yossizY מנותק
                      yossiz
                      כתב ב נערך לאחרונה על ידי
                      #10

                      @pcinfogmach זה לא נשמע הגיוני שטעינה מהדיסק הוא צואר הבקבוק. זה לא אמור להיות כמה שניות. אני בטוח שהטעינה האיטית הוא בגלל פירמוט הטקסט להציג בפקד

                      📧 יוסי@מייל.קום | 🌎 בלוג | ☕ קפה

                      pcinfogmachP תגובה 1 תגובה אחרונה
                      4
                      • yossizY yossiz

                        @pcinfogmach זה לא נשמע הגיוני שטעינה מהדיסק הוא צואר הבקבוק. זה לא אמור להיות כמה שניות. אני בטוח שהטעינה האיטית הוא בגלל פירמוט הטקסט להציג בפקד

                        pcinfogmachP מנותק
                        pcinfogmachP מנותק
                        pcinfogmach
                        כתב ב נערך לאחרונה על ידי pcinfogmach
                        #11

                        @yossiz @dovid

                        אוקיי אבדוק את זה שוב.

                        גמ"ח מידע מחשבים ואופיס

                        pcinfogmachP תגובה 1 תגובה אחרונה
                        1
                        • pcinfogmachP pcinfogmach

                          @yossiz @dovid

                          אוקיי אבדוק את זה שוב.

                          pcinfogmachP מנותק
                          pcinfogmachP מנותק
                          pcinfogmach
                          כתב ב נערך לאחרונה על ידי pcinfogmach
                          #12

                          אוקיי בבדיקות שערכתי בlinqpad נראה שאתם צודקים במקסימום שהגעתי אליו היה 0.200 שניות

                          גמ"ח מידע מחשבים ואופיס

                          תגובה 1 תגובה אחרונה
                          2
                          • dovidD dovid

                            @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                            @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                            א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                            יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                            לא בקובץ טקסט.
                            לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                            A מנותק
                            A מנותק
                            aaron
                            כתב ב נערך לאחרונה על ידי
                            #13

                            @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                            @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                            @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                            א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                            יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                            לא בקובץ טקסט.
                            לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                            אני בטוח שיש file.seek כלשהו גם בC#..
                            בכל מקרה אלא אם מדובר בדיסק איטי במיוחד, קריאה של כמה קבצי טקסט זה לא מה שיאט אותך משמעותית מספיק, לא חושב ששם הצוואר בקבוק שלך.

                            aaron.tchumim@gmail.com
                            Hetzner - שרתים וירטואליים ופיזיים במחירים מעולים (קישור שותפים)

                            ווצאפ API - תיעוד שירות API לא רשמי.

                            dovidD תגובה 1 תגובה אחרונה
                            0
                            • A aaron

                              @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                              @pcinfogmach כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                              @dovid כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                              א. שליפה יותר סלקטיבית - לטעון רק מה שצריך ולא מסמך מלא.

                              יש צורה גם לשלוף חלקים מאמצע או מסוף המסמך?

                              לא בקובץ טקסט.
                              לכן צריך לשמור מלא קבצים קטנים או להשתמש במסד נתונים.

                              אני בטוח שיש file.seek כלשהו גם בC#..
                              בכל מקרה אלא אם מדובר בדיסק איטי במיוחד, קריאה של כמה קבצי טקסט זה לא מה שיאט אותך משמעותית מספיק, לא חושב ששם הצוואר בקבוק שלך.

                              dovidD מנותק
                              dovidD מנותק
                              dovid
                              ניהול
                              כתב ב נערך לאחרונה על ידי dovid
                              #14

                              @aaron כתב במהו האחסון המהיר ביותר האפשרי של נתוני טקסט ב-C# ?:

                              אני בטוח שיש file.seek כלשהו גם בC#..

                              זה בדיוק מה שמסד נתונים עושה, אבל קובץ טקסט לא מתאים לגישה אקראית.
                              לא שייך לעשות seek בלי לדעת איפה (בינארית, מממ... למעט אם אתה כותב בUTF-16), זה מחייב אותך להחזיק קבצי אינדקס.

                              • מנטור אישי בתכנות והמסתעף – להתקדם לשלב הבא!
                              • בכל נושא אפשר ליצור קשר dovid@tchumim.com
                              תגובה 1 תגובה אחרונה
                              0
                              תגובה
                              • תגובה כנושא
                              התחברו כדי לפרסם תגובה
                              • מהישן לחדש
                              • מהחדש לישן
                              • הכי הרבה הצבעות


                              בא תתחבר לדף היומי!
                              • התחברות

                              • אין לך חשבון עדיין? הרשמה

                              • התחברו או הירשמו כדי לחפש.
                              • פוסט ראשון
                                פוסט אחרון
                              0
                              • דף הבית
                              • קטגוריות
                              • פוסטים אחרונים
                              • משתמשים
                              • חיפוש
                              • חוקי הפורום