באיזה תוכנת אינדקס גוגל משתמשים?

[אלף שין]

שלום רב לאור ההתעוררות הגדולה לאחרונה בציבור
לתוכנות של חיפוש מהיר באמצעות אינדקס,

ברצוני לברר האם מישהוא מכיר את התוכנה שגוגל משתמשים בה לאנדקס,
אולי נוכל להישג אותה לטובת הציבור כאן?

פרטים נוספים על התוכנה של גוגל תוכנת 'סורקים'.

[A.I.V]

תוכנה פנימית שלהם,
שהם לא ישחררו לעולם..
זה בעצם הסוד שלהם

[yossiz]

להוסיף על מה ש@A-I-V כתב:
גם אם ישחררו את הקוד זה לא יהיה רלוונטי כמעט לאינדוקס וחיפוש בקבצים לוקליים. לחיפוש ווב יש צרכים ייחודיים משלו.
בכל מקרה יש כמה פרוייקטים מפורסמים בקוד פתוח ולא צריך דוקא את הקוד של גוגל

[5566brs]

bigtable

https://stackoverflow.com/questions/362956 (מקור)

אגב:

1. המינוח "תוכנת סורקים" מקורו בטעות של התרגום האוטומטי.
   תרגום יותר נכון יהיה "תוכנות סריקה", כשהכוונה היא לcrawlers כמושג כללי, ולא אל תוכנה ספציפית.
   אפשר לעיין בדף המקורי ללא תרגום לעברית כדי לראות את הטעות.

2. בכל תוכנות מסדי הנתונים הנפוצות (שאני מכיר) יש אפשרות לאינדקסים.

[אבי]

אם אתה מחפש תוכנה לחיפוש קבצים מקומיים
מומלץ ביותר https://www.voidtools.com/

[yossiz]

@5566brs כתב בבאיזה תוכנת אינדקס גוגל משתמשים?:

בכל תוכנות מסדי הנתונים הנפוצות (שאני מכיר) יש אפשרות לאינדקסים

יש לציין שכדי לקבל אינדקס טוב צריך תמיכה ייעודית עבור השפה, בלי זה החיפוש לא יעבוד טוב אם הטקסט לחיפוש לא קיים במדוייק, תמיכה בעברית פחות נפוץ. זה רלוונטי גם לגבי פוסט שלי על פרוייקטים מפורסמים בקוד פתוח
עיין כתבה זו על האתגרים המיוחדים בעברית

@אבי כתב בבאיזה תוכנת אינדקס גוגל משתמשים?:

אם אתה מחפש תוכנה לחיפוש קבצים מקומיים
מומלץ ביותר https://www.voidtools.com/

מדובר פה על חיפוש בתוכן הקבצים, לא רק חיפוש קובץ לפי שם הקובץ

[pcinfogmach]

@yossiz כתב בבאיזה תוכנת אינדקס גוגל משתמשים?:

עיין כתבה זו על האתגרים המיוחדים בעברית

הכתבה הנ"ל לבסוף הובילה לפרוייקט יפה מאוד שקורים לו HEBMORPH.
ברצוני לכתוב כמה השגות שהיו לי על פרוייקט זה - בעצם כמנוע חיפוש כללי הוא באמת משדרג את החיפוש בהמון. חשוב לציין שהמילון שהוא משתמש בו נמצא בשימוש על ידי מנוע החיפוש של גוגל ועוד כמה מנועי חיפוש מפורסמים והעקרונות שלו ה עקרונות חזקים ומנוסים.

יחד עם זאת כשמדברים על HEBMORPH ודומיו, חשוב להבין שמדובר בפרויקט שמנסה לבנות חיפוש חכם בעברית. אבל האם חיפוש חכם מתאים תמיד לצרכי המשתמש? אני לא בטוח. ניקח לדוגמה את הסרת ה-stopwords (מילים כמו "כי"). בחיפוש כללי, זה מייעל את האינדוקס והחיפוש, אבל בחיפוש תורני, לעיתים עדיף לחפש את המשפט כולל "כי", במיוחד בחיפוש פסוקים. בנוסף, הפרויקט HEBMORPH מבוסס על מילון עברי כללי, מה שמפחית את ביצועיו בחיפוש תורני.

עריכה: כל זה נכון אם יש לך אמפמינציה אישית של lucene אבל אם אתה משתמש בו כמות שהוא אתה רק מרוויח אם אתה משתמש ב-HEBMORPH למה? כי Lecene הינו מנוע חיפוש ולשכך הוא בנוי על אלגוריתמים שמחשבים רלוונטיות וממילא כל כלי שמתעל את הרלוונטיות מתעל את המנוע.

הנקודה היא שקשה לייצר מנוע חיפוש כוללני כי הצרכים משתנים ממקרה למקרה.

אישית בתוכנות שלי ב-C# אני לא משתמש ב- HEBMORPH מחמת סיבה צדדית, כי הוא לא מעודכן לגרסה האחרונה של Lucene, מה שמקשה מאוד על השימוש בו. אציין גם שיש חלקים בקוד שהם ממש לא אינטואיטיביים, כך שהתייאשתי לבינתיים מלנסות להתאים את HEBMORPH לגרסה הנוכחית. זה יצריך ממני ללמוד לעומק את הגרסה הישנה ואז לתרגם אותה לחדשה, ואין לי את הזמן או את העצבים לזה.

[pcinfogmach]

@אלף-שין
אני מעריך את הרצון שלך להעמיק ולחקור את התחום, אך ברצוני להציע לך לשקול לא להשקיע את זמנך בדברים הללו. חקירה שטחית של נושא מורכב כמו אינדוקס ללא הבנה מעמיקה יותר עלולה לגזול זמן רב ויקר ממך ולא להביא לתוצאות הרצויות.
בהצלחה בדרכך!

[yossiz]

@5566brs כתב בבאיזה תוכנת אינדקס גוגל משתמשים?:

bigtable

https://stackoverflow.com/questions/362956 (מקור)

זה רק שכבת האחסון, רכיב אחד של תוכנה מורכבת

נ.ב. לכאורה הבנת את דברי השואל שהוא מדבר על אינדקס "רגיל". מדובר פה על אינדקס שמיועד ל-full text search (חיפוש בתוכן העמודות, דבר שלא נתמך על ידי אינדקס של btree)
זה עדיין נכון שהרבה מנועי מסד נתונים תומכים בזה ברמה כזו או אחרת