bigtable

https://stackoverflow.com/questions/362956 (מקור)

זה רק שכבת האחסון, רכיב אחד של תוכנה מורכבת

נ.ב. לכאורה הבנת את דברי השואל שהוא מדבר על אינדקס "רגיל". מדובר פה על אינדקס שמיועד ל-full text search (חיפוש בתוכן העמודות, דבר שלא נתמך על ידי אינדקס של btree)
זה עדיין נכון שהרבה מנועי מסד נתונים תומכים בזה ברמה כזו או אחרת

עיין כתבה זו על האתגרים המיוחדים בעברית

הכתבה הנ"ל לבסוף הובילה לפרוייקט יפה מאוד שקורים לו HEBMORPH.
ברצוני לכתוב כמה השגות שהיו לי על פרוייקט זה - בעצם כמנוע חיפוש כללי הוא באמת משדרג את החיפוש בהמון. חשוב לציין שהמילון שהוא משתמש בו נמצא בשימוש על ידי מנוע החיפוש של גוגל ועוד כמה מנועי חיפוש מפורסמים והעקרונות שלו ה עקרונות חזקים ומנוסים.

יחד עם זאת כשמדברים על HEBMORPH ודומיו, חשוב להבין שמדובר בפרויקט שמנסה לבנות חיפוש חכם בעברית. אבל האם חיפוש חכם מתאים תמיד לצרכי המשתמש? אני לא בטוח. ניקח לדוגמה את הסרת ה-stopwords (מילים כמו "כי"). בחיפוש כללי, זה מייעל את האינדוקס והחיפוש, אבל בחיפוש תורני, לעיתים עדיף לחפש את המשפט כולל "כי", במיוחד בחיפוש פסוקים. בנוסף, הפרויקט HEBMORPH מבוסס על מילון עברי כללי, מה שמפחית את ביצועיו בחיפוש תורני.

עריכה: כל זה נכון אם יש לך אמפמינציה אישית של lucene אבל אם אתה משתמש בו כמות שהוא אתה רק מרוויח אם אתה משתמש ב-HEBMORPH למה? כי Lecene הינו מנוע חיפוש ולשכך הוא בנוי על אלגוריתמים שמחשבים רלוונטיות וממילא כל כלי שמתעל את הרלוונטיות מתעל את המנוע.

הנקודה היא שקשה לייצר מנוע חיפוש כוללני כי הצרכים משתנים ממקרה למקרה.

אישית בתוכנות שלי ב-C# אני לא משתמש ב- HEBMORPH מחמת סיבה צדדית, כי הוא לא מעודכן לגרסה האחרונה של Lucene, מה שמקשה מאוד על השימוש בו. אציין גם שיש חלקים בקוד שהם ממש לא אינטואיטיביים, כך שהתייאשתי לבינתיים מלנסות להתאים את HEBMORPH לגרסה הנוכחית. זה יצריך ממני ללמוד לעומק את הגרסה הישנה ואז לתרגם אותה לחדשה, ואין לי את הזמן או את העצבים לזה.

בכל תוכנות מסדי הנתונים הנפוצות (שאני מכיר) יש אפשרות לאינדקסים

יש לציין שכדי לקבל אינדקס טוב צריך תמיכה ייעודית עבור השפה, בלי זה החיפוש לא יעבוד טוב אם הטקסט לחיפוש לא קיים במדוייק, תמיכה בעברית פחות נפוץ. זה רלוונטי גם לגבי פוסט שלי על פרוייקטים מפורסמים בקוד פתוח
עיין כתבה זו על האתגרים המיוחדים בעברית

@אבי כתב בבאיזה תוכנת אינדקס גוגל משתמשים?:

אם אתה מחפש תוכנה לחיפוש קבצים מקומיים
מומלץ ביותר https://www.voidtools.com/

מדובר פה על חיפוש בתוכן הקבצים, לא רק חיפוש קובץ לפי שם הקובץ

https://stackoverflow.com/questions/362956 (מקור)

אגב:

1. המינוח "תוכנת סורקים" מקורו בטעות של התרגום האוטומטי.
   תרגום יותר נכון יהיה "תוכנות סריקה", כשהכוונה היא לcrawlers כמושג כללי, ולא אל תוכנה ספציפית.
   אפשר לעיין בדף המקורי ללא תרגום לעברית כדי לראות את הטעות.

2. בכל תוכנות מסדי הנתונים הנפוצות (שאני מכיר) יש אפשרות לאינדקסים.