פיתוח מנוע חיפוש שיתחרה בגוגל
-
שלום לכולם, האמת שזה לא בדיוק מנוע חיפוש ולא בדיוק מתחרה בגוגל (הכותרת היתה כדי למשוך משתמשים לענות על השאלה מקווה שזה לא יפגע באמינות שלי :lol: :lol: :lol: ), אבל זה משהו דומה וקרוב לכך, אני צריך דטה בייס שיהיה עמיד וחזק בעומסים כבדים מאוד, שיוכל לשרת מיליוני משתמשים ולהחזיק מיליארדי רשומות אצלו הניתנים לשליפה מהירה בזמן סביר. אני לא הולך לסרוק את כל האינטרנט כמו גוגל, אבל חלק מהאינטרנט כן.
התוכנית היא כזאת, לסרוק אתרים שבהם יש מידע מנורמל אודות מוצרים ושירותים (הכוללים מחירים, ופרמטרים רלוונטיים נוספים), ולהכניס את הכל לדטה בייס משלי, שיוכל להגיב לשאילתות שלי כאשר משתמשים יבקשו לסנן מוצרים לפי פרמטרים מדוייקים. לא לגנוב לי את הרעיון!!!! :lol: :lol: :lol: :lol:
ובכן שמעתי על שירותי ענן של אמזון, המציעים מסדי נתונים בכל גודל, האם יש דרך לבדוק את זה, אם זה אמיתי? עד כמה? ואיזה דטה בייס עלי לבחור???
האם אפשר לחלק את העבודה לחצי NoSql וחצי Sql (נגיד בשביל האינדקסים SQL, ובשביל מידע מורחב NoSql) האם אני צריך פשוט ללכת לקורס ביג דאטה??כל מי שיכול לענות תשובה עניינית לשאלה מבלי להיכנס לויכוח על הפנטזיה יבורך (אפשר לפתוח אשכול נפרד לכל מי שיש לו מה לומר על עצם הפנטזיה :lol: :lol: :lol: ).
פורסם במקור בפורום CODE613 ב10/08/2015 14:09 (+03:00)
-
מזה אני פחות לחוץ, כי אפשר להתחיל בקטן ולאט לאט ומקסימום שוכרים עוד שרת או מעבירים לשרת חזק יותר וכדומה, האחסון זה קטע הרבה יותר מפחיד, ודורש התכוננות מראש, בן אדם עלול למצוא את עצמו פתאום בלי יכולת תגובה למאות מיליוני בקשות בו זמנית (הרבה חברות קרסו דווקא בגלל צמיחה מהירה מידי וחוסר יכולת להתמודד עם גידול מהיר, אתה לא יכול להגיד לכל המשתמשים "חכו חודשיים אני משדרג את המערכת, בינתיים לכו למתחרים שלי, ואל תשכחו לחזור אלי כשאקרא לכם") לנהל דטה בייסים ענקיים לבד זה סיפור שחברות ענק מתמודדות איתו לא בהכרח בקלות, ולכן רציתי מראש לרכב על גב של מישהו גדול ממני.
פורסם במקור בפורום CODE613 ב10/08/2015 14:18 (+03:00)