ביג דאטה, האומנם כצעקתה????

[ארכיטקט]

שלום לכולם, הבאזז הגדול סביב "ביג דאטה" עושה רושם כאילו יום אחד הופיעו חייזרים מגלקסיה מרוחקת, הם קוראים לעצמם בשם מפחיד ("ביג דאטה" וואו...) ומן הסתם כמה חברות עשו כסף על הגב של כל מיני אנשים שלא ממש הבינו את המשמעות. בעיקר על תמימים שנרשמו מהר מאוד לקורסים "בתחום הרותח ביותר בשווקים" שם לימדו אותם איך לבצע כתיבה לתוך מסמך טקסט (יש סיכוי גדול שאני אחד מהם ואוטוטו עומד למשכן את הדירה שלי בשביל קורס שיבטיח את פרנסתי לדורי דורות).

למעשה החלטתי להתחיל לחקור קצת את הנושא, ואני פותח את האשכול הזה על מנת שכל מי שיודע דבר או שניים יוכל להעיר ולהאיר.

יש בביג דאטה כמה חלקים, מהם הקשורים לחומרה ותוכנה, ומהם הקשורים להסתכלות סטטיסטית על מידע.

אני דווקא מנסה לחקור את ההיבט התוכנתי חומרתי של הסיפור, ולא בטוח שזה כל כך "חייזרי" החלק החייזרי באמת הוא הנושא הנוגע לבינה עסקית, שקשורה להסתכלות על נתונים לא מאורגנים ללא היגיון פנימי מספיק (למשל מאגר ביג דאטה של ה NSA יכול להגיד לך שכאשר יורד גשם באוסטרליה, אנשים אוכלים יותר קוגל תפוחי אדמה באזור איצקוביץ ומיד לאחר מכן דעאש מפרסמים סרטון המטיל אימה יתירה על הציבור), זיהוי מגמות וחנטריש מהסוג הזה שלא מקומו של הפורום הזה כל כך להתעסק בזה, גם כאן נכנסת לתמונה בינה מלאכותית שאמורה כביכול "להחליט" במקום הבן אדם, שאין קשר בין קוגל תפוחי אדמה לבין דעאש וירידת גשמים באוסטרליה ואז להשליך את המידע הזה לאשפה, הבה נשאיר את הנושא הזה לאשכול אחר אולי.

אז מבחינת חומרה ותוכנה ביג דאטה בסך הכל מדבר על כמויות גדולות מידי של מידע, שמגבלות החומרה והתוכנה הקונבנציונליות לא מאפשרות לשלוט בהם היטיב (כאשר מדובר גם על מגבלת זמן שליפה וכתיבה נתונים, כי אם תיתן לי מספיק זמן אז גם מחשב 586 מספיק באופן תיאורתי).

ובכן, ככל שהדבר נוגע לחומרה, אין לדעת אם בעוד 5 שנים הנושא הזה לא ייפתר מצד החומרה, כלומר התקדמות עולם החומרה מפתיעה מאוד, וייתכן שפתאום נגלה שאפשר לנהל בדטה בייס רלציוני רגיל, את כל המידע שישנו בחוות השרתים של גוגל, ועוד על מחשב נייד אישי. מקורות לנושא הזה לא חסר, ואין המקום גם לפרט, אבל הנה דוגמאות: אינטל ומיקרון חשפו טכנולוגיית זיכרון המהירה עד פי 1,000 מזכרון NAND
ההודעה המפתיעה של IBM: מפתחת שבבים בטכנולוגיה חדשה שחזקים פי 4 מהדור הנוכחי ויש עוד הרבה ידיעות על כל מיני תוכניות מגירה שונות חלקם יוצאים לפועל וחלקם לא.

פתרונות התוכנה של ביג דאטה נועדו איפה לגשר על פערים שבין התקדמות עולם החומרה, לבין הדרישות הגוברות בשוק.
השאלה הראשונה האם שווה בכלל להשקיע בתוכנה שעשויה להיות לא רלוונטית פתאום בעוד כמה שנים, בפרט כאשר אף אחד לא באמת לוחץ עליך.
השאלה השניה האם פתרונות תוכנה אלו אכן מבשרים משהו חדש??? לא ממש נראה לי, אין תוכנה שלא צורכת משאבי חומרה, ואין דרך לעקוף את חוק שימור האנרגיה הבסיסי, הדבר היחידי שעשו הוא "ויתורים כואבים" על עקרונות ברזל של מסדי נתונים יחסיים, וזאת על מנת "להקל" על החומרה לבצע את עבודת הכתיבה. מבחינת "שליפות" לא ממש נראה לי שאפשר לעשות משהו יותר טוב ממה שיש היום במסדי נתונים יחסיים (ראו כאן), ולכן לכאורה אפשר לנהל בנפרד "כתיבה" על גבי מסד נתונים לא יחסי, ו"שליפה" ממסד נתונים יחסי, ואת הסינכרון ביניהם, לבצע בשעות שאין עומס על מסד הנתונים היחסי, ולבצע את זה באופן מיטבי לאט לאט כדי שהמשתמשים לא ירגישו בכך.

המסקנא האישית שלי ושל ליאור בר און, אין שום רווח אמיתי ב"טכנולוגיית" NoSql (למה במרכאות?? כי למעשה NoSql איננה "התקדמות" טכנולוגית אלא "נסיגה" טכנולוגית, זה מתנהג די כמו מסמך טקסט משנות ה 80, כמה שתכתוב לו לא יקרה לו כלום) אפשר ליישם שיפורים מקצה במסד נתונים רגיל, ואפשר גם להחזיק מספר מסדי נתונים במקביל למטרות שונות, ולמטב כל אחד מהם לתפקידים שונים. קחו למשל את גוגל שעובדים בעצמם עם MySql בשביל שירותי AdWords הייתם מאמינים?? גוגל??? כן!!!! אין כמו מסד נתונים רלציוני בשביל ניהול ארגון, וגם אף פעם לא יהיה משהו יותר טוב.

הנה ציטוט מאחד שעשה על זה סאטירה:

With the advent of X, what will be the future of the RDBMS?

In 1995 it was "with the advent of data blades and the illustra database - it is a matter of time before the RDBMS is dead dead dead". As it happened, the RDBMS subsumed the importantly relevant functionality of the "object" database and you don't see any "we are just object relational database" anymore.

Around the same time it was "with the advent of the internet, it is a matter of time before the RDBMS is dead dead dead". Not that the internet was or is a 'database' in the classic sense, but it was confused for one.

Similarly, when TEXT started making a big explosion - text was going to take over. Just store documents. Didn't really happen - what did happen is the text functionality was moved into - the RDBMS...

Again - OLAP becomes really big, huge - at the end of the 20th century. Guess what happened? Again.

XML - XML was going to kill the RDBMS - it was as good as dead. And now where are we again with that?

What I've seen happen again and again and again is that when something truly useful database wise evolves - so evolves the RDBMS. There are lots of fresh starts that get subsumed over time. There are many things in the database right now that you need over time and that would take a long time to re-invent. And remember (this is important), these specialized databases are just that - specialized. They are not general purpose - they are very good at what they do - but they do not do it for everyone. And they will end up being abused (just like XML, and all 'technologies' like that have been) and over used, used in the wrong place.

So, what I think we'll see is the feature set of the two merge into one (again). The truly useful aspects of one will combine with the other - making something larger.
And remember also, most people are not building facebook, they are building reservation systems, tracking systems, hr systems, finance systems, order entry systems, banking systems, etc - things where transactions are sort of important (lose my status update - no big deal, lose my $100 transfer and I'm sort of mad). There is room for a lot of things out there.

פורסם במקור בפורום CODE613 ב12/08/2015 18:21 (+03:00)

[softs]

אם לא קוצר הזמן הייתי כותב פה מניפסט די הפוך. . .
בקצרה: טכנולוגיה מייצרת כסף כי אנשים משלמים עליה כסף, והעלויות של חברות הטכנולוגיה הם פחות מההכנסות.
ביג דאטה לא בא להציל את עולם הטכנולוגיה ואפשר בלעדיו, אבל הוא חוסך כסף רב, כי הוא נותן לך יכולת גבוהה יותר על חומרה נחותה יותר.
כשתתקדם החומרה הכלל הזה יישאר בתוקפו,
ועוד משהו, זמן הוא מימד קריטי בעולם הטכנולוגיה, מי שיש לו ביג דאטה הוא צעד קדימה לפני כולם, וזה שווה הרבה כסף.
והנושא הזה אף פעם לא "ייפתר" כי ככל שהחומרה מתקדמת השימוש שעושים בה ישתנה, כמו שפעם חשבו שאף אחד לא יצטרך יותר מכמה MB של זיכרון

פורסם במקור בפורום CODE613 ב13/08/2015 14:43 (+03:00)

[ארכיטקט]

@softs

אם לא קוצר הזמן הייתי כותב פה מניפסט די הפוך. . .
בקצרה: טכנולוגיה מייצרת כסף כי אנשים משלמים עליה כסף, והעלויות של חברות הטכנולוגיה הם פחות מההכנסות.
ביג דאטה לא בא להציל את עולם הטכנולוגיה ואפשר בלעדיו, אבל הוא חוסך כסף רב, כי הוא נותן לך יכולת גבוהה יותר על חומרה נחותה יותר.
כשתתקדם החומרה הכלל הזה יישאר בתוקפו,
ועוד משהו, זמן הוא מימד קריטי בעולם הטכנולוגיה, מי שיש לו ביג דאטה הוא צעד קדימה לפני כולם, וזה שווה הרבה כסף.
והנושא הזה אף פעם לא "ייפתר" כי ככל שהחומרה מתקדמת השימוש שעושים בה ישתנה, כמו שפעם חשבו שאף אחד לא יצטרך יותר מכמה MB של זיכרון

טוב, אחרי כל כך הרבה לייקים על תגובתך, מי אני שאתווכח עם הפרופסורים הגדולים כאן בפורום. מה שכן, כאשר יש התלבטות ספציפית בפרוייקט מסויים ארוך טווח, זאת שאלה די לגיטימית בהתחשב במכלול ההיבטים אולם על זה מן הסתם אין לאף אחד כאן זמן לענות וודאי שלא להיכנס לכל נבכי הפרוייקט ולעזור בהכרעה, ולכן ככל הנראה אצטרך להתבשל עם המיץ של עצמי עד שיבוא אליהו...

פורסם במקור בפורום CODE613 ב15/08/2015 20:47 (+03:00)