יעילות חישוב פייתון מול sql של פייתון

[הפצת אנקי]

יש לי חישוב שאני צריך לבצע על טבלה של sql.
שאלתי על החישוב הספציפי פה.
האם יהיה יותר מהיר או איטי לבצע את החישוב הזה (או באופן כללי) דרך פייתון עצמו?

[dovid]

כשמעבירים את אחריות החישוב/עיבוד השורות ממסד הנתונים לתוכנת קליינט כל שהיא, ההשלכות הם כאלו:
א. תעבורת רשת: הרבה תעבורה מהמסד לקליינט, צריך למשוך את כלל השורות כדי לבצע את החישוב.
ב. זיכרון: בדרך כלל גם להחזיק את השורות עד לסיום הסיכום.
ג. יעילות: על פי רוב חשבונות מותאמים אישית יעבדו טוב בדיוק כפי שהמסד היה עושה ואפילו מהר יותר, אבל יש בהחלט מקרים בהם היתרון של המסד שהוא "מכיר" את החומר נותן לו אפשרות להגיע לחשבונות מסויימים ביותר יעילות (למשל שימוש באינדקס).

א. לא משמעותי כשלא מדובר על כמות שורות גדולה, וגם בעל משמעות נמוכה כשמדובר על מסד באותה רשת פנימית או באותו מחשב.
ב. משמעותי רק אם ישנו איום על גודל היזכרון הזמין, למשל זה שרת שעושה פעולות שתלויות בקליינטים רבים, או שפשוט יש מעט זיכרון בשרת.
ג. על פי רוב אם תעשה את החשבון נכון, יהיה מהר יותר.

[הפצת אנקי]

הכל במחשב עצמו. כלומר התוכנה "מקימה" שרת שהתוכנה משתמשת בו.
אנקי זאת תוכנה שצורכת הרבה זיכרון.
יש צורך לשחרר זיכרון ידנית אחרי פעולה כזאת או שזה קורה לבד?
מדובר בלפחות אלפי שורות ואמור להגיע גם לעשרות אלפים.

[dovid]

@הפצת-אנקי כתב ביעילות חישוב פייתון מול sql של פייתון:

התוכנה "מקימה" שרת

איזה SQL מדובר? SQLITE?

[הפצת אנקי]

נראה לי. לא חד משמעי.
אולי עיון בנוסחא לעיל יתן תשובה מדויקת יותר (לא התעסקתי עם הsql בעצמי כי אין לי בזה הרבה הבנה)

[dovid]

אני רואה פה שמדובר בSQLITE.
אז בSQLITE בפרט זה לגיטימי לעשות את זה, לגבי הזיכרון אני לא מכיר פייתון אבל אם מפתח לפי הספר אני בטוח שזו שפה שלא צריך לנקות בה זיכרון והכל מסתדר יפה לבד.
אני זמנו רציתי לעזור בהודעה על החשבון המסובך,
אבל הרבה ממה שכתבת לא הבנתי, מילים ומושגים שאפילו לא ידעתי איך לנקד...

[הפצת אנקי]

@dovid קודם כל תודה!
בעקרון מי שכתב את הנוסחא ההיא כתב נוסחה חדשה במעט זמנו הפנוי עם תיעוד הרבה יותר מפורט אבל גם כמה תקלות.
אני אעתיק לשם עכשיו.

[dovid]

לא את הנוסחה התקשיתי להבין אלא אותך, אבל בכל מקרה השאלה נראית לי גדולה עלי, אז אל תטרח להסביר עבורי.

[Aharon 0]

למה לא להשתמש ב pandas:
השתמשתי מה לניתוח מניות, אפשר לחשב חישובים של עמודה מול עמודה, ועוד.
https://pandas.pydata.org/

[Aharon 0]

פוסט זה נמחק!

[הפצת אנקי]

@Aharon-0 תודה.
מקריאה על הספריה הזאת נראה שהיא מבוססת על עוד שפות חוץ מפייתון ויש לי בעיה שכרגע לא ניתן לשלב ספריות מקומפלות באנקי.