שאיבת נתונים אוטומטית מאתרי הבנק והאשראי?
-
@dovid כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
@one1010 אנא רענן את חוקי הפורום בעניין כותרת.
לגוף השאלה, מסובך עד בלתי אפשרי.
חשבתי שבשנה שעברה מאז כתבו על זה המצב השתנה... [ולכן גם נוסח השאלה בכותרת... פעם הבאה יהיה יותר טוב...]
יש פרוייקט ביגטאב: https://github.com/eshaham/israeli-bank-scrapers
שמאפשר למפתחים לארגן כזה דבר,
הפרוייקט הובא פה על ידי @אביי,מדובר ב @אבי
ושוחחו עליו פה כמה פעמים.
כשכתבת מסובך עד בלתי אפשרי ומיד הבאת פרויקט שכן אמור לענות על העניין התכוונת לומר שעבורי זה יהיה מסובך ולמי שמבין בתיכנות זה כן יהיה אפשרי?
-
@one1010 כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
@אבי אשמח אם תצטרף לדיון... הצלחת לעשות זאת בפועל?
כן, כבר שנתיים שזה עובד מצוין ב"ה
מדובר במגרד סלניום (כתוב בC#) שמדמה פעולה אנושית באתר
נכנס כל לילה ל 3 בנקים, שואב את כל המידע כולל צילומי שיקים וכו' ומסנכרן עם התוכנה
מידי פעם כשיש שינויים באתרי הבנקים צריך לבצע התאמות -
-
@one1010 כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
כשכתבת מסובך עד בלתי אפשרי ומיד הבאת פרויקט שכן אמור לענות על העניין התכוונת לומר שעבורי זה יהיה מסובך ולמי שמבין בתיכנות זה כן יהיה אפשרי?
צודק, זו סתירה.
זה בגלל שמבחינת "השקפה" הפרוייקט ההוא לא סוחב את הנתונים כמו שאמור להיות (API ומטה) אלא מדמה הרצת דפדפן (שזה צורך משאבים ורגיש מבחינת תחזוקה). -
@one1010 כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
@dovid אני יכול להיעזר במתכנת שיעזור לי אם זה לא מסובך מדי...
@אבי ,מסובך? כמה זמן התעסקות זה אורך?כמו ש@dovid כתב, זה דורש בנייה ותחזוקה כמו כל תוכנה
אם תרצה להתחיל תלמד על Selenium או Puppeteer
לשניהם יש כלי הקלטה שממירים את הפעולות שאתה מבצע באתר לקוד, (ההקלטה של Puppeteer מובנית בכרום) ומקילים מאוד על הבניה.
מכאן השמים הם הגבול, אפשר לבצע באמצעות קוד כל מה שבן אנוש יכול לעשות ואפילו פתרון קפצ'ות... -
-
@one1010 כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
@אבי כתב ביש כבר דרך לשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
אם תרצה להתחיל תלמד על Selenium או Puppeteer
כלומר, זה לא רק לבצע את הפעולות שמובאות שם בפרוייקט בgithub?
אין שם פעולות, יש שם דוגמת קוד בסיסית ממש
השאלה כמה זה מסובך וכמה זמן תלויה במיומנות של המתכנת ולכן אי אפשר לענות עליה בלי להכיר אותו
בכל מקרה זה לא משהו שרלוונטי לך ללא מתכנת כמו שכבר כתבו פה, ויותר בכיוון של מתכנת שיכתוב עבורך את הקוד מאשר עזרה קטנה.אחרי שמתכנת יכתוב לך את הקוד הוא יצטרך לרוץ על מחשב ברקע (ניתן להשתמש במחשב תוך כדי), או שתשכור שרת שזה בעצם מחשב בשרתים של אמזון ושם זה ירוץ.
-
בפרוייקט שהביא @dovid יש למטה תוכנה שאמורה לעשות זאת עבור המשתמש הפשוט.
יש שם כמה אופציות, בחרתי במה שנראה הכי פשוט. וזה פשוט עובד!!!!! קצת מבולגן אבל מאמין שיש דרך להגדיר אותו נכון יותר- בודק, אשתדל לעדכן!
בנטפרי כרגע עדיין לא עובד- בעיות תעודה [תודה ל @צדיק-תמים על האבחון...]. מצרף:
https://github.com/brafdlog/caspion
ולמי שמעדיף אתר רגיל והורדה רגילה:
https://caspion.org/ -
@one1010 כתב בשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
בפרוייקט שהביא @dovid יש למטה תוכנה שאמורה לעשות זאת עבור המשתמש הפשוט.
יש שם כמה אופציות, בחרתי במה שנראה הכי פשוט. וזה פשוט עובד!!!!! קצת מבולגן אבל מאמין שיש דרך להגדיר אותו נכון יותר- בודק, אשתדל לעדכן!
בנטפרי כרגע עדיין לא עובד- בעיות תעודה [תודה ל @צדיק-תמים על האבחון...]. מצרף:
https://github.com/brafdlog/caspion
ולמי שמעדיף אתר רגיל והורדה רגילה:
https://caspion.org/תודה.
יפה שמישהו הרים את הכפפה ויצר תוכנה למשתמשי קצה
שים לב שהפרוייקט הזה שואב רק את טבלת העסקאות הראשית, זה כנראה מספיק לרוב המשתמשים, אבל בחלק מהבנקים (לפחות מה שבדקתי) יש נתונים שמוצגים רק בעת לחיצה על קישורים פנימיים והם יהיו חסרים. -
@אבי כתב בשאיבת נתונים אוטומטית מאתרי הבנק והאשראי?:
ה
שים לב שהפרוייקט הזה שואב רק את טבלת העסקאות הראשית, זה כנראה מספיק לרוב המשתמשים,נכון... אצלי חסר לדוגמא את הסכום שיש בבנק כרגע ואת הסכום לחיוב הקרוב בכרטיסי האשראי.
מה שכרגע להבנתי נראה לי שהוא עושה זה סה"כ להוריד קובץ שהבנק נותן להוריד בכניסה עצמאית. מה שיש שם יהיה גם כאן.
