תחומים - פורום חרדי מקצועי

@ארכיטקט אמר בAPI בנק לאומי:

תגובה: שליפת נתונים מבנקים

https://www.leumiopenbanking.co.il/how-to-start

לפני שאני שורף כמה שעות מישהו כאן כבר התברבר עם זה? יעזור מאוד.

תודה.

תעדכן אם מצאת משהו, זה מאוד מעניין אותי.

תודה!! לא הכרתי את זה!

@yossiz מאז שהעלתי את הקובץ החדש יש מסך לבן ושום דבר לא עובד.
חשבתי שיש בעייה אחרת, ובדקתי הכל מההתחלה, אבל אין בעייה אחרת, והקובץ הזה כנראה תוקע את המערכת.
מה שמוזר, זה שהמקורי שוקל כמה קילו פחות מהחדש. האם יכול להיות שמשהו השתבש בסגירה?

goipcronORIGINAL

goipcronYOSSIZ

@clickone אולי שנה הבאה ייחסם, אבל בנתיים הרישיון פעיל, ואני לא רואה סיבה שיסגרו אותו באמצע השנה.

@OdedDvir אמר בדיון על "לכל מנעול יש מפתח":

לענ"ד מערכת נחשבת מוגנת מספיק כאשר הטירחה לפרוץ אותה לא משתלמת לפורץ מבחינת משאבים.

המשפט הכי קולע..
יש הרבה רמות של אבטחה, לא הרי אבטחה של פייסבוק כאבטחה של האתר של תחומים לצורך הענין.

@יוס תודה.
אני רואה שיש להם תוסף לWOOCOMMERCE, לכאורה אפשר פשוט לשלוף משם את הAPI..
לפי מה שהבנתי מהם הם לא מסכימים, אבל לא בטוח שצריך את ההסכמה שלהם.
https://www.upay.co.il/images/api/Woocommerce_Upay_1.2.4.zip

בניתי לפני כמה שנים מערכת טלפונית (@dovid אל תכעס, זה לא שאלה על אסטריסק..). המערכת משמיעה שיעורים, מסודרים בתוך שלוחות, ואפשר כמובן גם להקליט שיעורים חדשים או תגובות של המאזינים, ויש למנהלים מרחב ניהול בו הם יכולים לאשר הודעות, למחוק, להעביר לתיקיות אחרות, וכו'.
בניתי את זה בצורה שכל הודעה שמכניסים לתיקייה, זה בודק מה המספר של ההודעה האחרונה שיש בתיקייה, ונותן לחדשה את המספר הבא. כשרוצים לשמוע קבצים מתוך תיקיה, זה טוען את כל רשימת הקבצים שיש בתיקייה, ומשמיע אותם אחד אחרי השני, עם אפשרות לעבור להודעה הבאה, קודמת, וכו'.

עברו כמה שנים, והקו גדל מאוד. מאוד מאוד. יש שלוחות עם עשרים אלף קבצים, והמנהלים לא מוכנים למחוק שום דבר.
זה עולה הרבה כסף האיחסון, וגם מכביד על המערכת לטעון בכל כניסה לשלוחה את ה20K קבצים.

אני רוצה לבנות את זה מחדש בצורה שונה, ורציתי להתייעץ מה הצורה הנכונה.
קודם כל אני חושב שלא כדאי להשתמש במסד נתונים כשלא חייבים, והייתי מעדיף להסתדר כמו שזה עד עכשיו בלי שום קשר למסד נתונים. מצד שני יש שיקולים אחרים שגורמים שאולי כן צריך מסד.

לכאורה הצורה הנכונה היא שהקבצים יישמרו בS3, שהוא הרבה הרבה יותר זול מאכסון רגיל.
לצערי לא מצאתי פיתרון להשמיע קבצים מURL ישירות באסטריסק (לפי התיעוד זה אפשרי, אבל הספרייה שאמורה לטעון קבצים כנראה פגומה, זה נושא לאשכול אחר), אז אני עושה תיקיית קאש ובודק שם אם כבר הורדתי בעבר את הקובץ ואם לא, אז מוריד אותו עכשיו.
השאלה היא איך לקבל את רשימת הקבצים מתוך הBUCKET.
הפונקציות של חיבור לS3 נותנות לקבל רק אלף קבצים, ואין אפשרות לסנן לפי תאריך יצירה, כך שאני לא יכול למשוך רק הקבצים האחרונים. אולי אפשר להשתמש בPAGINATOR או משהו כזה ולמשוך בעשרים פעולות את כל רשימת הקבצים, אבל זה נשמע לי הרבה מאמץ בשביל זה.
השאלה אם כדאי להשתמש במסד נתונים, שם יהיה אינדקס של כל הקבצים, וכל פעולה של העתקה או מחיקה או יצירת קובץ חדש תירשם שם, מסודר לפי תיקיה, וכך כשארצה למשוך רשימת קבצים מתיקייה פשוט אמשוך את ה25 קבצים האחרונים, ואם מסיים אותם אני מושך את הרשימה של ה25 הבאים וכן הלאה.
הסיבה שאני לא אוהב את הפיתרון הזה הוא גם כי עד עכשיו הסתדרתי בלי מסד נתונים וחבל להזקק לו עכשיו סתם, וגם כי זה ידרוש פיתוח רציני לשנות את כל הצורה של המערכת שהכל יהיה מסונכרן תמיד במסד נתונים.

מה דעתכם? איך היים ניגשים לזה?
תודה רבה

@yossiz עובד..

@רפאל נפלא. חשבתי שEXPOSE זה למיפוי פנימי וPORTS לחיצוני, אבל בעצם מה שאני צריך זה נקרא חיצוני.
וכמו שכתבת הEXPOSE לא אומר כלום (פעם זה לא היה ככה אם אני לא טועה)

יישר כוח גדול!!!

@aaron תבורך מפי עליון!!! עזרת לי מאוד מאוד

@dovid אני אוהב לקבל תוכחות, אפילו ממך. כך שלא אגיד שעמלתי כל הצורך בבעייה.
אבל אוכל להגיד שהגעתי לנקודה שלא הצלחתי להתקדם ממנה. ורק אחרי זה החלטתי לשאול בפורום ולבקש עזרה, מתוך תקווה שמישהו יעזור.
אם אתה רואה כל שאלה ששואלים בפורום כ"בא תפתרו את זה, נמאס לי לנסות לקלוט מה קורה שמה", אולי באמת כדאי לחסוך את דמי הפעלת השרת ולסגור את הפורום.

לגבי ההערות על הקוד, הUPDATE לא נחוץ לחבילות האלה.
והקבצים שאני מכניס לתמונה נחוצים לODBC

באחד מהפרויקטים שלי אני צריך להשתמש בחיבור MYSQL דרך דרייבר ODBC.
אני משתמש בדוקר, ובעבר הייתי מריץ את הפרויקט והמסד נתונים באותו קונטיינר.
לאחרונה חילקתי אותם, כך שהפרויקט בקונטיינר אחד והמסד נתונים בשני. אני מצליח להתחבר למסד מהראשון לשני בצורה הרגילה, עם שם משתמש וסיסמא, אבל לא מצליח להשתמש בדרייבר של הODBC. זה אומר לי שהדרייבר לא נמצא, כאשר הוא כן נמצא.

בזבזתי על זה ימים שלמים, ובסופו של דבר בודדתי את החלק הבעייתי והעלתי לגיטהאב, אם מישהו יוכל להסתכל לראות אם מזהה את הבעייה.

הקוד המלא נמצא כאן, אפשר להתקין את זה על שרת שמותקן בו דוקר, לוקח דקה וחצי התקנה ואפשר למחוק מיד אחרי זה.
https://github.com/showf68/odbcExample

מצאתי מישהו ששאל את זה בסטאק, אני מבין שהוא אומר שיש בעייה בלינק של הדיפנדנס, אבל לא הבנתי איך לתקן את זה.
עיין כאן https://unix.stackexchange.com/questions/516936/unixodbc-cannot-load-libmaodbc-so

תודה מראש אם למישהו יהיה סבלנות לנסות לעזור.

@www כן, למרבה הפלא.

@www מזה אני לא חושש. יש אימות עם חתימת האש לקובץ.
רק שאם אין לי את הנתיב, אני בכלל לא יודע איפה לחפש להשוות.

תודה על התגובות
אין מכנה משותף בין המיילים שנופלים, עכ"פ לא שמתי לב, וזה מסתבר שכמו שדוד אומר זה בעייה של עומס יתר על השרת.
השירות של MAILGUN הוא מעניין, כבר מזמן @957 סיפר לי עליו, אבל הוא עולה הרבה כסף (יש להם עשר אלף מיילים בחודש, זה מספיק לי ליומיים שלש, בימים לא עמוסים)...
להגדיר שרת מייל זה קצת מסובך בשבילי, אני מפחד לפספס מיילים, ובכלל זה יקח לי זמן ללמוד את זה, ואין לי את הזמן הזה.

עשיתי פיתרון מאוד פשוט, במקום להמשיך עם הPIPE הישן שלי, עשיתי סקריפט שעובר על התיבת דואר (דהיינו על הקבצים שבתיקיית NEW של התיבת דואר), מטפל בכל קובץ, ומעביר אותו לתיקיית CUR (שזה המיילים שכבר נקראו).
זה עובד נהדר ב"ה.

עכשיו לגבי MAILGUN, יש לך ניסיון עם זה? כי הייתי רוצה להשתמש בו למיילים יוצאים, השאלה אם הוא נותן לשלוח מג'ימייל לג'ימייל מכתובות מזויפות? זאת אומרת אם אני רוצה להשתמש בו כדי לשלוח מהמייל של ראובן למייל של שמעון, זה יעבוד?
עברתי על האתר שלהם כמה פעמים, ושוב הבוקר, ומבקשים לאמת דומיין, ומשום מה יש לי הרגשה שהטריקים שלי לא יעבדו שמה. אני טועה?

שוב תודה

@dovid אמר בשירות ענן ישראלי מומלץ:

בשטרסבורג

מקום מומלץ, מבחינות רבות...

מצאתי באיביי רישיונות לINTELLIJ בערך ב30 שח.
כנראה אלך על זה.
https://www.ebay.com/itm/IntelliJ-IDEA-All-Products-Ultimate-Pack-1-Year-Subscription/303785197528?hash=item46bb023fd8:g:GJgAAOSwHHxfwAwr

@www אמר בהמרת DOC לPDF:

כך שיצא שכרו בהפסדו, במקרה שלך, הייתי מציע לך לחלץ טקסט נקי מהקובץ וזהו.

תודה, זה מה שאעשה

@מנצפך אמר בעבודה ללא נסיון:

לא ביקשת רעיונות, אבל אותי בתור מעסיק היה מעניין לאו דווקא ניסיון שלך בחברה אחרת, אלא לראות פרוייקטים שעשית.
אין דרך אחרת, תיקח רעיון לפרוייקט מעניין ואטרקטיבי (יש המון רעיונות. תוכל לשאול כאן), ותבצע אותו.
גם ככה תלמד המון וגם זה יתן לך הרבה נקודות בבואך לריאיון.

100%

הנה אתר מוצלח
https://www.opencnam.com