פרויקט התממשקות עם הבנק

שואף

בהמשך להודעה של @Avi_av לגבי הקוד פתוח להתממשקות עם הבנק, שינסתי מותני ונכנסתי בעומק סוגיית NODEJS.

אבל יש בעיות, ואשמח לעזרה

התקנתי את החבילה, בפקודה

npm install israeli-bank-scrapers --save

אבל זה מחזיר לי שגיאה


ERROR: Failed to download Chromium r637110! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download.
{ Error: unable to verify the first certificate
    at TLSSocket.onConnectSecure (_tls_wrap.js:1051:34)
    at TLSSocket.emit (events.js:189:13)
    at TLSSocket._finishInit (_tls_wrap.js:633:8)
  -- ASYNC --
    at BrowserFetcher.<anonymous> (D:\dev\nodejs\node_modules\puppeteer\lib\helper.js:108:27)
    at Object.<anonymous> (D:\dev\nodejs\node_modules\puppeteer\install.js:64:16)
    at Module._compile (internal/modules/cjs/loader.js:701:30)
    at Object.Module._extensions..js (internal/modules/cjs/loader.js:712:10)
    at Module.load (internal/modules/cjs/loader.js:600:32)
    at tryModuleLoad (internal/modules/cjs/loader.js:539:12)
    at Function.Module._load (internal/modules/cjs/loader.js:531:3)
    at Function.Module.runMain (internal/modules/cjs/loader.js:754:12)
    at startup (internal/bootstrap/node.js:283:19)
    at bootstrapNodeJSCore (internal/bootstrap/node.js:622:3) code: 'UNABLE_TO_VERIFY_LEAF_SIGNATURE' }
npm WARN enoent ENOENT: no such file or directory, open 'D:\dev\nodejs\package.json'
npm WARN nodejs No description
npm WARN nodejs No repository field.
npm WARN nodejs No README data
npm WARN nodejs No license field.

npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! puppeteer@1.13.0 install: `node install.js`
npm ERR! Exit status 1
npm ERR!
npm ERR! Failed at the puppeteer@1.13.0 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

npm ERR! A complete log of this run can be found in:
npm ERR!     C:\Users\ShowF\AppData\Roaming\npm-cache\_logs\2019-03-06T09_11_14_371Z-debug.log

אולי הבעייה בנטפרי
התקנתי על השרת, והחזיר שגיאה


Chromium downloaded to /root/node_modules/puppeteer/.local-chromium/linux-637110
npm WARN saveError ENOENT: no such file or directory, open '/root/package.json'
npm notice created a lockfile as package-lock.json. You should commit this file.
npm WARN enoent ENOENT: no such file or directory, open '/root/package.json'
npm WARN root No description
npm WARN root No repository field.
npm WARN root No README data
npm WARN root No license field.

אבל כשאני מריץ את הסקריפט הבא

import { createScraper } from 'israeli-bank-scrapers';

const credentials = {
  username: <'******'>,
  password: <'******'>
};
const options = {
  companyId: 'leumi', // mandatory; one of 'hapoalim', 'leumi', 'discount', 'otsarHahayal', 'visaCal', 'leumiCard', 'isracard', 'amex'
//  startDate: Date, // the date to fetch transactions from (can't be before the minimum allowed time difference for the scraper)
  combineInstallments: false, // if set to true, all installment transactions will be combine into the first one
  showBrowser: true, // shows the browser while scraping, good for debugging (default false)
  verbose: true // include more debug info about in the output
};
const scraper = createScraper(options);
const scrapeResult = await scraper.scrape(credentials);

if (scrapeResult.success) {
  scrapeResult.accounts.forEach((account) => {
    console.log(`found ${account.txns.length} transactions for account number ${account.accountNumber}`);
  });
}
else {
  console.error(`scraping failed for the following reason: ${scrapeResult.errorType}`);
}

זה מחזיר לי

(function (exports, require, module, __filename, __dirname) { import { createScraper } from 'israeli-bank-scrapers';
                                                                     ^

SyntaxError: Unexpected token {
    at new Script (vm.js:79:7)
    at createScript (vm.js:251:10)
    at Object.runInThisContext (vm.js:303:10)
    at Module._compile (internal/modules/cjs/loader.js:657:28)
    at Object.Module._extensions..js (internal/modules/cjs/loader.js:700:10)
    at Module.load (internal/modules/cjs/loader.js:599:32)
    at tryModuleLoad (internal/modules/cjs/loader.js:538:12)
    at Function.Module._load (internal/modules/cjs/loader.js:530:3)
    at Function.Module.runMain (internal/modules/cjs/loader.js:742:12)
    at startup (internal/bootstrap/node.js:283:19)

לא לזלזל, אני עושה היכרות עם NODEJS...

dovid

במחשב שלך, התקן מחדש את תוכנת תעודת האבטחה של נטפרי.
בשרת, שנה את בקוד את השורה הראשונה מ:

import { createScraper } from 'israeli-bank-scrapers';

ל

const  createScraper = require('israeli-bank-scrapers').createScraper;

שואף

תודה
עכשיו השגיאה היא

  username: <*****>,
            ^

SyntaxError: Unexpected token <
    at new Script (vm.js:79:7)
    at createScript (vm.js:251:10)
    at Object.runInThisContext (vm.js:303:10)
    at Module._compile (internal/modules/cjs/loader.js:657:28)
    at Object.Module._extensions..js (internal/modules/cjs/loader.js:700:10)
    at Module.load (internal/modules/cjs/loader.js:599:32)
    at tryModuleLoad (internal/modules/cjs/loader.js:538:12)
    at Function.Module._load (internal/modules/cjs/loader.js:530:3)
    at Function.Module.runMain (internal/modules/cjs/loader.js:742:12)
    at startup (internal/bootstrap/node.js:283:19)

dovid

אתה אמור להחליף את הטקסט הזה עם שם המשתמש שלך מוקף במרכאות:

username: "my_User",

שואף

ברור מה השאלה
החלפתי לכוכביות כי אין לי מספיק כסף בחשבון לחלק לכולם..

שואף

אוקיי הבנתי את כוונתך, הייתי צריך למחוק את ה<>
אז מחקתי ועכשיו יש שגיאה


const scrapeResult = await scraper.scrape(credentials);
                     ^^^^^

SyntaxError: await is only valid in async function
    at new Script (vm.js:79:7)
    at createScript (vm.js:251:10)
    at Object.runInThisContext (vm.js:303:10)
    at Module._compile (internal/modules/cjs/loader.js:657:28)
    at Object.Module._extensions..js (internal/modules/cjs/loader.js:700:10)
    at Module.load (internal/modules/cjs/loader.js:599:32)
    at tryModuleLoad (internal/modules/cjs/loader.js:538:12)
    at Function.Module._load (internal/modules/cjs/loader.js:530:3)
    at Function.Module.runMain (internal/modules/cjs/loader.js:742:12)
    at startup (internal/bootstrap/node.js:283:19)

dovid

@שואף אמר בפרויקט התממשקות עם הבנק:

scrapeResult

תחליף את השורה הזו ל:

scraper.scrape(credentials).then(function(scrapeResult ) {
  // bla bla
});

במקום את הbla bla שים את כל הקוד שמופיע אחרי השורה הזו עד סוף בלוק הפונקציה/או הדף.

dovid

אגב, מציע לך לעבוד עם VSCODE. זה יותר קל.

שואף

תודה רבה התקדמנו לשגיאה הבאה..
מקווה שאני לא משגע אותך


(node:28869) UnhandledPromiseRejectionWarning: Error: Failed to launch chrome!
/root/node_modules/puppeteer/.local-chromium/linux-637110/chrome-linux/chrome: error while loading shared libraries: libnss3.so: cannot open shared object file: No such file or directory


TROUBLESHOOTING: https://github.com/GoogleChrome/puppeteer/blob/master/docs/troubleshooting.md

    at onClose (/root/node_modules/puppeteer/lib/Launcher.js:342:14)
    at Interface.helper.addEventListener (/root/node_modules/puppeteer/lib/Launcher.js:331:50)
    at Interface.emit (events.js:187:15)
    at Interface.close (readline.js:379:8)
    at Socket.onend (readline.js:157:10)
    at Socket.emit (events.js:187:15)
    at endReadableNT (_stream_readable.js:1094:12)
    at process._tickCallback (internal/process/next_tick.js:63:19)
(node:28869) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:28869) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.

שואף

מה שמעניין, שמהמחשב זה סוףסוף עובד, אני יושב וצוחק לראות איך זה פותח את הכרום ומכניס הסיסמא שלי ומושך נתונים..
אבל בלינוקס זה לא עובד

תודה רבה על הכל

yossiz

@שואף

sudo apt install libnss3

WWW

@שואף כמה זמן לוקח לו עד שמופיע הנתונים?

שואף

@yossiz תודה
@WWW כעשרים שניות בערך. אני מאמין שבלינוקס זה יותר מהר

יש עדיין שגיאה בלינוקס

(node:1306) UnhandledPromiseRejectionWarning: Error: Failed to launch chrome!
[1317:1317:0306/124807.187852:ERROR:zygote_host_impl_linux.cc(89)] Running as root without --no-sandbox is not supported. See https://crbug.com/638180.


TROUBLESHOOTING: https://github.com/GoogleChrome/puppeteer/blob/master/docs/troubleshooting.md

    at onClose (/root/node_modules/puppeteer/lib/Launcher.js:342:14)
    at Interface.helper.addEventListener (/root/node_modules/puppeteer/lib/Launcher.js:331:50)
    at Interface.emit (events.js:187:15)
    at Interface.close (readline.js:379:8)
    at Socket.onend (readline.js:157:10)
    at Socket.emit (events.js:187:15)
    at endReadableNT (_stream_readable.js:1094:12)
    at process._tickCallback (internal/process/next_tick.js:63:19)
(node:1306) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:1306) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.

אני רואה שיש דף בגיטהב של troubleshooting, לא הבנתי הכל שמה אבל אני מנסה לאט לאט

yossiz

@שואף כרום לא נותן להריץ אותו כרוט בלי פרמטר --no-sandbox.
או תריץ כמשתמש רגיל, או תמצא דרך להגיד ל-pupeteer להוסיף את הפרמטר הנ"ל.

שואף

נכון
אז עברתי ליוזר אחר, והגיעה שגיאה חדשה..


(node:2056) UnhandledPromiseRejectionWarning: Error: Failed to launch chrome!
MobaXterm X11 proxy: Unsupported authorisation protocol

(chrome:2067): Gtk-WARNING **: 12:58:14.700: cannot open display: localhost:11.0

yossiz

@שואף תעשה

showBrowser: false

WWW

@yossiz כבר הצלחתי להתגבר על כל הבעיות, אבל אני מקבל:

scraping failed for the following reason: generic

בבנק הפועלים.

dovid

@WWW תראה את כל הקוד, כמובן תצנזר את השם והסיסמה.

WWW

@dovid לפי ההוראות שלך:

const  createScraper = require('israeli-bank-scrapers').createScraper;

const credentials = {
  userCode: '123456',
  password: '7890123'
};
const options = {
  companyId: 'hapoalim', // mandatory; one of 'hapoalim', 'leumi', 'discount', 'otsarHahayal', 'visaCal', 'leumiCard', 'isracard', 'amex'
  //startDate: Date, // the date to fetch transactions from (can't be before the minimum allowed time difference for the scraper)
  combineInstallments: false, // if set to true, all installment transactions will be combine into the first one
  //showBrowser: true, // shows the browser while scraping, good for debugging (default false)
  verbose: true // include more debug info about in the output
};
const scraper = createScraper(options);

scraper.scrape(credentials).then(function(scrapeResult) {
	if (scrapeResult.success) {
		scrapeResult.accounts.forEach((account) => {
		console.log(`found ${account.txns.length} transactions for account number ${account.accountNumber}`);
	  });
	}
	else {
		console.error(`scraping failed for the following reason: ${scrapeResult.errorType}`);
	}
});

נסיתי גם username לפנ"כ ואותה שגיאה.

WWW

@dovid ניסיתי גם עם שם משתמש שגוי, וקבלתי אותו שגיאה.

תחומים - פורום חרדי מקצועי

פרויקט התממשקות עם הבנק