תחומים - פורום חרדי מקצועי

@dovid @magicode
שאלה נוספת
לשם ההבנה, ברעיון זה אפשרי ותיקני לכתוב כמה קבצים נפרדים, וכל אחד יוגדר על פורט אחר, ולהפעיל אותם במקביל, ואז בעצם יש לנו כמה תהליכים של הנוד שהם פעילים בו זמנית כל אחד ליציאה אחרת?
כך היה נראה לי מהנסיונות שלי, כאשר הרצתי סקריפט חדש על פורט אחר, ושני הפורטים ממשיכים לעבוד.
האם זה בסדר?

עדיין לא התלהבתי מnodejs, אני צריך לעלות שלב למשהו יותר דינאמי, לחבר עליו מערכת אמיתית.
בינתיים בניתי מערכת אם התסריט הזה:
עדיין אינך רשום במערכת, הינך מועבר להרשמה חד פעמית
הקלט את שמך המלא, ולסיום הקש סולמית
הקש טלפון ליצירת קשר ולסיום הקש סולמית
לאחר הצליל הקלט את כתובתך המלאה, ולסיום הקש סולמית
השם שנקלט הוא
מספר הטלפון שהוקש הוא
הכתובת שהוקלטה היא
שלום ותודה

נראה בהמשך מה הלאה
תודה בכל אופן על ההדרכות.
עדיין אני עובד משורת הפקודה, עדיין לא עם IDE.
מה שאני לא מבין שאחרי ביצוע שינויים בקובץ אני מקבל פלט:

[nodemon] starting `node nodejs/test.js`
events.js:183
      throw er; // Unhandled 'error' event
      ^

Error: listen EADDRINUSE :::80
    at Object._errnoException (util.js:1022:11)
    at _exceptionWithHostPort (util.js:1044:20)
    at Server.setupListenHandle [as _listen2] (net.js:1367:14)
    at listenInCluster (net.js:1408:12)
    at Server.listen (net.js:1492:7)
    at Object.<anonymous> (/home/ubuntu/nodejs/test.js:15:4)
    at Module._compile (module.js:652:30)
    at Object.Module._extensions..js (module.js:663:10)
    at Module.load (module.js:565:32)
    at tryModuleLoad (module.js:505:12)
[nodemon] app crashed - waiting for file changes before starting...

אך בכל זאת השינויים מבוצעים ועובדים כפי השינויים, איך זה ייתכן? מה לא נכון בהבנה שלי?

@by6199 אמר בהאם שווה לבנות לבד אתר לגיוס המונים?:

אולי זה מעט סטייה, אבל כל מפעילי המצ'ינג גם אתכם ניתן לתבוע על צינתוקים, סורוצקין כבר נתבע @חוקר

לא היה שום צינתוק או הודעה יוצאת מהמערכת שלי.
אין לי מושג מה זה

@nigun @dovid
הCPU היה רק 20 אחוז, ואם כל זה זמן התגובה היה מאוד לאט, עקב עומס בקשות בו זמנית.
ייתכן מאוד שזה בסך הכל היה בגלל מגבלות השרת כמו ש @magicode כתב (ראית את הפלט שהדבקתי לעיל?)
הmysql הוא על אותו שרת.
אך בשלב הקודם לא השתמשתי ב SQL כלל בשלוחה זו, אלא בשליפת הנתונים מצרידי אונליין, וכעת אני חושב לשנות את זה ולשלוף את הנתונים מהשרת שלי, מתוך SQL או טקסט, ולעדכן את הנתונים במקביל ע"י סקריפט אחד, במקום שלכל משתמש תיהיה בדיקה אונליין מול צ'רידי
ואכן ייתכן שלא כ"כ קצת נתונים עדיף קובץ פשוט מאשר SQL

התחלתי ללמוד nodejs, או יותר נכון התחלתי לפתח.. (אם אתיישב ללמוד ואח"כ אתחיל לפתח, אוי ואבוי, כל השיטה היא שמתחילים מיד עם תוכנית עבודה..)
כמה שאלות:
א. להבין את המבנה איך מפתחים ומעדכנים קבצי קוד.
לפי מה שהבנתי לאחר כתיבת הקוד הראשון בקובץ js עלי להפעיל אותו ע"י הפקודה
myapp.js nodejs
דבר ראשון אני רוצה להבין מה קורה כאן, אני רואה שהפקודה לא נעצרת, אני לא מקבל תשובה. ומצד שני לאחר שביצעתי שינויים בקובץ ואני רוצה לעדכן את השרת הרצתי שוב את הפקודה הנ"ל וזה נכשל כי הפורט כבר היה תפוס, מגלגול בגוגל הבנתי שעלי לחפש את התהליך ולהרוג אותו, וזה מה שעשיתי ואז ניתן היה לאחל מחדש.
היה נשמע לי מסורבל, גילגלתי עוד ומצאתי שיש משהו nodemon שעוקב אחרי הקובץ, וברגע שאני משנה אותו הוא מבצע את השינויים בשרת, בלי שאצטרך לבד לאתחל את התהליך.
אשמח להבין האם זו אכן הדרך?
ב. איך בעצם יוצרים כמה אפלקציות? בקוד זה למשל:

var http = require('http');
var url = require('url');
var fs = require('fs');

http.createServer(function (req, res) {
  var q = url.parse(req.url, true);
  var filename = "." + q.pathname;
  fs.readFile(filename, function(err, data) {
    if (err) {
      res.writeHead(404, {'Content-Type': 'text/html'});
      return res.end("404 Not Found");
    }  
    res.writeHead(200, {'Content-Type': 'text/html'});
    res.write(data);
    return res.end();
  });
}).listen(8080);

מקור https://www.w3schools.com/nodejs/nodejs_url.asp
ראיתי איך לנווט לקבצים לפי הנתיב שכתבתי. רק ששם זה רק הדפסה מתוך הקובץ, אני רוצה לדעת איך לנווט מראש לסקריפט/פונקציות באמצעות נתיב הקובץ
האם עלי לעשות קובץ ראשי שמאזין לפורט 80 וינתב את הסקריפט למודל לפי הנתיב? או משהו אחר? בקיצור איך זה למישהו שמגיע מPHP...
ג. איך אני יוצר תתי קבצים של פונקציות, שאוכל לגשת אליהם בלי להצטרך להכניס אותם למשתנה ולגשת מתוך המשתנה, יותר נכון אני רוצה אותם בצורה גלובאלית, דומה ל
include 'CreditCard.php';
בשפת PHP.
מצאתי את זה https://stackoverflow.com/questions/5797852/in-node-js-how-do-i-include-functions-from-my-other-files יש שם בתשובה הרביעית משהו שהיה נראה יחסית הכי קל, אבל עדיין זה לא גמיש.
ד. וכהמשך לג' אני רוצה לעשות קבועים בקובץ נפרד, איך עושים את זה?
ה. אני רוצה לגשת לפרמטרים של הURL מתוך פונקציה וכן להדפיס תשובה למסך מתוך אותה פונקציה, אני חייב להעביר את req, res לפונקציה? או שניתן לגשת אליהם כגלובאלי או משהו אחר?
ו. בסופו של דבר, כל השרת אמור להיות כתוב בסופו של דבר בקובץ אחד, (כמובן שניתן לייבא מודולים, אבל האם בתכלית זה הפליקציה אחת בלבד), או שכן ניתן לעשות משהו בדומה לPHP וHTML שהנתיב מפנה לקוד להרצה
חכו לשאלות בהמשך...
@dovid אתה אשם, אתה צריך לעזור לי...
תודה

@magicode
בזה של צ'רידי, אכן. כל פעם קריאה ישירות מהAPI של צ'רידי

השאלה היא אם לשנות כיון, ולשמור בשרת שלי, א"כ האם הSQL או ע"ג קובץ

@dovid אמר בוויסות עומסים של שרתים:

קריאת קובץ זה פעולה מול המערכת קבצים באופן ישיר עם בעיות של נעילות ועם חוסר יעילות של קריאה סדרתית.
בגישה למסד התוכנה של mysql ממטבת את הגישה לדיסק בהרבה פרמטרים.

אבל אם אני בונה בצורה נכונה עם ההרשאות וכו', ואני שם בקובץ רק את הנתון הנדרש ללא מיונים וכו' שצריך אח"כ בתוך הקובץ, זה לא יותר קליל לשרת מאשר הרצת תוכנת הSQL שצרך לגשת לטבלה מסויימת, לפי סינון או בלי?

@dovid @clickone
אסכם את השאלות:
איך שאני עובד היום, שאני עדיין עובד עם ימות המשיח (אין כ"כ זמן לחשוב על אסטריסק לבד), ועדיים עם PHP.

1. מה ההבדל בבזבוב משאבים בין file_get_contents ל MYSQL. (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
2. ההבדל בין MYSQL לקריאה מקובץ טקסט בשרת (file_get_contents או אחר). (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
3. במידה ואני כן רוצה בלאנס, איך זה עובד, כמובן שאני מעדיף בלאנס אצלי מאשר הפעלת שלוחה רנדומאלית בימות, אבל זה עשיתי תוך כדי קמפיין דבר ראשון שהמערכת תעבוד.

@magicode אמר בוויסות עומסים של שרתים:

יש עוד דבר.
וזה מגבלות מובנות בלינוקס שאפשר להגדיל אם רוצים.
מה שיכול להפריע פה. זה מגבלת חיבורים פתוחים. ומגבלת כמות תהליכים.
תריץ את זה
ulimit -a
תראה את כל המגבלות.

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7787
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 7787
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited

אומר משהו?

@clickone
אני ב PHP.
רק אם הבנתי נכון שזה קובץ סטטי, ברעיון מה זה אחרת מבאם אני שומר לקובץ פיזי במיקום בשרת, וכל פעם קורא ממנו את הנתונים?

@dovid
תן לי להבין את ההבדל בין PHP לנוד כאשר יש לך לדוגמא 20 בקשות באותה שניה ממש.

@clickone אמר בהאם שווה לבנות לבד אתר לגיוס המונים?:

@מנצפך את זה נשאיר לפורום תיכנות... בכל מקרה, אני לא חושב שיש סיבה לא לעבוד ככה בכזה מקרה.
אין טעם שכולם יגשו לDB שוב ושוב רק כדי להביא את אותם נתונים בדיוק (העידכון מהדקה האחרונה) וזה נתון שכן הייתי מצפה להביא מהקאש בשרת ולא ישר מהDB. במיוחד במקרה של עומסים.

למיטב זכרוני, המערכת של פיקוד העורף גם שומרת את נתון האזעקה הנוכחי בקאש שלה ולא שולפת מהDB לכל אחד. (למי שהתעסק בעבר מול הAPI שלהם)

מה זה קאש בצד השרת?
ואיך מעדכנים אותו?

אולי חלק מנידון זה שייך לסעיף חומרה ולא לתכנות, אבל אני צריך את עזרת המתכנתים ולא כ"כ את הטכנאים...
אני משתמש בשרת לינוקס על AWS והתקנתי עליו LAMP.
אני מתכנת מערכות טלפוניות באמצעות API עם ימות המשיח.
רוב המערכות שלי בדר"כ זה PHP וMYSQL שמותקן על השרת והגישה עליו היא
ב localhost.
ב"ה בדר"כ לא חוויתי תקלות ואני מסתפק בשרת t3.small של 2 מעבדים ו 2 ראם.
בקמפיין של עטרת שלמה היה ב"ה עומס גדול, בפרט בערב, והתחלתי לחוש שהשרת שלי נושם עמוק מידי, לקח לו הרבה זמן תגובה.
מה שעשיתי למעשה, זה שהתחלתי לחלק את השלוחות לשרת אחר שהיה לי מוכן (שלוחת אידיש עבדה יותר מהר מי ששם לב, כי זה העברתי מיד על שרת נפרד, והתנועה בו הייתה דלילה יותר) ולאחר מכן הרמתי עוד שלושה העתקים של השרת ויצרתי שלוחה רנדומאלית בימות המשיח שתפנה כל פעם לשלוחה אחרת, שכל שלוחה מחוברת לשרת אחר.

למעשה שלוחת שמיעת מצב הקמפיין לא היה מחובר לד"ב, אלא חיבור ברגע אמת לשרתי צ'רידי לשליפות מצב הקמפיין. (ע"י file_get_contents)
בעת העומסים של הקמפיין הCPU היה בסך הכל בסביבות ה20 ,כאשר רובו הוא של httpd השרת אפאצ'י.
בדר"כ עיקר הCPU הוא מה SQL.
ובשרתים החדשים שהרמתי לקמפיין ג"כ הCPU נע בסביבות 10 רובו של httpd.
יש לי כמה נקודות שברצוני להבין.
א. נראה שהבעיה לא הייתה ביכולת המעבד כי כמו שכתבתי הCPU היה נמוך.
א"כ מה כן הבעיה?
ב. אם אני רוצה לאזן עומסין בין כמה שרתים, איך עושים את זה, והשאלה מורכבת בעיקר לגבי מערכות שכן צורכות SQL ואני צריך ד"ב אחיד, איך עושים בצורה שלא יאט את המהירות (האם יש מצב להגיע לאותו מהירות כמו בlocalhost כאדר הד"ב בשרת נפרד?)
ואיך זה מבחינת העלאת הקבצים לשרתים? איך יוצרים קבוצת שרתים שכולם מתעדכנים בקבצים חדשים? ואיך יוצרים IP שמחולק בצורה אוטומטית לפי עומסים, בין השרתים?
או אולי לבודד מראש כל מערכת לשרת/ים נפרד/ים, לפי העומס הצפוי להיות במערכת זו? א"כ מה לעשות לגבי המערכות הקבועות?
או להישאר עם שלוחה רנדומאלית בימות, שהיא תווסת את העומסים.

כנראה יש עוד נקודות בנושא שעדיין לא בראש לשאול אותם.
אך בקיצור הייתי שמח לקצת הדרכה להתמודד עם עומסים ושרתים בצורה נכונה ומתוכננת מראש.

בנוסף ישנם דברים שהייתי יכול לעשות ע"י SQL, לדוגמה, המערכת הייתה שולחת את מספר הטלפון לבדיקה מול צ'רידי האם קיים מתרים על מספר זה, וא"כ היה משמיע לו תפריט לשמיעת מצב התרומות שנתרמו על ידך, אחרת זה היה משמיע, לחיפוש מתרים ע"י הקשת המספר שלו הקש שתיים, וכו'.
כעת זה היה בנוי שהכל בוצע ישירות מול צ'רידי בכל שלב במערכת.
והאמת שהעדפתי להמנע מSQL כי חשוב לי מאוד שזה לא יקרוס.
השאלה היא האם כן היה עדיף לעשות אצלי בSQL טבלה של המתרימים, והמערכת הייתה בודקת אצלי האם קיים מתרים למספר הטלפון, ולהציע תפריט לפי זה.
ואז הייתי עושה סקריפט שפעם בעשר דקות / חצי שעה זה היה שולף את נתוני המתרימים מצ'רידי ומעדכן אותם בטבלה.
במקרה זה הייתי מעמיס יותר על הSQL ופחות על שליפת נתונים חיצוניים על ידי file_get_contents.
והאמת שניתן אפילו לעשות זאת לגבי התרומות עצמם, טבלת מצב הקמפיין שמתעדכן כל דקה, והמערכת תשלוף את הנתונים רק מהטבלה ולא מצ'רידי בכל שיחה.

אשמח לחוות הדעת של המומחים כאן, איך ומה ניתן לעשות לגבי הנ"ל.
תודה

קשה לי לצטט את כולם, כל אחד בנקודה שהוא חידד, אבל אכתוב בכמה מילים את מה שיש לי לומר.
ליוויתי ב"ה כמה קמפיינים של צ'רידי, אחד של הקהילה שהייתי תורם ומתרים, ובעצם שם נוצר החיבור הראשון שלי עם צ'רידי, ועוד כמה שליוויתי קצת יותר עמוק.
אני בניתי לדושינסקי, ולבעלזא, ולעטרת שלמה - סורוצקין את המערכת הטלפונית.
(ולעוד כמה, רק ששם בניתי רק שלוחת שמיעת מצב הקמפיין ולא תרומות).
בנוסף אציין שבנדרים פלוס בדושינסקי ובבעלזא שהיה דף מיוחד שניתן היה לתרום לקמפיין באמצעות מתרים, זה עבד בצורה שלאחר התרומה בהצלחה השרת של נ"פ שלח API לשרת שלי, עם פרטי התרומה שחדשה, והשרת שלי עדכן אותם כתרומה חדשה, בשרתי צ'רידי.
ולא נראה שזה ימשיך לעבוד כך. (בסורוצקין אכן כבר לא היה הרשאה לעשות את זה).

לעצם העניין, זה ברור שעיקר ההצלחה של צ'רידי זה הפסיכולוגיה וכדומה בניהול הקמפיין, ורוב העניינים כבר הוזכרו בשרשור למעלה, איך הם גורמים למתרימים להיכנס ללחץ וכו'.
זה ובעיקר זה, הוא יסוד ההצלחה של צ'רידי.
מצד שני, חייבים שרתים חזקים, וחייבים בנוסף לבנות את זה נכון.
לדוגמא, עד הקמפיין של בעלזא, בו הייתה קריסה בשרתי צ'רידי כשלוש שעות (מחמש לשמונה בערב) פה ושם היה קורה עומסים בשרתי צ'רידי והייתי מקבל מייל מהמערכת שלי (בעת הפעלת שלוחת שמיעת מצב הקמפיין) שיש שגיאה בהתחברות לצ'רידי עם שגיאה 502 או אחר.
לאחר הקמפיין של בעלזא הם הפיקו לקחים, וראשית כל כנראה הגדילו את השרתים, אך בעיקר מה שהם עשו שהם חסמו את האפשרות של סינון תרומות בקמפיינים גדולים דוגמת סורוצקין, שלא יוכלו לחפש בהיסטוריית התרומות, זה היה נתח כבר מאוד לשרת שלהם, וכן ב API שלהם של שליפת מידע הם הגבילו את השאילתה המירבית ל100 תוצאות.

בנוסף ישנם הרבה נקודות בניהול ותכנון הקמפיין מבחינת בסיס הנתונים, דוגמת אפילו שמירת כתובת ה IP מאיפה הגיעה התרומה ועוד עשרות פרמטרים שנשמרים יחד עם התרומה.
אפשרויות הוספת תרומות אופליין - לא דרך האשראי מהאתר אונליין.

וכמובן API של שליפת נתונים ברמה גלובלית או ברמת מתרים, הן עבור האתר, והן עבור המערכת הטלפונית

והאחוזים של החברה, הלוואי וצ'רידי היו לוקחים רק 4 אחוז.

ישנם חברות נוספות דוגמת קוזמאצ' שלוקחים אכן רק בסביבות 4 אחוז, רק ששם אין לי מושג איך הולך ניהול הקמפיין והמתרימים.

אך מ"מ לא כל קמפיין חייב לקחת את צ'רידי, ע"מ לגייס מאה אלף ש"ח חבל להכניס את צ'רידי לתמונה.
על זה נותר לקוות שהחברות הקטנות יותר ו/או נדרים פלוס למשל, יספקו פלטפורמה טובה ומספקת.

@Sofer אמר במכתב מגדולי הרבנים:

@רמיזא
זה נקרא להפוך שאלות לתשובות. יש לך הוכחות לכך שמדיניות זו משקף רק חלק מהציבור החרדי?
ולעצם הענין, קווים משפחתיים מאושרים ע"י ועדת הרבנים, בתנאי שכל הודעה מאושרת ע"י מנהל הקו.
אורי בץ פתוח.
קווי נייעס נאסר ע"י הרב אלישיב ועוד.

כאחד שמפעיל הרבה קווים - שפתוחים ע"י הוועדה, יש לי מה לומר, אבל היות וזה לא יעזור, מה שאכתוב כאן, כי זה לא אולם הדיונים של בי"ד כאן, אבקש רק טובה קטנה:
אורי בץ חסום לי בהוט מובייל, אדרבה אשמח לקבל פה מספר גישה פתוח.
אני צריך תמיד טלפון אחר כדי להתקשר לשם.
תודה

@בערל אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

@חוקר אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

בדר"כ זה אמור להיות שהנגן של המכשיר דלוק על שיר שהשם של השיר הוא 1
תנסה לחיצה של שתי שניות על מקש האדום זה אמור להופיע כיתוב "נגן המדיה הופסק"
משהו כזה

@אלישי אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

יש לציין שזה לא טיימר, שעון עצר, מוסיקה, משימה, וגם לא קשור לסים.

אכן, לא שמתי לב...

@WWW אמר בתוכנה לנעילת מסך/מחשב:

@חוקר אמר בתוכנה לנעילת מסך/מחשב:

המטרה כאן מובנת...
לעזור לשליטה העצמית לעבוד בשעות סבירות בלבד...

אם אתה על חשבון משתמש רגיל ולא תדע את סיסמת המנהל,
יש פתרון פשוט, שנקרא בקרת הורים - בטיחות משפחתית.
לגבי ווינ' 10 לא יודע אם עדיין קיים.

אני על משתמש מנהל...
בקיצור אני מעדיף דבר ראשון לדעת האם יש תוכנה שתעשה לי את זה בצורה חיצונית לא דרך הנעילה של ווינדוס.

המטרה כאן מובנת...
לעזור לשליטה העצמית לעבוד בשעות סבירות בלבד...

@WWW אמר בתוכנה לנעילת מסך/מחשב:

@חוקר נראה לי שאפשר ע"י פקודה פשוטה במנהל המשימות.

לא פירטתי מספיק.
לא מספיק לי נעילת המחשב של הנעילה של ווינדוס, כי זה אמור לשמש לנעול אפילו למי שיש את הסיסמא של ווינדוס.
צריך משהו שיהיה ניתן לניהול ע"י סיסמא אחרת.

האם יש תוכנה לנעילת המחשב לפי תזמון משעה עד שעה, מספיק (עדיף) נעילת המסך בלבד.
שינעל את המחשב אפילו עם זה באמצע עבודה/כתיבה/תוכנות פעולות ברקע.
תודה