תחומים - פורום חרדי מקצועי

@magicode
בזה של צ'רידי, אכן. כל פעם קריאה ישירות מהAPI של צ'רידי

השאלה היא אם לשנות כיון, ולשמור בשרת שלי, א"כ האם הSQL או ע"ג קובץ

@dovid אמר בוויסות עומסים של שרתים:

קריאת קובץ זה פעולה מול המערכת קבצים באופן ישיר עם בעיות של נעילות ועם חוסר יעילות של קריאה סדרתית.
בגישה למסד התוכנה של mysql ממטבת את הגישה לדיסק בהרבה פרמטרים.

אבל אם אני בונה בצורה נכונה עם ההרשאות וכו', ואני שם בקובץ רק את הנתון הנדרש ללא מיונים וכו' שצריך אח"כ בתוך הקובץ, זה לא יותר קליל לשרת מאשר הרצת תוכנת הSQL שצרך לגשת לטבלה מסויימת, לפי סינון או בלי?

@dovid @clickone
אסכם את השאלות:
איך שאני עובד היום, שאני עדיין עובד עם ימות המשיח (אין כ"כ זמן לחשוב על אסטריסק לבד), ועדיים עם PHP.

1. מה ההבדל בבזבוב משאבים בין file_get_contents ל MYSQL. (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
2. ההבדל בין MYSQL לקריאה מקובץ טקסט בשרת (file_get_contents או אחר). (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
3. במידה ואני כן רוצה בלאנס, איך זה עובד, כמובן שאני מעדיף בלאנס אצלי מאשר הפעלת שלוחה רנדומאלית בימות, אבל זה עשיתי תוך כדי קמפיין דבר ראשון שהמערכת תעבוד.

@magicode אמר בוויסות עומסים של שרתים:

יש עוד דבר.
וזה מגבלות מובנות בלינוקס שאפשר להגדיל אם רוצים.
מה שיכול להפריע פה. זה מגבלת חיבורים פתוחים. ומגבלת כמות תהליכים.
תריץ את זה
ulimit -a
תראה את כל המגבלות.

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7787
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 7787
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited

אומר משהו?

@clickone
אני ב PHP.
רק אם הבנתי נכון שזה קובץ סטטי, ברעיון מה זה אחרת מבאם אני שומר לקובץ פיזי במיקום בשרת, וכל פעם קורא ממנו את הנתונים?

@dovid
תן לי להבין את ההבדל בין PHP לנוד כאשר יש לך לדוגמא 20 בקשות באותה שניה ממש.

@clickone אמר בהאם שווה לבנות לבד אתר לגיוס המונים?:

@מנצפך את זה נשאיר לפורום תיכנות... בכל מקרה, אני לא חושב שיש סיבה לא לעבוד ככה בכזה מקרה.
אין טעם שכולם יגשו לDB שוב ושוב רק כדי להביא את אותם נתונים בדיוק (העידכון מהדקה האחרונה) וזה נתון שכן הייתי מצפה להביא מהקאש בשרת ולא ישר מהDB. במיוחד במקרה של עומסים.

למיטב זכרוני, המערכת של פיקוד העורף גם שומרת את נתון האזעקה הנוכחי בקאש שלה ולא שולפת מהDB לכל אחד. (למי שהתעסק בעבר מול הAPI שלהם)

מה זה קאש בצד השרת?
ואיך מעדכנים אותו?

אולי חלק מנידון זה שייך לסעיף חומרה ולא לתכנות, אבל אני צריך את עזרת המתכנתים ולא כ"כ את הטכנאים...
אני משתמש בשרת לינוקס על AWS והתקנתי עליו LAMP.
אני מתכנת מערכות טלפוניות באמצעות API עם ימות המשיח.
רוב המערכות שלי בדר"כ זה PHP וMYSQL שמותקן על השרת והגישה עליו היא
ב localhost.
ב"ה בדר"כ לא חוויתי תקלות ואני מסתפק בשרת t3.small של 2 מעבדים ו 2 ראם.
בקמפיין של עטרת שלמה היה ב"ה עומס גדול, בפרט בערב, והתחלתי לחוש שהשרת שלי נושם עמוק מידי, לקח לו הרבה זמן תגובה.
מה שעשיתי למעשה, זה שהתחלתי לחלק את השלוחות לשרת אחר שהיה לי מוכן (שלוחת אידיש עבדה יותר מהר מי ששם לב, כי זה העברתי מיד על שרת נפרד, והתנועה בו הייתה דלילה יותר) ולאחר מכן הרמתי עוד שלושה העתקים של השרת ויצרתי שלוחה רנדומאלית בימות המשיח שתפנה כל פעם לשלוחה אחרת, שכל שלוחה מחוברת לשרת אחר.

למעשה שלוחת שמיעת מצב הקמפיין לא היה מחובר לד"ב, אלא חיבור ברגע אמת לשרתי צ'רידי לשליפות מצב הקמפיין. (ע"י file_get_contents)
בעת העומסים של הקמפיין הCPU היה בסך הכל בסביבות ה20 ,כאשר רובו הוא של httpd השרת אפאצ'י.
בדר"כ עיקר הCPU הוא מה SQL.
ובשרתים החדשים שהרמתי לקמפיין ג"כ הCPU נע בסביבות 10 רובו של httpd.
יש לי כמה נקודות שברצוני להבין.
א. נראה שהבעיה לא הייתה ביכולת המעבד כי כמו שכתבתי הCPU היה נמוך.
א"כ מה כן הבעיה?
ב. אם אני רוצה לאזן עומסין בין כמה שרתים, איך עושים את זה, והשאלה מורכבת בעיקר לגבי מערכות שכן צורכות SQL ואני צריך ד"ב אחיד, איך עושים בצורה שלא יאט את המהירות (האם יש מצב להגיע לאותו מהירות כמו בlocalhost כאדר הד"ב בשרת נפרד?)
ואיך זה מבחינת העלאת הקבצים לשרתים? איך יוצרים קבוצת שרתים שכולם מתעדכנים בקבצים חדשים? ואיך יוצרים IP שמחולק בצורה אוטומטית לפי עומסים, בין השרתים?
או אולי לבודד מראש כל מערכת לשרת/ים נפרד/ים, לפי העומס הצפוי להיות במערכת זו? א"כ מה לעשות לגבי המערכות הקבועות?
או להישאר עם שלוחה רנדומאלית בימות, שהיא תווסת את העומסים.

כנראה יש עוד נקודות בנושא שעדיין לא בראש לשאול אותם.
אך בקיצור הייתי שמח לקצת הדרכה להתמודד עם עומסים ושרתים בצורה נכונה ומתוכננת מראש.

בנוסף ישנם דברים שהייתי יכול לעשות ע"י SQL, לדוגמה, המערכת הייתה שולחת את מספר הטלפון לבדיקה מול צ'רידי האם קיים מתרים על מספר זה, וא"כ היה משמיע לו תפריט לשמיעת מצב התרומות שנתרמו על ידך, אחרת זה היה משמיע, לחיפוש מתרים ע"י הקשת המספר שלו הקש שתיים, וכו'.
כעת זה היה בנוי שהכל בוצע ישירות מול צ'רידי בכל שלב במערכת.
והאמת שהעדפתי להמנע מSQL כי חשוב לי מאוד שזה לא יקרוס.
השאלה היא האם כן היה עדיף לעשות אצלי בSQL טבלה של המתרימים, והמערכת הייתה בודקת אצלי האם קיים מתרים למספר הטלפון, ולהציע תפריט לפי זה.
ואז הייתי עושה סקריפט שפעם בעשר דקות / חצי שעה זה היה שולף את נתוני המתרימים מצ'רידי ומעדכן אותם בטבלה.
במקרה זה הייתי מעמיס יותר על הSQL ופחות על שליפת נתונים חיצוניים על ידי file_get_contents.
והאמת שניתן אפילו לעשות זאת לגבי התרומות עצמם, טבלת מצב הקמפיין שמתעדכן כל דקה, והמערכת תשלוף את הנתונים רק מהטבלה ולא מצ'רידי בכל שיחה.

אשמח לחוות הדעת של המומחים כאן, איך ומה ניתן לעשות לגבי הנ"ל.
תודה

קשה לי לצטט את כולם, כל אחד בנקודה שהוא חידד, אבל אכתוב בכמה מילים את מה שיש לי לומר.
ליוויתי ב"ה כמה קמפיינים של צ'רידי, אחד של הקהילה שהייתי תורם ומתרים, ובעצם שם נוצר החיבור הראשון שלי עם צ'רידי, ועוד כמה שליוויתי קצת יותר עמוק.
אני בניתי לדושינסקי, ולבעלזא, ולעטרת שלמה - סורוצקין את המערכת הטלפונית.
(ולעוד כמה, רק ששם בניתי רק שלוחת שמיעת מצב הקמפיין ולא תרומות).
בנוסף אציין שבנדרים פלוס בדושינסקי ובבעלזא שהיה דף מיוחד שניתן היה לתרום לקמפיין באמצעות מתרים, זה עבד בצורה שלאחר התרומה בהצלחה השרת של נ"פ שלח API לשרת שלי, עם פרטי התרומה שחדשה, והשרת שלי עדכן אותם כתרומה חדשה, בשרתי צ'רידי.
ולא נראה שזה ימשיך לעבוד כך. (בסורוצקין אכן כבר לא היה הרשאה לעשות את זה).

לעצם העניין, זה ברור שעיקר ההצלחה של צ'רידי זה הפסיכולוגיה וכדומה בניהול הקמפיין, ורוב העניינים כבר הוזכרו בשרשור למעלה, איך הם גורמים למתרימים להיכנס ללחץ וכו'.
זה ובעיקר זה, הוא יסוד ההצלחה של צ'רידי.
מצד שני, חייבים שרתים חזקים, וחייבים בנוסף לבנות את זה נכון.
לדוגמא, עד הקמפיין של בעלזא, בו הייתה קריסה בשרתי צ'רידי כשלוש שעות (מחמש לשמונה בערב) פה ושם היה קורה עומסים בשרתי צ'רידי והייתי מקבל מייל מהמערכת שלי (בעת הפעלת שלוחת שמיעת מצב הקמפיין) שיש שגיאה בהתחברות לצ'רידי עם שגיאה 502 או אחר.
לאחר הקמפיין של בעלזא הם הפיקו לקחים, וראשית כל כנראה הגדילו את השרתים, אך בעיקר מה שהם עשו שהם חסמו את האפשרות של סינון תרומות בקמפיינים גדולים דוגמת סורוצקין, שלא יוכלו לחפש בהיסטוריית התרומות, זה היה נתח כבר מאוד לשרת שלהם, וכן ב API שלהם של שליפת מידע הם הגבילו את השאילתה המירבית ל100 תוצאות.

בנוסף ישנם הרבה נקודות בניהול ותכנון הקמפיין מבחינת בסיס הנתונים, דוגמת אפילו שמירת כתובת ה IP מאיפה הגיעה התרומה ועוד עשרות פרמטרים שנשמרים יחד עם התרומה.
אפשרויות הוספת תרומות אופליין - לא דרך האשראי מהאתר אונליין.

וכמובן API של שליפת נתונים ברמה גלובלית או ברמת מתרים, הן עבור האתר, והן עבור המערכת הטלפונית

והאחוזים של החברה, הלוואי וצ'רידי היו לוקחים רק 4 אחוז.

ישנם חברות נוספות דוגמת קוזמאצ' שלוקחים אכן רק בסביבות 4 אחוז, רק ששם אין לי מושג איך הולך ניהול הקמפיין והמתרימים.

אך מ"מ לא כל קמפיין חייב לקחת את צ'רידי, ע"מ לגייס מאה אלף ש"ח חבל להכניס את צ'רידי לתמונה.
על זה נותר לקוות שהחברות הקטנות יותר ו/או נדרים פלוס למשל, יספקו פלטפורמה טובה ומספקת.

@Sofer אמר במכתב מגדולי הרבנים:

@רמיזא
זה נקרא להפוך שאלות לתשובות. יש לך הוכחות לכך שמדיניות זו משקף רק חלק מהציבור החרדי?
ולעצם הענין, קווים משפחתיים מאושרים ע"י ועדת הרבנים, בתנאי שכל הודעה מאושרת ע"י מנהל הקו.
אורי בץ פתוח.
קווי נייעס נאסר ע"י הרב אלישיב ועוד.

כאחד שמפעיל הרבה קווים - שפתוחים ע"י הוועדה, יש לי מה לומר, אבל היות וזה לא יעזור, מה שאכתוב כאן, כי זה לא אולם הדיונים של בי"ד כאן, אבקש רק טובה קטנה:
אורי בץ חסום לי בהוט מובייל, אדרבה אשמח לקבל פה מספר גישה פתוח.
אני צריך תמיד טלפון אחר כדי להתקשר לשם.
תודה

@בערל אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

@חוקר אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

בדר"כ זה אמור להיות שהנגן של המכשיר דלוק על שיר שהשם של השיר הוא 1
תנסה לחיצה של שתי שניות על מקש האדום זה אמור להופיע כיתוב "נגן המדיה הופסק"
משהו כזה

@אלישי אמר בספרה מוזרה מופיע מתחת למפעיל בפלאפון נוקיה C2:

יש לציין שזה לא טיימר, שעון עצר, מוסיקה, משימה, וגם לא קשור לסים.

אכן, לא שמתי לב...

@WWW אמר בתוכנה לנעילת מסך/מחשב:

@חוקר אמר בתוכנה לנעילת מסך/מחשב:

המטרה כאן מובנת...
לעזור לשליטה העצמית לעבוד בשעות סבירות בלבד...

אם אתה על חשבון משתמש רגיל ולא תדע את סיסמת המנהל,
יש פתרון פשוט, שנקרא בקרת הורים - בטיחות משפחתית.
לגבי ווינ' 10 לא יודע אם עדיין קיים.

אני על משתמש מנהל...
בקיצור אני מעדיף דבר ראשון לדעת האם יש תוכנה שתעשה לי את זה בצורה חיצונית לא דרך הנעילה של ווינדוס.

המטרה כאן מובנת...
לעזור לשליטה העצמית לעבוד בשעות סבירות בלבד...

@WWW אמר בתוכנה לנעילת מסך/מחשב:

@חוקר נראה לי שאפשר ע"י פקודה פשוטה במנהל המשימות.

לא פירטתי מספיק.
לא מספיק לי נעילת המחשב של הנעילה של ווינדוס, כי זה אמור לשמש לנעול אפילו למי שיש את הסיסמא של ווינדוס.
צריך משהו שיהיה ניתן לניהול ע"י סיסמא אחרת.

האם יש תוכנה לנעילת המחשב לפי תזמון משעה עד שעה, מספיק (עדיף) נעילת המסך בלבד.
שינעל את המחשב אפילו עם זה באמצע עבודה/כתיבה/תוכנות פעולות ברקע.
תודה

בדר"כ זה אמור להיות שהנגן של המכשיר דלוק על שיר שהשם של השיר הוא 1
תנסה לחיצה של שתי שניות על מקש האדום זה אמור להופיע כיתוב "נגן המדיה הופסק"
משהו כזה

איפה אמור להיות מותקן אצלי הקובץ
אני כמעט בטוח שזה מותקן כי הייתי צריך את זה להתקנת תוספים לPHP
תודה.

@clickone אמר בוואצפ:

@חוקר
פיתרון של וואטסאפ למייל וחזרה (כמו שיש לי כזה שירות כיום לסמסים)
רק שאני עסוק, ולא ידע מתי זה יהיה בדיוק...
(לכאורה שמעתי שיש עוד מישהו שעושה פיתרון. לא יודע כמה הוא דומה [ובאמת צריך לנושא הזה פיתרון אמיתי])

נשמע מאוד מעניין, ועוד יותר מעניין האם זה יעזור גם לקבוצות

@by6199 אמר בוואצפ:

@חוקר אם יהיה ביקוש גדול @clickone יישם את הפתרון שלו

אפשר לדעת מה הפתרון?

@by6199
היה לי מכשיר נוקיה מיושן שעדיין היה עליו וואטסאפ, אך וואטסאפ הודיעו הודעה רשמית לקראת סוף 06/2017 שוואטסאפ ייתמך במכשיר זה עד סוף 2018.
עד היום זה עבד, היום זה הקפיץ הודעת שגיאה שהאימות נכשל, ואז זה דורש להתחיל את החשבון מחדש, ובשלב האימות זה אומר שיש להוריד גרסה חדשה, ואין גרסה חדשה וכך זה משאיר את זה תקוע...
בקיצור הפסיק לעבוד.
יש פתרונות אחרים לפני סמארטפון ובלוסטאק?