וויסות עומסים של שרתים

[magicode]

יש עוד דבר.
וזה מגבלות מובנות בלינוקס שאפשר להגדיל אם רוצים.
מה שיכול להפריע פה. זה מגבלת חיבורים פתוחים. ומגבלת כמות תהליכים.
תריץ את זה
ulimit -a
תראה את כל המגבלות.

[חוקר]

@magicode אמר בוויסות עומסים של שרתים:

יש עוד דבר.
וזה מגבלות מובנות בלינוקס שאפשר להגדיל אם רוצים.
מה שיכול להפריע פה. זה מגבלת חיבורים פתוחים. ומגבלת כמות תהליכים.
תריץ את זה
ulimit -a
תראה את כל המגבלות.

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7787
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 7787
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited

אומר משהו?

[חוקר]

@dovid @clickone
אסכם את השאלות:
איך שאני עובד היום, שאני עדיין עובד עם ימות המשיח (אין כ"כ זמן לחשוב על אסטריסק לבד), ועדיים עם PHP.

1. מה ההבדל בבזבוב משאבים בין file_get_contents ל MYSQL. (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
2. ההבדל בין MYSQL לקריאה מקובץ טקסט בשרת (file_get_contents או אחר). (ועדכון הנתונים מתוך צ'רידי כל דקה ע"י סקריפט נפרד)
3. במידה ואני כן רוצה בלאנס, איך זה עובד, כמובן שאני מעדיף בלאנס אצלי מאשר הפעלת שלוחה רנדומאלית בימות, אבל זה עשיתי תוך כדי קמפיין דבר ראשון שהמערכת תעבוד.

[dovid]

קריאת קובץ זה פעולה מול המערכת קבצים באופן ישיר עם בעיות של נעילות ועם חוסר יעילות של קריאה סדרתית.
בגישה למסד התוכנה של mysql ממטבת את הגישה לדיסק בהרבה פרמטרים.

[חוקר]

@dovid אמר בוויסות עומסים של שרתים:

קריאת קובץ זה פעולה מול המערכת קבצים באופן ישיר עם בעיות של נעילות ועם חוסר יעילות של קריאה סדרתית.
בגישה למסד התוכנה של mysql ממטבת את הגישה לדיסק בהרבה פרמטרים.

אבל אם אני בונה בצורה נכונה עם ההרשאות וכו', ואני שם בקובץ רק את הנתון הנדרש ללא מיונים וכו' שצריך אח"כ בתוך הקובץ, זה לא יותר קליל לשרת מאשר הרצת תוכנת הSQL שצרך לגשת לטבלה מסויימת, לפי סינון או בלי?

[magicode]

אני הבנתי שאתה עושה עם הפונקציה קריאה לשרתים מרוחקים. נכון?

<?php
$homepage = file_get_contents('http://www.example.com/');

[חוקר]

@magicode
בזה של צ'רידי, אכן. כל פעם קריאה ישירות מהAPI של צ'רידי

השאלה היא אם לשנות כיון, ולשמור בשרת שלי, א"כ האם הSQL או ע"ג קובץ

[nigun]

@חוקר
ראיתי כאן דיון בנושא לא כל כך התעמקתי אבל בפשטות קובץ שעל השרת שלך הוא כמובן יותר מהיר
אבל עם פחות אפשרויות
דרך אגב מתי אתה מתחיל לחשוב על שינוי/שדרוג
כשהCPU מגיע למקסימום או הרבה לפני זה?
וגם איפה אני יכול לראות כמה מהזיכרון של הPHP בשימוש (לא המגבלה)?
עריכה: אולי הסקריפט הזה יעזור לך לדעת מה יותר מהיר

[dovid]

@nigun אמר בוויסות עומסים של שרתים:

@חוקר
ראיתי כאן דיון בנושא לא כל כך התעמקתי אבל בפשטות קובץ שעל השרת שלך הוא כמובן יותר מהיר

וmysql לא על השרת שלך? במקרה שלו נראה לי ששניהם באותו שרת.

[nigun]

@dovid
אם הוא כבר בונה סקריפט שכל דקה מעדכן
שיצור קובץ טקסט פשוט זה אמור להיות פשוט מחיבור למסד + בדיקת שם משתמש +בחירת טבלה
עיין עוד כאן
לפי מה שאני הבנתי שהם אומרים שם זה יותר מהיר אפילו כשהמסד על אותו שרת אבל רק בקבצים בודדים ולא כשמדובר למשל על שם משתמש וסיסמה של 1000 משתמשים

[nigun]

טוב אחרי קצת יותר חיפושים ברשת ראיתי שהסיפור לא כל כך פשוט
כאן יש אחד שטוען שהוא עשה בדיקות ולפעמים דווקא המסד יותר מהר
וזה נראה שככה חושבים כאן
אז מה למעשה?
צריך לבדוק לבד כמה זמן לוקח הסקריפט הספציפי
אוליהכלי הזה יעזור?

[dovid]

@nigun מסד יותר טוב בראיה כוללת, והביצועים אמורים להיות גם טובים לא פחות אם כי זה תלוי בכמה פרמטרים (למשל שPHP יוצר קונקשיין חדש לכל חיבור זה מיותר טפשי וחבל... אבל יש לזה פתרון גם בPHP).

[nigun]

@dovid
מה הפתרון?
חוץ מלעבור לnodejs כמובן

[dovid]

@nigun למה חוץ? יש את asp mvc core שיותר דומה לphp והמעבר פחות דרמטי.

[nigun]

@dovid
אני מעדיף להישאר עם לינוקס
כי לפי מה שהבנתי כל הנ"ל עובדים מיקרוסופט
בכל מקרה כשאני ישתפר קצת יותר בPHP
כנראה אנסה ללמוד nodejs
בעיקר בזכות ההמלצות של magicode

[WWW]

@nigun אמר בוויסות עומסים של שרתים:

כי לפי מה שהבנתי כל הנ"ל עובדים מיקרוסופט

?

[חוקר]

@nigun @dovid
הCPU היה רק 20 אחוז, ואם כל זה זמן התגובה היה מאוד לאט, עקב עומס בקשות בו זמנית.
ייתכן מאוד שזה בסך הכל היה בגלל מגבלות השרת כמו ש @magicode כתב (ראית את הפלט שהדבקתי לעיל?)
הmysql הוא על אותו שרת.
אך בשלב הקודם לא השתמשתי ב SQL כלל בשלוחה זו, אלא בשליפת הנתונים מצרידי אונליין, וכעת אני חושב לשנות את זה ולשלוף את הנתונים מהשרת שלי, מתוך SQL או טקסט, ולעדכן את הנתונים במקביל ע"י סקריפט אחד, במקום שלכל משתמש תיהיה בדיקה אונליין מול צ'רידי
ואכן ייתכן שלא כ"כ קצת נתונים עדיף קובץ פשוט מאשר SQL

[dovid]

@nigun מה שהזכרתי עובד מעולה בלינוקס.

[nigun]

@dovid
פשוט זה מה שכתוב פה לגבי asp

[dovid]

@nigun מדובר על asp.net ולא על asp.net core.
זה מ2013, לא היה קיים אז.
אני מפתח עם זה ואין לי שרת שאיננו לינוקס.