דחוף! בעיה בחיבורים ב NodeJS

[מנצפך]

יש לי מערכת ב nodeJS על אובונטו, שמחוברים אליה כמה מאות מחשבים. וובית.
לאחרונה אני רואה מצב שחלק מהבקשות מחזירות קוד שגיאה 500.
כזה:
500 Internal Server Error
nginx/1.10.3 (Ubuntu)

הבקשות שנופלות יכולות להיות מכל הסוגים. כולל AJAX, מסמך שלם, JS וכו'.
כל פעם זה יכול להיות משהו אחר.

כמובן שבשרת עצמו אין דיווח על שגיאה, וגם לא אמור להיות שגיאה בגישה לקבצים סטטיים.
כמו כן ה NGINX מחזיר את השגיאה. מה שאומר שזה מגיע עד אליו ונופל אצלו.

מה שאני חושב שיש בעיה עם הכמות של הבקשות בו זמנית.
אגב, השרת רץ ע"י PM2.

מה יכולה להיות הבעיה?

אשמח לתשובות מהירות!

תודה רבה.

[dovid]

תבדוק את לוג השגיאות של הnginx.
תבדוק אם ואיפה מוגדר קובץ הלוג של האנגינאיקס, ואז תריץ פקודה

tail -f /var/log/nginx/error.log

אם שם הקובץ הנכון כדי לראות שגיאות אחרונות.
בהודעת השגיאה תדע מה הבעיה.

[מנצפך]

@dovid אמר בדחוף! בעיה בחיבורים ב NodeJS:

tail -f /var/log/nginx/error.log

צודק!

הנה חלק מהקובץ:

Too many open files) while connecting to upstream,

[מנצפך]

כתבתי "ulimit"
והתוצאה היא unlimited?
מה עוד אפשר לעשות?

[מנצפך]

יותר מפורט:
התוצאה של
ulimit -Hn
היא
1048576

ושל ulimit -Sn
1024

[מנצפך]

יש פתרון!

להוסיף בקובץ ההגדרות של nginx את השורה:
worker_rlimit_nofile 30000;

https://serverfault.com/a/516813

מסקנות מהמקרה הזה:
לבדוק את כל שרשרת הנתונים.
כמעט שכחתי מה- nginx. "במקרה" לקוח שלח לי צילום מסך של שגיאת 500 עם פירוט שזה nginx (מובא בתחילת האשכול).

בנוסף, כמה זה חשוב ההיכרות עם הכלים של לינוקס, בזכות זה (ע"י @dovid ) מצאתי את השגיאה.