קריסה ב OVH
-
@yossiz סוף סוף הם מעדכנים מה הולך שמה:
Fire at Our Strasbourg Site
At 00:47 on Wednesday, March 10, 2021, a fire broke out in a room in one of our 4 datacenters in Strasbourg, SBG2. Please note that the site is not classified as a Seveso site.
Firefighters immediately intervened to protect our teams and prevent the spread of the fire. At 2:54 am they isolated the site and closed off its perimeter.
By 4:09 am, the fire had destroyed SBG2 and continued to present risks to the nearby datacenters until the fire brigade brought the fire under control.
From 5:30 am, the site has been unavailable to our teams for obvious security reasons, under the direction of the prefecture. The fire is now contained.We are relieved that no one was injured, neither among our teams nor among the firefighters and the services of the prefecture, whom we thank for their exemplary mobilization at our side.
With our 15 datacenters in Europe, our technical and commercial teams are fully invested to support our customers, implement solutions and mitigate the impact of the unavailability of our Strasbourg site. Our mission is to provide our customers with the highest quality of services to support their online activities and we know how important this is to them. We sincerely apologize for the difficulties and challenges caused by this fire. We are committed to continue to communicate with the greatest transparency about the cause of the fire and its consequences.
We are currently assessing the impact of this incident and will communicate as transparently as possible on the progress of our analyses and the implementation of solutions.Status of Strasbourg Datacenter
SBG1 : Network Room is OK - 4 room destroyed - 8 Rooms OK
SBG2 : Destroyed
SBG3 : UPS Down - Check server still in progress
SBG4 : No physical impactNo restart today for SBG1,SBG3 and SBG4
Plan for the next 2 weeks:
1)Rebuilding 20KV for SBG3
2)Rebuilding 240V in SBG1/SBG4
3)Verifying DWDM/routers/switchs in the network room A (SBG1).
Checking the fibers Paris/Frankfurt
4)Rebuilding the network room B (SBG5) cheking fiber Paris/FrankfurtWe will keep you updated as the situation evolves.
-
@yossiz אמר בקריסה ב OVH:
@www אין הרבה מידע
יש לך/היה לך VPS שם?יש לי.
לא יודע באיזה בניין.
עדיין לא עובד
גם האתר שלהם מזגזג.
וכמובן כל מה שקשור לVPS או ל IP אין גישה אליו.מקווה שיש להם גיבוי של החומר.
https://check-host.net/ גם לא עובד, מעניין אם זה יושב על OVH.
-
@www אמר בקריסה ב OVH:
https://check-host.net/ גם לא עובד, מעניין אם זה יושב על OVH.
כן...
https://securitytrails.com/list/apex_domain/check-host.net
(למרות שהוא יושב מאחורי cloudflare, אפשר לראות שרשומות ה-MX מצביעים על OVH) -
@yossiz עכשיו העלו עדכון:
OVH's technical teams are preparing and shipping the equipment needed to set up a temporary network room. This equipment will be sent to the Strasbourg datacenter during the night.
The site's fiber have been checked and were not affected by the fire.
The restoration of the site's power supply of SBG1 and SBG4 is estimated for Monday, March 15. A recovery for SBG3 is estimated for Friday, March 19לא הבנתי מה זה אומר?
שיצטרכו לחכות עד יום שלישי או שישי, או שיש משהו זמני בינתיים מהלילה?כמו"כ נראה שמSBG2 הם התייאשו לגמרי?
-
-
-
-
-
-
-
@www אמר בקריסה ב OVH:
ב"ה אני רואה שאני ב SBG3.
הם העלו עדכון שSBG3 וSBG4, הכל בסדר ב"ה, רק אין רשת, למה? לא ברור.
חבל שלא נותנים לי דרך לחלץ את הנתונים משם לפחותSummary: • At 00:47 on Wednesday 10 March 2021, a fire broke out in a room at one of our four OVHcloud datacentres in Strasbourg (SBG2). • The fire was contained by the early hours of the morning. • There are no injuries. • The fire mostly destroyed the SBG2 datacentre and partially damaged the SBG1 datacentre (4 of the 12 rooms destroyed). The two other OVHcloud datacentres in Strasbourg were not affected by the fire; the SBG3 and SBG4 servers are currently switched off but undamaged. • The site is not classified as a Seveso site. • The cause of the fire has yet to be established and an investigation has been launched as mandated by the authorities. Actions taken by OVHcloud: • The technical and commercial teams have been working since this morning to inform our customers and handle the unavailability of our Strasbourg site. • The company’s founder, Octave Klaba, has been on site since this morning with the industrial and technical teams. To follow updates to this situation in real time: Twitter: https://twitter.com/ovhcloud • A customer announcement, along with an FAQ, will be available tomorrow morning. • To help us handle customer requests, we recommend using the ticket feature on our website or consulting our help centre. Our three priorities are as follows: 1. Reserve infrastructures at our other datacentres for our affected customers: we have a stock of new servers at the Roubaix and Gravelines sites, ready to be delivered to the majority of affected customers. We will further enhance availability in these datacentres, with the production of nearly 10,000 new servers in the coming weeks. Affected customers will be notified about this process as soon as possible. 2. Secure the site now that we have regained access, clean it up, and reconnect the electricity and the network for the three affected datacentres. 3. Continue to assess the impact on our customers’ servers at the affected datacentres, in order to find the best solutions. We are doing everything we can to ensure a continuity of service to our customers: • We are working on a plan to relaunch the three unaffected datacentres (SBG3 and SBG4), the partially affected datacentre (SBG1), as well as our network, as quickly as possible. • We ask that our customers exercise caution around the emails they receive: in times of crisis, it is common for malicious activity (phishing, spam, etc.) to increase. It is more important than ever to stay alert. Impact on our operation: • We are continuing to assess the impact of this incident, particularly for the customers whose data was located in the datacentre destroyed by the fire. • Our Web-based VOIP services in France were not affected. • All of our services in our other France-based datacentres and across the world (including 15 datacentres in Europe) are fully operational. Our mission is to provide our customers with the highest quality of services to support their online activities and we know how important this is to them. We sincerely apologise for the issues caused by this fire. We will continue to communicate with the greatest transparency about the cause of the fire and its consequences. We are assessing the environmental impact by working with the relevant authorities on a procedure to confirm that no pollution was caused. At this stage, we can confirm that the local residents are not at any risk. We are continuously assessing the impact of this incident and will communicate as transparently as possible on the progress of our analyses and the solutions to be implemented. All of our communication channels, including our incident tracking platform, can be accessed so that you can stay informed of developments in real time.Comment by OVH - Thursday, 11 March 2021, 11:52AM The first cleaning and securing works of the datacenter have started this morning. Our teams are building a document summarizing the impacted services for each building. This document aims to give you visibility on the recovery status of your services and data in the coming days. A FAQ will be available soon to determine the location of your products and answer your questions. -
-
-
@nigun אמר בקריסה ב OVH:
@musicode
היה דיון באקסקלוסיבי
המסקנה להשתמש במערכות בסגנון קוברנטיס והמשתעף
כדי לא להיות תלוי בשרת בודדאבל לא עוזר לאיבוד נתונים.
באמת שריפה שפורצת בחוות שרתים, ועוד בחו"ל, זה לא משהוא שקורה ביום יום, אבל עדיין, דברים כאלה יכולים להיגמר בחומר שהולך ואין מה לעשות.
אני לא יודע אם כל הלקוחות של החווה שנשרפה קיבלו את החומר שלהם חזרה, ואם באמת לחברה לא היה לזה גיבוי אז ביטוח לא ממש יכול לעזור.מה גם, מעניין אותי איך שרפה בחוות שרתים מגיעה לכזו רמה שבניין שלם עולה בלהבות... מה יכול היה לקרות? שרת התחיל להידלק? צריך להיות מערכות אוטומטיות לכיבוי דברים כאלה או לפחות מישהוא פיזי במקום שידע את זה במיידיי ויטפל בדבר כזה נקודתית.
-
@שמואל4 אמר בקריסה ב OVH:
@nigun אמר בקריסה ב OVH:
@musicode
היה דיון באקסקלוסיבי
המסקנה להשתמש במערכות בסגנון קוברנטיס והמשתעף
כדי לא להיות תלוי בשרת בודדאבל לא עוזר לאיבוד נתונים.
עוזר
כשאתה שומר כל נתון במערכת במספר מקומות.
זה כמובן דורש ארכיטקטורה שונה
אבל אפשרי.מה גם, מעניין אותי איך שרפה בחוות שרתים מגיעה לכזו רמה שבניין שלם עולה בלהבות... מה יכול היה לקרות? שרת התחיל להידלק? צריך להיות מערכות אוטומטיות לכיבוי דברים כאלה או לפחות מישהוא פיזי במקום שידע את זה במיידיי ויטפל בדבר כזה נקודתית.
"אמור" להיות מערכת כיבוי אש
אני מנחש שהם זלזלו בזה
כנראה מטעמי חיסכון (אתה לא יכול לשלם פרוטות ולקבל שירות של אינטרפייז) -
