การกู้คืน Outlook ของ Microsoft ล้มเหลวภายใต้การรับส่งข้อมูล

การหยุดชะงักของอีเมลของ Microsoft เมื่อวันที่ 12-13 พฤศจิกายน ทำให้เกิดวงจรการกู้คืน: เซิร์ฟเวอร์ที่กลับมาใช้งานได้อาจไม่ตอบสนองอีกครั้งภายใต้การรับส่งข้อมูล เมื่อถึงเวลา 11:04:50 UTC ของวันที่ 13 พฤศจิกายน การกู้คืนได้คืบหน้าไปในบางส่วนของเอเชียแปซิฟิก ในขณะที่ปัญหาและงานที่หยุดชะงักในที่อื่นยังคงมีอยู่ การติดตามผลนี้อธิบายถึงการพึ่งพาและการป้องกันอีเมลล่าช้า

อ่านฉบับลายลักษณ์อักษร (ภาษาอังกฤษ) ↗

วิดีโอนี้ครอบคลุมอะไรบ้าง

ตรวจสอบการพึ่งพาแบ็กเอนด์ของการทำงานแต่ละอย่าง: ฟังก์ชันหลักส่วนใหญ่ของ Teams และการเข้าถึงไฟล์ SharePoint โดยตรงยังคงใช้งานได้ ในขณะที่คุณลักษณะที่ขึ้นอยู่กับ Exchange ได้รับผลกระทบ
Microsoft รายงานว่าเซิร์ฟเวอร์ที่กลับมาใช้งานได้อาจไม่ตอบสนองอีกครั้งเมื่อมีการรับส่งข้อมูลมาถึง คำอธิบายส่วนประกอบการประมวลผลสุขภาพยังคงเป็นสมมติฐาน
การหมดเวลาของอีเมลที่ขยายไปสี่สิบแปดชั่วโมงมีจุดประสงค์เพื่อรักษาอีเมลที่ล่าช้าในระหว่างการประมวลผลคิวและรายการค้าง ไม่ใช่กำหนดเวลาการซ่อมแซมหรือการรับประกันการจัดส่งทั่วไป
แนวทางการควบคุม Graph ทั่วไปแนะนำให้ปฏิบัติตาม Retry-After และ exponential backoff เมื่อไม่มีส่วนหัวนั้น ไม่ได้วินิจฉัยหรือแก้ไขเหตุการณ์นี้

คำถามและคำตอบ

ทำไมเซิร์ฟเวอร์อีเมลที่กลับมาใช้งานได้ของ Microsoft จึงล้มเหลวอีกครั้งภายใต้การรับส่งข้อมูล?

Microsoft รายงานว่าเซิร์ฟเวอร์ที่กลับมาใช้งานได้อาจไม่ตอบสนองอีกครั้งเมื่อได้รับทราฟฟิก การสอบสวนอธิบายถึงกระบวนการที่ถูกครอบงำและปัญหาที่อาจเกิดขึ้นในส่วนประกอบที่ประมวลผลสุขภาพของเซิร์ฟเวอร์ แต่สาเหตุเริ่มต้นยังคงรอรายงานเหตุการณ์ฉบับสุดท้าย เหตุการณ์นี้แสดงให้เห็นถึงลำดับการกลับมาทำงาน งาน และการกำเริบซ้ำที่รายงานตามแนวคิด ไม่ได้อ้างว่ามีสถาปัตยกรรมภายในที่พิสูจน์แล้วหรือสาเหตุหลักสุดท้าย

ดูส่วนนี้ 0:00 · Microsoft 365 Status · Microsoft 365 Status · Microsoft 365 Status

ทำไมการโทร Teams จึงทำงานได้ในขณะที่คุณลักษณะปฏิทินล้มเหลว?

การโทร Teams การประชุม และการแชทหลักส่วนใหญ่ยังคงใช้งานได้ตามประกาศสถานะบริการที่ขยายออกของ Microsoft สถานการณ์ปฏิทินและการกำหนดเวลาขึ้นอยู่กับ Exchange Online และอาจล้มเหลวในระหว่างการหยุดชะงัก การเข้าถึงไฟล์ SharePoint โดยตรงก็ยังคงใช้งานได้ ข้อแตกต่างที่สำคัญในระดับแอปพลิเคชันคือการพึ่งพาที่อยู่เบื้องหลังการดำเนินการ แทนที่จะถือว่าทุกคุณลักษณะภายใต้โลโก้ผลิตภัณฑ์มีสถานะความล้มเหลวเดียวกัน

ดูส่วนนี้ 0:19 · Microsoft

การหมดเวลาของอีเมลสี่สิบแปดชั่วโมงเป็นการกำหนดเส้นตายในการซ่อมแซมหรือไม่?

Microsoft ขยายหน้าต่างหมดเวลาของอีเมลเพื่อรักษาข้อความที่ล่าช้าในขณะที่ให้ความสำคัญกับการประมวลผลคิวและรายการค้าง นั่นทำให้อีเมลที่ล่าช้ามีเวลามากขึ้นในระหว่างการกู้คืน ประกาศสาธารณะไม่ได้ระบุเส้นตายการซ่อมแซมสี่สิบแปดชั่วโมงและไม่มีการรับประกันว่าทุกข้อความจะถึงผู้รับ ดังนั้นการแจ้งเตือนที่รอดำเนินการหรือจัดคิวไว้จึงต้องมีการจัดส่งหรือการตรวจสอบผลลัพธ์จริงก่อนที่เวิร์กโฟลว์ที่ต้องคำนึงถึงเวลาจะสามารถพึ่งพาได้

ดูส่วนนี้ 4:05 · Microsoft · Microsoft 365 Status

การหยุดชะงักของ Exchange มีผลต่อแอปพลิเคชัน Microsoft Graph อย่างไร?

คำขอสำหรับอีเมล ปฏิทิน และผู้ติดต่อของ Exchange Online อาจหมดเวลาได้ตามที่ Microsoft ระบุ แอปพลิเคชันอาจพบผลลัพธ์ที่แตกต่างกันในการดำเนินการที่มีการพึ่งพาที่แตกต่างกัน เหตุการณ์นี้แนะนำให้ตรวจสอบการพึ่งพาบริการจริงของการดำเนินการ เอกสารประกอบการควบคุมปริมาณปกติของ Microsoft ที่แยกต่างหากกล่าวถึงการปฏิบัติตาม Retry-After และ exponential backoff เมื่อไม่มีส่วนหัวนั้น นโยบายเหล่านั้นไม่ได้กำหนดสาเหตุของเหตุการณ์นี้หรือสัญญาว่าจะกู้คืนบริการ

ดูส่วนนี้ 3:17 · Microsoft · Microsoft Learn

คำตัดสินของ The Daily Diff เกี่ยวกับการกู้คืนของ Microsoft คืออะไร?

คำตัดสินของ The Daily Diff คือ NEEDS REVIEW Niko ได้ตรวจสอบการกู้คืนอย่างต่อเนื่องเนื่องจากการอัปเดตของ Microsoft อธิบายถึงเซิร์ฟเวอร์ที่กลับมาใช้งานได้ล้มเหลวภายใต้การรับส่งข้อมูล การบริการที่ยั่งยืนพร้อมกับงานจริงที่เข้ามาคือการทดสอบการกู้คืนที่มีประโยชน์ สาเหตุเริ่มต้นยังคงเปิดอยู่เมื่อถึงเวลาสิ้นสุดการรายงานของเหตุการณ์ โดย Microsoft สัญญาว่าจะรายงานเหตุการณ์ฉบับเต็มและการดำเนินการเชิงป้องกันหลังจากการบรรเทาผลกระทบ

ดูส่วนนี้ 4:48 · Microsoft · Microsoft 365 Status · Microsoft 365 Status

บทถอดเสียงที่แปลแล้ว

แปลจากการบรรยายภาษาอังกฤษต้นฉบับ เสียงและคำบรรยายที่มีให้จะควบคุมโดย YouTube

ทำไมเซิร์ฟเวอร์ที่กลับมาใช้งานได้จึงล้มเหลวอีกครั้ง?

0:00 Microsoft ได้นำเซิร์ฟเวอร์อีเมลกลับมาให้บริการ เซิร์ฟเวอร์เหล่านั้นอาจหยุดตอบสนองอีกครั้งเมื่อมีการรับส่งข้อมูลกลับมา นี่คือการติดตามผลสำหรับนักพัฒนา ในวิดีโอนี้ ทำไมการกู้คืนจึงล้มเหลวอย่างต่อเนื่อง? และส่วนใดของแอปของคุณที่ยังคงทำงานอยู่? Microsoft ยังให้อีเมลที่ล่าช้าใช้เวลาสี่สิบแปดชั่วโมง นั่นช่วยอะไรได้บ้าง? วันนี้วันศุกร์ที่สิบสามพฤศจิกายน และนี่คือ The Daily Diff

0:18 Exchange Online เป็นบริการอีเมลที่โฮสต์โดย Microsoft และ Microsoft 365 อื่นๆ

คุณลักษณะใดบ้างที่ขึ้นอยู่กับ Exchange?

0:22 คุณลักษณะบางอย่างขึ้นอยู่กับบริการนี้ นี่คือข้อแตกต่างที่เป็นประโยชน์จากหน้าสถานะของ Microsoft การโทร Teams และการแชทกลุ่มส่วนใหญ่ยังคงใช้งานได้ คุณลักษณะปฏิทินและคำขอข้อมูลกล่องจดหมายอาจล้มเหลวได้ ตรวจสอบการพึ่งพาที่แอปพลิเคชันของคุณใช้งานจริง นั่นหมายความว่าการประชุมยังคงดำเนินไปได้ในขณะที่ปฏิทินปฏิเสธที่จะทำงานร่วมกัน การเข้าถึงไฟล์โดยตรงใน SharePoint ก็ยังคงใช้งานได้ ในขณะที่คุณลักษณะการแชร์บางอย่างได้รับผลกระทบ

0:42 โลโก้บนหน้าต่างบอกคุณเพียงเล็กน้อยเกี่ยวกับแบ็กเอนด์ที่การคลิกครั้งต่อไปของคุณ ต้องการ การหยุดชะงักเริ่มต้นในวันพฤหัสบดี โดย Microsoft กำลังตรวจสอบ การเข้าถึงกล่องจดหมายในอเมริกา จากนั้นก็ยืนยันว่าผู้ใช้ในภูมิภาคใดก็ได้อาจได้รับผลกระทบ CNN รายงานปัญหาทั่วทั้งธนาคาร รัฐบาล และศาล อีเมลที่หายไปเป็นเรื่องไม่สะดวกจนกว่าจะมีงานจริงของใครบางคนขึ้นอยู่กับการ มาถึงของมัน คำอธิบายเบื้องต้นของ Microsoft คือการสูญเสียเซิร์ฟเวอร์ที่มีอยู่

ความจุที่หายไปทำให้บริการโอเวอร์โหลดได้อย่างไร?

1:06 งานที่เครื่องเหล่านั้นควรจะจัดการได้ทำให้โครงสร้างพื้นฐานที่เหลืออยู่ ตึงเครียด คุณสามารถโอเวอร์โหลดบริการด้วยความต้องการปกติเมื่อ ความจุของมันหายไป คิวยาวขึ้นแม้ว่าจะไม่มีใคร ค้นพบความหลงใหลในการส่งอีเมลขึ้นมาอย่างกะทันหันก็ตาม จากนั้นบริษัทได้ตรวจสอบการตรวจสอบสุขภาพอัตโนมัติ การตรวจสอบเหล่านี้ช่วยตัดสินใจว่าเซิร์ฟเวอร์สามารถรับงานได้หรือไม่ Microsoft กล่าวว่าส่วนประกอบที่ประมวลผลสุขภาพของเซิร์ฟเวอร์อาจเกี่ยวข้อง นั่นเป็นสมมติฐานจากการสอบสวนที่ยังคงดำเนินอยู่

1:29 เรายังไม่มีรายงานเหตุการณ์สุดท้ายที่อธิบายอย่างแน่ชัดว่าทำไมเซิร์ฟเวอร์เหล่านั้นจึง ไม่สามารถใช้งานได้ในตอนแรก การอัปเดตอ่านเหมือนกะที่ต้องเตรียมพร้อมซึ่ง

Microsoft ลองอะไรก่อน?

1:37 สนใจอาหารเช้าน้อยลงเรื่อยๆ หยุดการปรับใช้ ย้ายการรับส่งข้อมูล รีสตาร์ทเซิร์ฟเวอร์ Microsoft ได้ตรวจสอบการตรวจสอบสุขภาพทางเลือกที่นำ ชุดย่อยกลับมา และเตรียมระบบอัตโนมัติเพื่อตรวจจับและรีสตาร์ทเครื่องที่ไม่ตอบสนอง การอัปเดตแต่ละครั้งอธิบายถึงความพยายามในการกู้คืนความจุ จากนั้นก็มาถึงบรรทัดที่อธิบายวงจรการกู้คืน Microsoft กล่าวว่าเซิร์ฟเวอร์ที่กลับมาให้บริการอาจไม่ตอบสนองอีกครั้ง เมื่อได้รับทราฟฟิก

1:59 เครื่องอาจกลับมา รับงานจริง และหยุดตอบสนอง การสังเกตการณ์นั้นเป็นหลักฐานที่แข็งแกร่งกว่าทฤษฎีที่มั่นใจของใครๆ ใน คำตอบ จินตนาการถึงเซิร์ฟเวอร์เดียวกันผ่านสถานะเหล่านั้น ไม่พร้อมใช้งาน กลับมาให้บริการแล้ว กำลังรับทราฟฟิก ไม่ตอบสนองอีกครั้ง นี่แสดงให้เห็นถึงบัญชีของ Microsoft อะไรที่กระตุ้นการเปลี่ยนผ่านครั้งสุดท้ายนั้นยังคงไม่มีคำตอบ การรีสตาร์ทสามารถทำให้เกิดการ

2:18 ปรับปรุงชั่วคราวในขณะที่เงื่อนไขที่ทำให้ เซิร์ฟเวอร์ล้มเหลวยังไม่ได้รับการแก้ไข คำแนะนำให้ปิดแล้วเปิดใหม่เริ่มคิดค่าล่วงเวลา วิศวกรต้องตรวจสอบสิ่งที่เกิดขึ้นหลังจากงานกลับมา ลูกค้าต้องการให้บริการยังคงทำงานต่อไปในคำขอถัดไป และคำขอถัดไป Microsoft จำกัดการรับส่งข้อมูลบางอย่างที่เข้าถึงโครงสร้างพื้นฐานที่ได้รับผลกระทบในบาง ตำแหน่ง นอกจากนี้ยังสร้างเซิร์ฟเวอร์ชุดย่อยขึ้นใหม่โดยใช้การกำหนดค่าก่อนหน้าเพื่อ

2:39 ทดสอบว่าเซิร์ฟเวอร์เหล่านั้นจะยังคงตอบสนองหรือไม่ สิ่งเหล่านั้นถูกรายงานว่าเป็นมาตรการบรรเทาผลกระทบ การหยุดการปรับใช้ระหว่างการกู้คืนไม่ได้ให้หลักฐานใดๆ ว่าการปรับใช้ในวันศุกร์ เป็นสาเหตุของการหยุดทำงานครั้งแรก

มีอะไรที่เป็นที่รู้กันเมื่อถึงเวลาสิ้นสุดการรายงาน?

2:48 ตามการอัปเดตของ Microsoft ในวันศุกร์เวลาสิบเอ็ดสี่นาฬิกา UTC การดำเนินการกู้คืนได้เสร็จสิ้นทั่วทั้งบางส่วนของเอเชียแปซิฟิก การรับส่งข้อมูลค่อยๆ กลับมา พร้อมกับการปรับปรุงในการเข้าถึงกล่องจดหมายและการประมวลผล อีเมลที่ล่าช้า ผู้ใช้บางรายอาจยังคงประสบปัญหาเป็นระยะ และการกู้คืนในที่อื่นยังคงดำเนินต่อไป นั่นคือช่วงเวลาสิ้นสุดการรายงานของเรา Microsoft กล่าวว่าไม่มีหลักฐานการกระทำที่เป็นอันตราย และสัญญาว่าจะรายงานเหตุการณ์ฉบับเต็มหลังจากการบรรเทาผลกระทบ

3:10 ฉันจะรอรายงานนั้นก่อนที่จะระบุตัวร้าย การสืบสวนทางอินเทอร์เน็ตสามารถให้ผู้กระทำผิดได้ก่อนที่คุณจะเสร็จสิ้นการ รีเฟรชหน้าเว็บเสียอีก สำหรับนักพัฒนา Microsoft Graph ทำให้การพึ่งพาง่ายต่อการพลาดเป็นพิเศษ

ทำไมคำขอ Graph หนึ่งรายการจึงล้มเหลวได้?

3:20 คำขอสำหรับอีเมล ปฏิทิน และผู้ติดต่อของ Exchange อาจหมดเวลา แอปพลิเคชันของคุณสามารถเรียกใช้ Graph ได้สำเร็จสำหรับการดำเนินการหนึ่งและล้มเหลวในการ ดำเนินการอื่น คำขอที่ไม่เกี่ยวข้องที่สำเร็จบอกคุณเพียงเล็กน้อยว่า การดำเนินการกล่องจดหมายที่ผู้ใช้ของคุณต้องการจะเสร็จสมบูรณ์หรือไม่ หน้าสถานะยังต้องการทางออกของตัวเองด้วย Microsoft เผยแพร่ข้อมูลเหตุการณ์ต่อสาธารณะเนื่องจากผู้ดูแลระบบอาจ ไม่สามารถโหลดศูนย์การดูแลระบบเพื่ออ่านสถานะบริการได้ เมื่อแดชบอร์ดสำหรับค้นหาสิ่งที่เสียขึ้นอยู่กับสิ่งที่เสีย

3:46 แดชบอร์ดก็เข้าร่วมเหตุการณ์ไปด้วย เก็บลิงก์สถานะนอกช่องทางไว้ให้พร้อมใช้งาน สำหรับการควบคุม Graph ทั่วไป แนวทางของ Microsoft ระบุให้ปฏิบัติตาม การหน่วงเวลาการลองใหม่เมื่อคำขอได้รับการตอบกลับว่ามีคำขอมากเกินไป และใช้ exponential backoff เมื่อไม่มีส่วนหัวนั้น แนวทางนั้นจัดการการควบคุม ไม่ได้วินิจฉัยการหยุดทำงานนี้หรือสัญญาว่าการลองใหม่จะกู้คืนบริการได้ ตอนนี้สี่สิบแปดชั่วโมง

หน้าต่างอีเมล 48 ชั่วโมงช่วยอะไรได้บ้าง?

4:05 หน้าสถานะที่ขยายออกของ Microsoft กล่าวว่าให้ความสำคัญกับการประมวลผลคิวและรายการค้าง และขยายหน้าต่างหมดเวลาอีเมลเพื่อรักษาข้อความที่ล่าช้าไว้ นั่นทำให้อีเมลที่ล่าช้ามีเวลามากขึ้นในระหว่างการกู้คืน กำหนดหน้าต่างหมดเวลาอีเมล Microsoft ไม่ได้กำหนดเส้นตายสี่สิบแปดชั่วโมงสำหรับการแก้ไขบริการ และไม่มีการรับประกันว่าทุกข้อความจะมาถึง ดังนั้นจงรักษาสิทธิ์ในการจัดส่งให้ซื่อสัตย์ การแจ้งเตือนที่ล่าช้าไม่จำเป็นต้องหายไป

4:28 และข้อความที่จัดคิวไว้ไม่จำเป็นต้องถึงผู้รับ สำหรับงานที่ต้องคำนึงถึงเวลา ให้ตรวจสอบผลลัพธ์ผ่านช่องทางอิสระที่ได้รับการ อนุมัติ หน้าต่างไคลเอนต์เป็นใบรับการจัดส่งที่เป็นไปในทางที่ดีเมื่อแบ็กเอนด์ยังคง กู้คืน ซึ่งทำให้มีสิ่งให้คุณอ่านมากมายในรายงานเหตุการณ์ในที่สุด หากคุณต้องการอ่านสิ่งนี้มากกว่าที่จะฟังฉันพูด Diff จะถูกส่งไปยังกล่องจดหมายของคุณ ทุกเช้า ฟรีที่ thedailydiff.dev ลิงก์อยู่ด้านล่าง ดังนั้นคำตัดสินของวันนี้คือ NEEDS REVIEW

การกู้คืนที่ยั่งยืนจำเป็นต้องพิสูจน์อะไร?

4:49 ฉันจะตรวจสอบการกู้คืนต่อไปเพราะการอัปเดตของ Microsoft เองก็แสดงให้เห็นว่าเซิร์ฟเวอร์ที่กลับมาใช้งานได้ ล้มเหลวภายใต้การรับส่งข้อมูล การทดสอบที่เป็นประโยชน์คือการบริการที่ยั่งยืนพร้อมกับงานจริงที่เข้ามา จนกว่าจะถึงรายงานฉบับสุดท้าย สาเหตุเบื้องต้นยังคงเปิดอยู่ และนั่นคือ Diff สำหรับวันนี้ ฉันชื่อ Niko จาก Axrisi รวมอย่างรับผิดชอบ

แหล่งที่มา

ExpandedMicrosoftservicehealth, reportingcutoffNovember13 11:04:50UTC; earlier10:01:07observationshistoricalMicrosoft
Returned servers can become unresponsive again once they receive trafficMicrosoft 365 Status
Health-processing component investigation hypothesisMicrosoft 365 Status
Alternative health check returned a subset of serversMicrosoft 365 Status
Isolate, restart and reintroduce traffic to test stabilityMicrosoft 365 Status
Unavailable servers strain remaining infrastructureMicrosoft 365 Status
Initial Exchange mailbox-access investigation in the AmericasMicrosoft 365 Status
Users in any region may be affectedMicrosoft 365 Status
Email timeout extended to preserve delayed messagesMicrosoft 365 Status
Paused deployments, traffic redistribution and server restartsMicrosoft 365 Status
Independent live reporting on the Microsoft email disruptionCNN
Microsoft Graph throttling guidanceMicrosoft Learn
Exchange Online service descriptionMicrosoft Learn
Satya Nadella portrait by OFFICIAL LEWEB PHOTOS (2013), CC BY 2.0. Whole portrait-based artwork adapted by cropping, background removal, resizing and text/composition; vendor identity only, no endorsement or current reaction.OFFICIAL LEWEB PHOTOS
Portrait-only CC BY 2.0 licence; separate from third-party source/cartoon rightsCreative Commons
WWE still. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.WWE / Imgflip source hosting
The Simpsons/Bob GIF. Brief silent process commentary; WWE, The Simpsons/20th Television/Disney, Microsoft and other source owners retain copyright. Hosting and this specific editorial-use decision provide no blanket reuse grant or copyright clearance. The portrait licence is separate from third-party source/cartoon rights.The Simpsons / 20th Television / Disney; GIPHY source hosting

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack