UPDATE 3.1 เปิดใช้งานระบบอัปรูปตามปกติแล้วครับ ส่วนรูปที่หายไปกู้มาได้แค่ส่วนใหญ่ ส่วนที่หายไปส่วนใหญ่จะเป็นรูปใหม่ๆที่อัปโหลดขึ้นมาไม่แน่ใจว่าทำไม โดยระบบเว็บเราถ้าหากยังเก็บรูปไว้ในเครื่องสามารถอัปรูปเดิมขึ้นมันจะไปแทนที่รูปเดิมอัตโนมัติ ต้องขออภัยจริงๆครับ 
ตอนนี้ทางผู้ให้บริการเซิฟเวอร์ก็กำลังจะติดตั้ง Power ตัวใหม่เพิ่มเหมือนกัน แต่เราก็จะเพิ่มส่วนการสำรองรูปอย่างที่บอกไว้หลังปีใหม่ เพื่อไม่ให้ปัญหาแบบนี้เกิดขึ้นอีก
UPDATE 3 ตอนนี้กำลังกู้คืนข้อมูลขั้นตอนสุดท้าย คาดว่าจะกลับมาใช้ระบบอัปรูปได้ปกติ และเปิดให้สมาชิกแก้รูปประจำตัวที่เสีย ได้พรุ่งนี้ครับ โดยอาจจะได้อย่างเร็วคืนนี้ครับ
----------------------------------------------------------------------
UPDATE 2.2 หลังจากนี้จะแก้ไขระบบอัปโหลดรูปใหม่โดยจะให้สำรองข้อมูลไปยัง S3 ทันทีส่วนภาพเก่าๆที่กู้มาได้จะเขียนสคริปเพื่อทยอยอัปโหลดขึ้นทีละไฟล์ซึ่งอาจใช้เวลาเป็นสัปดาห์ แต่ตอนนี้ขอตัวไปพักผ่อนก่อนครับ
UPDATE 2.1 ไฟล์ที่กู้มาได้มีความสมบูรณ์ 100% (hash ตรง) แต่พบว่าเหมือนภาพล่าสุด 200+ ภาพ มีการขาดๆหายๆไปทั้งรูป ซึ่งกำลังพยายามลองกู้เพิ่มเติม
UPDATE 2 ตอนนี้พยายามกู้ข้อมูลภาพส่วนอัปโหลดมาได้เท่าที่จะกู้ได้แล้วประมาณ 1.000.000+ ภาพไม่แน่ใจว่ามีครบทุกภาพไหม ซึ่งรู้สึกว่ายังไม่ครบทุกภาพ
และจะขอทำการปิดระบบอัปโหลดชั่วคราว โดยรบกวนสมาชิคที่ต้องการอัปโหลดรูปใหม่ให้ใช้เว็บฝากรูปเช่น https://imgur.com ก่อนชั่วคราว
ส่วนรูปโปรไฟล์ของบางคน รวมถึงรูปปก รูปพื้นหลังโปรไฟล์ รูปหัวคลับ รูปไอค่อนคลับ รูปพื้นหลังคลับ อาจไม่สามารถกู้คืนได้ ต้องไปตั้งค่าใหม่ ซึ่งปกติรูปที่เคยอัปโหลดมาจะไปอยู่ในอั๊ลบั๊มของเว็บที่กู้คืนมาได้ หมายเหตุ * 2TH Master สามารถตั้งรูปโปรเป็น GIF ได้ แม้ว่าจะหมดอายุไปแล้ว
----------------------------------------------------------------------
UPDATE 1 ขณะรู้สาเหตุปัญหาของ Storage แล้วกำลังกู้ข้อมูล ซึ่งเพื่อความสะดวกจะยังปิดไม่ให้ดูรูปได้อยู่ จากที่ดูข้อมูลที่สคริปรายงานรู้สึกว่าเป็นไปได้ค่อนข้างดี
----------------------------------------------------------------------
- ในขณะนี้ รูปภาพที่อัปโหลดสามารถกู้คืนมาได้ 99% เนื่องจากไฟล์ยังอยู่ดี เพียงแค่พื้นที่ Storage มีปัญหาชื่อไฟล์เสียหายกลายเป็นชื่อมั่วๆ โชคดีเรามีข้อมูล hash ของไฟล์ไว้ ทำให้สามรถกู้คืนชื่อไฟล์เดิมได้
- แต่รูปภาพพวก พื้นหลัง, รูปโปรไฟล์, ภาพปกโปรไฟล์, ไอค่อนคลับ, ปกคลับ อาจสูญหาย ซึ่งไม่เป็นปัญหาใหญ่ เพราะถ้าหากเคยอัปโหลดขึ้นเว็บไว้ ก็นำมาใส่ใหม่ได้ทันที (แต่ยังคงสร้างความลำบากให้ไปตั้งใหม่ทีละรูป)
- เซิฟเวอร์หลัก ไม่เกี่ยวข้องใดๆ กับเซิฟเวอร์รูปภาพ เพราะฉะนั้นส่วนอื่นๆนอกจากรูปภาพสามารถใช้งานได้ปกติ แค่มีครั้งนึงเขียนสคริปผิดพลาด ทำให้ล่มเป็นพักๆจากการ DDOS ตัวเอง
- Storage สามารถทำการกู้คืนได้ แต่หลังจากทำการกู้คืน Filesystem ดันเกิดข้อผิดพลาดเกิดขึ้นใหม่เรื่อยๆ ซึ่งไม่รู้ว่าเกิดจากปัญหาส่วนไหน
แต่ปัญหาอาจจะแก้ได้โดยการสั่ง Storage ใหม่ และย้ายข้อมูลไป ถ้าหากแก้ไขไม่ได้จริงๆ เพราะพบว่าการอ่านข้อมูลปกติดี
- เจ้าของโฮสให้ความร่วมมือดีในการช่วยเหลือเหตุการครั้งนี้
- ขณะนี้ทำการปิดเซิฟเวอร์เก็บรูปภาพเพื่อป้องกันความเสียหายเพิ่มเติม
- จากนี้จะทำการ Backup สิ่งที่อัปโหลดทั้งหมดขึ้น Amazon S3 Cloud
ทำให้ถ้าเกิดเวลาเซิฟเวอร์เก็บรูปเกิดข้อผิดพลาดที่ร้ายแรงกว่านี้เช่น Storage เจ้งไปเลย ก็สามารถกู้คืนใหม่มาได้ทันทีทั้งหมดได้อย่างไม่มีปัญหา
ความจริงคือเป็นระบบที่วางไว้แล้ว แต่เนื่องด้วยรูปแบบการเก็บข้อมูลที่ยังไม่ลงตัว เช่นควรเก็บชื่อไฟล์รูปแบบไหน
เพื่อให้มีผลประโยชน้สูงสุด เพราะบน Cloud ถ้าอัปไปแล้วจะแก้ไขรูปแบบยาก และการดึงข้อมูลกลับก็ยังมีค่าใช้จ่าย
และระบบเก็บรูปเก่าก็ยังใช้ได้และมี redundant raid10 จึงยังไม่ได้ทำจนถึงตอนนี้
ดังนั้นหากแก้ไขเสร็จสิ้นเมื่อไร จะทำระบบ Backup ขึ้นมาทันที
หมายเหตุ ระบบหลักตอนนี้มีการสำรองข้อมูล 4 ครั้งต่อวัน หลักจากเหตการข้อมูลพังเดือน 11 และกำลังจะพัฒนาเป็นระบบ Backup แบบ Realtime
- เที่ยงคืน 23/12 ที่ Datacenter เกิดข้อผิดพลาดด้านระบบไฟฟ้า ไม่แน่ใจว่าไฟดับหรือตก ทำให้ Storerage เกิดอาการ Bad และ Error
- หลังจากติดต่อเจ้าของโฮสได้คำแนะนำให้เช็ค Storage โดยโปรแกรม Fsck ซึ่งสามารถกู้คืนรูปภาพมาได้ด้วยดี แต่รูปแบบชื่อไฟล์เสียหายตามที่บอกข้างต้น
- Storage กลับมามีปัญหาใหม่โดยไม่รู้สาเหต แต่สามารถใช้ Fsck แก้ไขได้
- ได้เขียนสคริปเฉพาะหน้าแสดงว่า รูปไหนกำลังกู้ รูปไหนดูได้แล้ว
- เมื่อ Storage ดูจะมีความเถรียรดีแล้ว จึงทำการเขียนสคริปเฉพาะหน้าเพื่อเช็ค hash เทียบกับข้อมูลเก่า แล้วย้ายที่อยู่รูปกลับไปที่เดิม
- พอกลับมาอีกครั้งสคริปเกิดข้อผิดพลาด จึงเช็คดูปรากฏว่า Storage มีปัญหาอีกครั้ง
- ในตอนนี้เพื่อป้องกันความเสียหายเพิ่มเติม จึงทำการ Poweroff เซิฟเวอร์เก็บรูปภาพ ทำให้รูปทั้งหมดเข้าไม่ได้โดยสิ้นเชิง
- แก้ไขสคริปอีกครั้งเพื่อแสดงรูปทั้งหมด ให้เป็นกำลังกู้ข้อมูล
- ในโซน H-Game มีเครื่องมือโพสพิเศษ ซึ่งรูปก็อยู่บนระบบเดียวกัน แต่เนื่องจาก URL file เป็นรูปแบบพิเศษทำให้เขียนสคริปเฉพาะกิจแสดงภาพโดยตรงได้ชั่วคราว
- raid is not a backup, raid ไม่ใช่ backup.
- เหตการ์ณนี้เป็นของขวัญคริสมาสและปีใหม่ ที่เลวร้ายที่สุด
(ลงรูปนี้ไว้อีกครั้งถึงจะมีให้เห็นทั่วทั้งเว็บแล้วก็เถอะ)
ตอนนี้ทางผู้ให้บริการเซิฟเวอร์ก็กำลังจะติดตั้ง Power ตัวใหม่เพิ่มเหมือนกัน แต่เราก็จะเพิ่มส่วนการสำรองรูปอย่างที่บอกไว้หลังปีใหม่ เพื่อไม่ให้ปัญหาแบบนี้เกิดขึ้นอีก
UPDATE 3 ตอนนี้กำลังกู้คืนข้อมูลขั้นตอนสุดท้าย คาดว่าจะกลับมาใช้ระบบอัปรูปได้ปกติ และเปิดให้สมาชิกแก้รูปประจำตัวที่เสีย ได้พรุ่งนี้ครับ โดยอาจจะได้อย่างเร็วคืนนี้ครับ
----------------------------------------------------------------------
UPDATE 2.2 หลังจากนี้จะแก้ไขระบบอัปโหลดรูปใหม่โดยจะให้สำรองข้อมูลไปยัง S3 ทันทีส่วนภาพเก่าๆที่กู้มาได้จะเขียนสคริปเพื่อทยอยอัปโหลดขึ้นทีละไฟล์ซึ่งอาจใช้เวลาเป็นสัปดาห์ แต่ตอนนี้ขอตัวไปพักผ่อนก่อนครับ
UPDATE 2.1 ไฟล์ที่กู้มาได้มีความสมบูรณ์ 100% (hash ตรง) แต่พบว่าเหมือนภาพล่าสุด 200+ ภาพ มีการขาดๆหายๆไปทั้งรูป ซึ่งกำลังพยายามลองกู้เพิ่มเติม
UPDATE 2 ตอนนี้พยายามกู้ข้อมูลภาพส่วนอัปโหลดมาได้เท่าที่จะกู้ได้แล้วประมาณ 1.000.000+ ภาพ
และจะขอทำการปิดระบบอัปโหลดชั่วคราว โดยรบกวนสมาชิคที่ต้องการอัปโหลดรูปใหม่ให้ใช้เว็บฝากรูปเช่น https://imgur.com ก่อนชั่วคราว
ส่วนรูปโปรไฟล์ของบางคน รวมถึงรูปปก รูปพื้นหลังโปรไฟล์ รูปหัวคลับ รูปไอค่อนคลับ รูปพื้นหลังคลับ อาจไม่สามารถกู้คืนได้ ต้องไปตั้งค่าใหม่ ซึ่งปกติรูปที่เคยอัปโหลดมาจะไปอยู่ในอั๊ลบั๊มของเว็บที่กู้คืนมาได้ หมายเหตุ * 2TH Master สามารถตั้งรูปโปรเป็น GIF ได้ แม้ว่าจะหมดอายุไปแล้ว
----------------------------------------------------------------------
UPDATE 1 ขณะรู้สาเหตุปัญหาของ Storage แล้วกำลังกู้ข้อมูล ซึ่งเพื่อความสะดวกจะยังปิดไม่ให้ดูรูปได้อยู่ จากที่ดูข้อมูลที่สคริปรายงานรู้สึกว่าเป็นไปได้ค่อนข้างดี
----------------------------------------------------------------------
รูปภาพจะกู้กลับมาได้ไหม
- ในขณะนี้ รูปภาพที่อัปโหลดสามารถกู้คืนมาได้ 99% เนื่องจากไฟล์ยังอยู่ดี เพียงแค่พื้นที่ Storage มีปัญหาชื่อไฟล์เสียหายกลายเป็นชื่อมั่วๆ โชคดีเรามีข้อมูล hash ของไฟล์ไว้ ทำให้สามรถกู้คืนชื่อไฟล์เดิมได้
- แต่รูปภาพพวก พื้นหลัง, รูปโปรไฟล์, ภาพปกโปรไฟล์, ไอค่อนคลับ, ปกคลับ อาจสูญหาย ซึ่งไม่เป็นปัญหาใหญ่ เพราะถ้าหากเคยอัปโหลดขึ้นเว็บไว้ ก็นำมาใส่ใหม่ได้ทันที (แต่ยังคงสร้างความลำบากให้ไปตั้งใหม่ทีละรูป)
- เซิฟเวอร์หลัก ไม่เกี่ยวข้องใดๆ กับเซิฟเวอร์รูปภาพ เพราะฉะนั้นส่วนอื่นๆนอกจากรูปภาพสามารถใช้งานได้ปกติ แค่มีครั้งนึงเขียนสคริปผิดพลาด ทำให้ล่มเป็นพักๆจากการ DDOS ตัวเอง
สถานะการตอนนี้เป็นยังไง
- Storage สามารถทำการกู้คืนได้ แต่หลังจากทำการกู้คืน Filesystem ดันเกิดข้อผิดพลาดเกิดขึ้นใหม่เรื่อยๆ ซึ่งไม่รู้ว่าเกิดจากปัญหาส่วนไหน
แต่ปัญหาอาจจะแก้ได้โดยการสั่ง Storage ใหม่ และย้ายข้อมูลไป ถ้าหากแก้ไขไม่ได้จริงๆ เพราะพบว่าการอ่านข้อมูลปกติดี
- เจ้าของโฮสให้ความร่วมมือดีในการช่วยเหลือเหตุการครั้งนี้
- ขณะนี้ทำการปิดเซิฟเวอร์เก็บรูปภาพเพื่อป้องกันความเสียหายเพิ่มเติม
จะทำยังไงต่อ
- จากนี้จะทำการ Backup สิ่งที่อัปโหลดทั้งหมดขึ้น Amazon S3 Cloud
ทำให้ถ้าเกิดเวลาเซิฟเวอร์เก็บรูปเกิดข้อผิดพลาดที่ร้ายแรงกว่านี้เช่น Storage เจ้งไปเลย ก็สามารถกู้คืนใหม่มาได้ทันทีทั้งหมดได้อย่างไม่มีปัญหา
ความจริงคือเป็นระบบที่วางไว้แล้ว แต่เนื่องด้วยรูปแบบการเก็บข้อมูลที่ยังไม่ลงตัว เช่นควรเก็บชื่อไฟล์รูปแบบไหน
เพื่อให้มีผลประโยชน้สูงสุด เพราะบน Cloud ถ้าอัปไปแล้วจะแก้ไขรูปแบบยาก และการดึงข้อมูลกลับก็ยังมีค่าใช้จ่าย
และระบบเก็บรูปเก่าก็ยังใช้ได้และมี redundant raid10 จึงยังไม่ได้ทำจนถึงตอนนี้
ดังนั้นหากแก้ไขเสร็จสิ้นเมื่อไร จะทำระบบ Backup ขึ้นมาทันที
หมายเหตุ ระบบหลักตอนนี้มีการสำรองข้อมูล 4 ครั้งต่อวัน หลักจากเหตการข้อมูลพังเดือน 11 และกำลังจะพัฒนาเป็นระบบ Backup แบบ Realtime
Timeline
- เที่ยงคืน 23/12 ที่ Datacenter เกิดข้อผิดพลาดด้านระบบไฟฟ้า ไม่แน่ใจว่าไฟดับหรือตก ทำให้ Storerage เกิดอาการ Bad และ Error
- หลังจากติดต่อเจ้าของโฮสได้คำแนะนำให้เช็ค Storage โดยโปรแกรม Fsck ซึ่งสามารถกู้คืนรูปภาพมาได้ด้วยดี แต่รูปแบบชื่อไฟล์เสียหายตามที่บอกข้างต้น
- Storage กลับมามีปัญหาใหม่โดยไม่รู้สาเหต แต่สามารถใช้ Fsck แก้ไขได้
- ได้เขียนสคริปเฉพาะหน้าแสดงว่า รูปไหนกำลังกู้ รูปไหนดูได้แล้ว
- เมื่อ Storage ดูจะมีความเถรียรดีแล้ว จึงทำการเขียนสคริปเฉพาะหน้าเพื่อเช็ค hash เทียบกับข้อมูลเก่า แล้วย้ายที่อยู่รูปกลับไปที่เดิม
- พอกลับมาอีกครั้งสคริปเกิดข้อผิดพลาด จึงเช็คดูปรากฏว่า Storage มีปัญหาอีกครั้ง
- ในตอนนี้เพื่อป้องกันความเสียหายเพิ่มเติม จึงทำการ Poweroff เซิฟเวอร์เก็บรูปภาพ ทำให้รูปทั้งหมดเข้าไม่ได้โดยสิ้นเชิง
- แก้ไขสคริปอีกครั้งเพื่อแสดงรูปทั้งหมด ให้เป็นกำลังกู้ข้อมูล
- ในโซน H-Game มีเครื่องมือโพสพิเศษ ซึ่งรูปก็อยู่บนระบบเดียวกัน แต่เนื่องจาก URL file เป็นรูปแบบพิเศษทำให้เขียนสคริปเฉพาะกิจแสดงภาพโดยตรงได้ชั่วคราว
บทสรุป
- raid is not a backup, raid ไม่ใช่ backup.
- เหตการ์ณนี้เป็นของขวัญคริสมาสและปีใหม่ ที่เลวร้ายที่สุด
(ลงรูปนี้ไว้อีกครั้งถึงจะมีให้เห็นทั่วทั้งเว็บแล้วก็เถอะ)
[สำคัญ] อัปเดตปัญหารูปภาพตอนนี้ 23/12/2018 - Update 3
https://2th.me/wiki/Contact_us
