紀錄一下今天公司後端被爆炸的過程

16:30，我同事請我幫他上傳更新檔，因為他傳不上去 (公司網路最近很爛)

17:00，業務跑來問為什麼有個客戶會卡相機畫面，而且版本後面是 "TIM"，是 stable 版嗎?

我打開業務傳來的網址一看，「幹」，反射性的從我口中講出，業務也說：「你這聲幹我怎麼毛骨悚然」。畫面上客戶的版本不就是剛剛上傳的檔案嗎？我是不小心把所有客戶搞爆了嗎？

這時主管過來確認了狀況，立馬開始找相關人員做災難復原，也剛好釐清是有位裝機的同事，想用後端的新功能將某客戶的機台版本一起更新，沒想到"順便"更新了 1800 多位客戶

接著就是從後端著手，未更新版本的客戶直接移除更新請求，已更新的客戶直接上到最新的 stable，專案型客戶另外處理，同時把下載流量全部中斷；

掰噗秀秀

接著面對的就是大量的客戶問題，大多數客戶都是前述提到的卡在相機畫面，還好重開機就能解決，剩下的等明天看看吧，估計會用備份 db 把客戶弄回去