Get in touch
Back

Previous incidents

December 2021
December 01, 2021
Resolved

Realtime reflection is not working on all workspaces

English Below

障害内容

16:38から21:41の間、リアルタイム処理を行なっているサーバーが高負荷により停止し、以下の機能が利用不可能となっておりました。
・会議室への入退出
・アイコンの右上の絵文字の変更
・ワークスペースのレイアウト変更

原因

リアルタイム処理を担っているサーバーの1台にアクセスが集中し、1つのサーバーが停止しました。その後ユーザから一斉に再接続のリクエストが走ったため、残りのサーバー群に対してもアクセスが集中し、リアルタイム処理を担っていたサーバーがすべて停止しました。
すぐに再起動を試みましたが、再接続のリクエストが短い時間間隔で送られてくることにより、再起動後すぐにサーバーが高負荷状態となってしまい、復旧に時間がかかっておりました。

対策

・一部のサーバーが停止しても、連鎖的に全てのサーバーがダウンすることを防ぐため、サーバーを増強しました。
・非効率な処理方法により、容易に高負荷を引き起こしやすい状態となっていたため、そのロジックを修正する予定です。


What happened

Following functions were not available between 7:38 and 12:41 (UTC) due to the heavy load on the servers responsible for real-time processing.
・Cannot enter and leave the meeting room
・Cannot update emoji on your avatar
・Cannot change the layout on a workspace

Why this happened

One of the servers responsible for real-time processing was overloaded with high traffic and stopped. After that, all the users connected to the server started to reconnect simultaneously, which caused the rest of the servers to be flooded with accesses. All the servers responsible for real-time processing stopped.
We immediately attempted to restart the servers, but due to the short time intervals between reconnect requests, the servers became overloaded and unavailable soon after the restart. It took a long time to recover.

How to prevent this in the future

Restart and scale-up servers in order to prevent a chain reaction of servers going down even if some of them go down.
We will review and correct the current inefficiency logic that easily causes overload.

Resolved · 1 Dec at 09:41pm UTC