2019年2月 5日
ネットワーク障害のお詫び
平素より PROX サービスをご利用頂き、誠にありがとうございます。
下記の時間帯におきまして弊社ネットワークが繋がりにくい状態になっておりました。
障害発生理由 ： お客様収容スイッチの故障
障害範囲 ： IPアドレスが210.143.97.2～253のお客様
2/2 11:00頃より、同ネットワークのお客様サーバがつながり難い状態となっておりました。
故障したスイッチをネットワークから切り離し、現在は正常な状態となっております。
原因の特定に時間が掛かり、繋がりにくい状態が長期化した事、誠に申し訳ございませんでした。
長期化した経緯につきましては以下となります。
サーバー側からのOUTパケットが多数弊社ルーターにて観測されており、お客様サーバークラッキングからの外部に対するアタックと判断、パケットキャプチャ等でサーバーの特定を行っておりましたが、アタックを行っているサーバーが特定できませんでした。
この為、１台１台サーバー内部の確認を行いましたが、ネットワークの負荷が高い事もありレスポンスが遅く、確認につきまして時間が掛かっておりましたが、発見できませんでした。
パケットキャプチャ及び、コンソール、SSHで特定が出来なかった為、お客様接続スイッチを１台１台切り離しサーバーの特定を行いました。
特定のスイッチをネットワークから切り離す事で、ネットワークが安定した為、該当スイッチより他のスイッチにサーバーの接続を変える事で、障害サーバーの特定を行っておりましたが、すべてのサーバーを移動しても障害は起こらなかった為、該当スイッチの故障が判明いたしました。
スイッチの故障は非常に稀であり、外部アタックに似た現象を引き起こしていた為、発見が遅れました。
今後につきましては、確認フローの見直し等を行い、迅速に発見できるよう改善を行う予定です。
お客様には大変ご迷惑をおかけいたしましたことを謹んでお詫び申し上げます。
今後ともプロックスを宜しくお願い申し上げます。
2018年11月22日 « トップへ » 2019年3月 6日
