当社が管理する自治体情報セキュリティクラウドの障害について（最終報）

＞第一報についてはこちらを確認ください
＞第二報についてはこちらを確認ください

SBテクノロジー株式会社（以下当社）が提供する自治体情報セキュリティクラウドにおいて、2022年8月8日にインターネットアクセスサービスおよびメールサービスが利用できない障害が発生いたしました。
本事象について、予定しておりました再発防止策が全て対応完了しましたので、お知らせいたします。

お客様をはじめ多くの関係者の皆様に多大なるご心配とご迷惑おかけしましたことを、深くお詫び申し上げます。

１．障害の概要

影響時間：2022年8月8日(月)午前4時27分～8月9日(火)午前1時30分頃
影響範囲：青森県、岩手県、宮城県、秋田県、福島県、新潟県、栃木県、佐賀県、長崎県の9県および各市町村の自治体職員約19万人が利用するインターネットアクセスサービス、メールサービス

２．障害原因

　

・サーバ集約スイッチの障害
多重化されているサーバ集約スイッチで障害（以下、本事象）が発生し、仮想化基盤との通信が全断されたことで、以下の障害が発生しました。

1. 自治体のネットワークと仮想化基盤上のプロキシサーバとの通信断により、自治体からインターネット閲覧ができなくなりました。
2. メールリレーサーバと仮想化基盤上の隔離サーバとの通信断により、メールリレーシステムが停止しました。
3. 仮想化基盤上の運用管理システムが外部との通信ができなくなり、監視及びリモートでのメンテナンスが行えなくなりました。
4. 障害の緊急対応としてネットワーク機器の再起動、切り替えを実施した際に、仮想化基盤がサーバ集約スイッチの再起動を異常と検知し停止しました。

３．障害長期化の原因

・メンテナンス経路
当社の提供する自治体情報セキュリティクラウドでは規定したネットワーク、プロトコル以外は通信ができないように設定されています。そのため運用管理システムへの通信が全断し、リモートでのメンテナンス及び状況把握が行えなくなりました。これにより、現地での機器一つひとつに対する調査及び対処が必要となり、長期化しました。

４．再発防止策

・サーバ集約スイッチの障害
ネットワーク機器の再起動を実施したため、サーバ集約スイッチに本事象発生時の障害ログはありませんでした。また既知の不具合は確認されておりません。
障害が起きたサーバ集約スイッチについて、おおよそ一か月間の再現テストを実施致しましたが本事象は再現しませんでした。
これを受け、以下の対策を実施しました。

1. サーバ集約スイッチと周辺ケーブルすべてを交換
2. サーバ集約スイッチの更なる多重化と障害検知システムの強化を実施
3. 各種ネットワーク機器のバージョンアップを実施

５．障害長期化に対する対応について

・メンテナンス経路の多重化と障害監視
リモートでのメンテナンス経路を更に追加し、障害を監視する専用のシステムを設置しました。

・自治体情報セキュリティクラウドの各設備の点検
障害発生ケースを想定した、多重化されたネットワークの全点検および修正を実施しました。

当社では、今後もお客様が安心してサービスをご利用いただけるよう、品質向上の取り組みを進めてまいります。