NTTドコモの不具合はIoTサービス向け 加入者位置情報サーバーで発生 …… 会見から読み取れる詳細情報のメモ。
これは、記者会見の内容に基づいての私のメモである。
というか、記者もいつもろくな質問をしないから、纏めるのに苦労した。
元々、この作業は10月14日の0:00分から開始された入れ替え業務の中止した後に起きたようだ。
最初は、IoTサービス向け 加入者位置情報サーバーを新型に入れ替える作業だった。
切替は交換機単位の小分け処理で行われたようだ。
しかし14日の午前7時26分に不具合が発生し、入れ替えを中止し、旧システムに切り戻しを実施するという決断に至ったようだ。時間的に考えると、午前9時ぐらいまでに終わらせる計画だったのかも知れないが……真っ昼間はやらないだろうし。
尚、旧システムへの切り戻しは、旧システムの収容能力に基づいて計算して行ったつもりだったが、この後これまた見積もりが甘かったことが発覚する。
どこかの基地局を切り戻した時にこれは起きたのだろう。
午後5時以降、処理負荷が予想以上に発生し、オーバーフローが発生した模様だ。失敗した時に同時処理した件数は、約20万回線らしい。同時に複数の機器が接続に失敗したため、リトライが繰り返され、ビジー状態に陥ったということだと推定される。即ち、DDoS（DistributedDenial of Service） Attackを受けたような状態（サーバーや交換機、スイッチのDeny＜拒否＞応答状態）になったと思われる。尚、このIoT機器のリトライや接続の早さは、携帯で想定していたものより、高く強かったようで見積もりを超えてしまったらしい。まあ、多分都内の交換機で計算以上の処理があったとかそんなところだろう。
その結果、繋がりにくい状況が携帯電話・スマートフォンでも生じるようになり、それがシステムの危険域に達したのだと思われる。（これを放置すると、より酷いリンクダウンが起きる可能性もある状態。）
ここで、多分だが、音声通話は信号交換機がオーバーフローし始め、音声通話が繋がりにくい状態になったのかもしれない。
そこで、
17:37～全国にて全ての位置登録信号に対するネットワークコントロール（接続透過の100%制限）の実施を開始した。
その結果、基地局間で移動が発生したユーザーにおいてパケット通信サービスの再接続（インターネットやメール、SNSの利用）が出来なくなった。これは、同じ位置で接続中または待機応答中なら問題ないが、他の基地局にリレーしようとした場合、次に繋ぐ予定の基地局の位置情報を取得出来ないため、前の基地局の情報を置き換えることが出来なくなり通信輻輳する接続不良である。
これが、副次的に発生したのである。
これをやって、IoT機器の接続応答等を全て一端破棄したのだと思われるが、これが適正だったのかは分からない。何せ、他に方法があったのか、なかったのか、あったとして想定されるより悪い状態が、他にあった場合、タイムリミットの問題もあるため、その時はそれが最適だと判断したのだと思われる。だから、システムを知る者しか分からない訳だ。今後、反省点が社内ででることだろう。
18:09～位置登録信号に対するネットワークコントロール緩和（少しずつ開放を開始）を開始（交換機単位と思われる）
午後7時57分に緩和を完了この間、凡そ2時間30分は、移動しているユーザー端末と、一部の通話で不具合が発生した。
発生した影響度は対前週比で
モバイル通話成立率約15%減少
モバイルデータ通信約4%減少
であった。
この後は、一応IoT機器向けのワークロードリソースを多めにとって、さらにトラフィックの全開放はしてないようだが、上記事象の原因となった不具合は解消されたようだ。
7時57分以降の状況は、通信回復によってこれまで通信が出来なかった端末にメールなどの受信や、回復したという情報からユーザー側からの多くの接続、さらにIoT位置情報の切り戻し作業もまだ継続していたことから、一部で接続し難い状態等が継続したらしい。もしかするとIoTの登録は裏で交換機単位で続いていたはずなので、その基地局に該当する時には、より繋がりにくい場所もあったかも知れない。
これらの問題が4G/5Gで解消したのは、10月15日早朝であり、正確には午前5時5分規制解除となった。
3Gは未だ復旧していないが、これは3Gシステムが古く、位置情報データの取得性能が異なる（A-GPSやジオフェンスの機能がないものが多いため、すぐには切り戻して再開が出来ないということ）こと等が影響しているのだろうと、会見の口ぶりから予想される。
となる。尚、これには一部個人的な考察が含まれているので、これが内部事情として適正なものかは分からない。
あくまで、これは個人的なメモ書きである。
一つ確かな事は、ITジャーナリストとか肩書きは良いが、何というか分かって無いよなと思う。
あと、記者は同じ質問を繰り返さないで欲しい。同じような質問をするにしても、回答が同じになることが分かりきった質問は辞めろ。質問が特にないなら、特にないので他の分かる人に質問時間を渡すべきだろう。
