8月25日午後、インターネット大規模障害、OCNやKDDIなど複数ISP。(最終更新 9月5日)



プレミアムフライデー(ひょっとしてもう死語?)どころではなくなってしまった人、多かったのではないでしょうか?



2017年8月25日(金)12:22頃、大規模なインターネット通信障害発生

本日、昼すぎ、インターネットで大規模な障害があった。

あちこちで、OCN(NTTコミュニケーションズ)やKDDIが障害のあった主なISPとして紹介されている。

http://internet.watch.impress.co.jp/docs/news/1077431.html

なお、こちらの記事によれば、NTTコミュニケーションズのサイトには、「海外の経路不安定事象により」という記載が"あった"と推測される。

本日22:45現在、その記載はないので、削除されたのだろうか?

「OCN」のサービスを提供しているNTTコミュニケーションズ株式会社(NTT Com)によれば、12時22分ごろから同45分までの時間帯に、「海外の経路不安定事象により、通信の一部において断続的にご利用できない状況が発生して」いた。(INTERNET Watchより)


詳細はまだ不明なようだが、「海外との経路不安定」とあったのなら、海外とのBGP接続関連?


ところで、twitterや2chでは、北朝鮮の攻撃か?といった話も飛び交っていたようだが、まるで関東大震災だね。(詳しくは知りませんが。)

なにがあったのか、分かり次第、追っていきたい。

とりあえず、関係者の皆様、いろいろとお疲れ様でした!





22:55追記

海外とのpeeringが怪しかったとなると・・・ということで、最新のTier1を調べてみたが、JapanではOCN(NTTココミュニケーションズ)が唯一のTier1だった。

ちなみに、現時点で16社。(2017年8月25日)
(さらに、ちなみに、うち7社がUS。さすがUS至上主義の世界だ。)

ところで、これ、本当にGoogle(AS15169)が原因なの?


8/26 追記(bgpview)

こちらのサイトで、BGP経路がグラフでみれる。



「海外との経路接続」とあるので、AS4713 <=> AS2914だろう。

AS4713 = OCN (NTT Communications Corporation)
AS2914 = NTT America, Inc.



AS15169 = Google Inc.

グラフ右下にAS2914(NTTアメリカ)がみえる。


今回の原因が本当にGoogleにあるとしたら、ある意味、OCNは(KDDIも)被害者か。

Googleが誤って他ネットワークをトランジットしてしまい、AS2914経由でAS4713が受けて、さらに日本国内にも配信しまった、と。



8/28 追記(詳細情報が出揃ってきた)

数日たって、続々と情報がそろってきたので、メモ。


まず、BGPMONに詳細な分析が記載されている。

BGPハイジャックとBGPリークと表現されている。たしかに、BGPStreamhttps://bgpstream.com/)を参照すると、該当時間で、Google (AS 15169)をソースとして、非常に多数の 「Possible Hijack」や「BPG leak」が確認できる。


BGPMON - BGP leak causing Internet outages in Japan and beyond.
Starting at 03:22 UTC yesterday (aug 25) followers of @BGPstream would have seen an increase in alerts involving Google. The BGPstream alerts were informing us that Google was announcing the peering lan prefixes of a few well known Internet exchanges. This in itself is actually a fairly common type of incident and typically indicates something isn’t quite right within the networks hijacking those prefixes and so these alerts were the first clues that something wasn’t quite right with Google’s BGP advertisements.
  A closer look at our data shows not only BGP hijack incidents but also a high number of BGP leak events. 
(BGPMONより)
A unique insight into Google’s networkSince Google essentially leaked a full table towards Verizon, we get to peek into what Google’s peering relationships look like and how their peers traffic engineer towards Google. Analyzing this data set we find many more specific prefixes. Meaning prefixes that are not normally seen in the global Internet routing table (DFZ) and only made visible to Google for traffic engineering requirements. Let’s take a look at an example. The prefix 114.154.133.0/24 is not normally seen on the Internet, instead it is announced as the larger aggregate 114.144.0.0/12 by AS4713 NTT OCN, the largest service provider in Japan. During the time of the incident we see over 20,000 new OCN prefixes, all more specifics of their larger aggregate blocks (mainly their /11, /12’s, /13’s, 14’s and /15’s).  In this case OCN announced these more specific prefixes primarily to control how traffic comes in from Google. Now that Google leaked these prefixes to Verizon as well, everyone seeing announcements for these prefixes would have sent traffic for this prefix towards Verizon and Google, essentially changing the local traffic engineering trick into a much more global traffic engineering setup. Verizon customers and peers that would have seen this announcement would have preferred this over any other path since more specifics always win.
(BGPMONより)


なお、googleのHP上では確認できなかったが、asahi.comやNHK等でGoogleのコメントが掲載されている。

INTERNET Watch - 米Googleが経路情報の誤設定を認め、謝罪コメント~25日のネット障害の原因に
 Earlier today, some users were unable to access internet services as a result of a network configuration error. The configuration was fixed within eight minutes and service started returning to normal. Sorry for the inconvenience this caused.”
(昨日、ネットワークの誤設定により、インターネットサービスにアクセスしづらくなる障害が発生しました。Googleでは、この誤設定を8分以内に正しい情報に修正しました。ご不便、ご心配をお掛けしたことをお詫び致します。)
-- A Google Spokesperson (INTERNET Watchより)

BGP Hijackは数年に1度ぐらいのペースで話題になるが、実際はそれほど珍しい事象ではないだろう。しかし今回のような規模というのは珍しい。

悪意があっての事象ではないにしろ、あらためて、インターネットの世界の脆弱性(弱点)が広く認知されることになった。



9/5 追記(ITpro「OCNはとばっちり、米グーグルによる大規模ネット障害の真相」)

http://itpro.nikkeibp.co.jp/atcl/column/14/346926/083101108/?itp_leaf_cxpc


以下にまとめ。



  • GoogleがVerizonに誤広報
  • Verizonが配下プロバイダーにそのまま拡散
  • 誤広報のレンジには、OCN所有分も含まれていた「このOCNの経路はVerizon経由でGoogleに行くのが最短だ!」
  • 結果、OCN向けの通信は、Googleに吸い込まれていった・・・問題①
  • KDDIもこの誤広報をもらったISPのひとつ。
  • 誤広報の経路情報が大量であったため(仮にGoogleがすぐに停止したとしても)、ルーターが過負荷となった・・・問題②


  • 9/5 追記(8/29 総務省、野田総務大臣閣議後記者会見より)

    http://www.soumu.go.jp/menu_news/kaiken/01koho01_02000618.html

    8/29に記者会見で発言があったもよう。

    リンク先の総務省より引用;
    国内各地で発生したネット障害について

     各事業者の対応によって、その日の夕方までには概ね復旧したと聞いていますが、こういう事態により重大な事故の発生を防ぐ観点から、総務省においては、詳細な原因の調査と、今後の対応について検討を行う予定としています。 

    「今後の対応」について、どのような後日談がでてくるのか、ちょっと興味津々。

    0 件のコメント :

    コメントを投稿