News

「西新宿データセンター」における電源障害に関する質問および回答(最終版)

 

お客様各位
                                           さくらインターネット株式会社
 2008年12月19日に発生いたしました、弊社西新宿データセンター(所在地:
東京都新宿区西新宿)における電源設備からの発煙および電源供給障害につき
まして、メーカーからの最終報告を受け、2008年12月21日付けで公表しており
ます質問および回答の内容を更新し、以下にまとめさせていただきましたので、
お知らせさせていただきます。
 ・障害の概要・原因・試験結果等について
 ・発煙について
 ・電源について
 ・サービスについて
 ・今後の対応と再発防止策について
 ・その他
 
■障害の概要・原因・試験結果等について
Q.発生した電源障害の概要は?
A.西新宿データセンターに設置されている、各ハウジングラックへサーバへの
 電力を供給する電源設備内で、稼働中の無停電電源装置(UPS)5台のうち、
 1台に接続された出力変圧器において、異常電流による過熱および短絡が発生
 し変圧器コイルが発煙いたしました。これに伴い無停電電源装置(UPS)が
 過負荷を検出し、最終的に電力供給を停止したものです。
 
 尚、電力供給が停止に至るまでの経緯は以下の通りです。
 1.当該変圧器に異常電流が発生し過熱。変圧器コイル内で短絡および発煙
 2.当該変圧器が接続されている上位の無停電電源装置(UPS)が過負荷を
  検出し遮断器が作動。冗長系無停電電源装置(UPS)に切換
 3.冗長系無停電電源装置(UPS)に切換わるが、本装置も過負荷を検出し
  商用電源へ切換
 4.冗長系無停電電源装置(UPS)を介さないバイパス経路の商用電源に切換
  わるが、上位の高圧遮断器が過電流を検出し当該変圧器への送電を停止
 これにより、6F Aゾーン90ラック、6F Bゾーン68ラック計158ラックに供給
されている2系統の電源のうち1系統の電力供給が停止し、当該ラックに収容
されていた10社のお客様に影響が及びました。
Q.消防庁による現場検証の結果は?
A.弊社の運用体制および焼損した変圧器以外の機器には問題は見当たらず、
 焼損した変圧器の解体調査をメーカーにて実施することとなりました。
Q.出力変圧器の解体調査の結果は?
A.変圧器メーカーにて、弊社担当者および消防庁立会いのもと当該出力変圧器
 の解体調査が行われ、変圧器の左側面の中央部で絶縁紙等が焼失し、変圧器
 コイルの巻線の短絡および、一次巻線の中心位置が二次巻線に対して設計値
 よりもずれていたことを確認しております。
Q.なぜ出力変圧器に異常電流が流れ発煙したのか?
A.出力変圧器の製作時に、一次巻線の中心位置が二次巻線に対して設計値より
 もずれておりました。このため、二次巻線との電磁結合が悪くなり過大な電
 流が流れたため、変圧器が過熱し絶縁性能(*1)が大幅に低下した結果、
 変圧器内で巻線と混触防止板が短絡(*2)し局部的にアーク(火花)が発生、
 コイルの巻線および混触防止板(銅)が溶融し、コイル内部の絶縁ワニスに
 接触して発煙に至ったと考えられます。
 *1 通常、変圧器の巻線と混触防止板の間は絶縁が保たれております。
 *2 混触防止板は接地されているため、巻線は地絡状態となりました。
Q.出力変圧器の成分分析の結果は?
A.出力変圧器内部の巻線の短絡した部分、およびその周辺に付着していた物質
 の成分をX線により分析した結果、出力変圧器を構成する成分以外の物質は
 検出されなかったため、外部からの異物混入による発生の可能性は極めて少
 ないとの結果となりました。
Q.出力変圧器の再現試験の結果は?
A.変圧器メーカーにて、弊社担当者立会いのもと過熱・発煙した出力変圧器と
 同型のものと、対策を施した出力変圧器の両方を用いて温度上昇試験を実施
 いたしました。試験用に試作した同型で負荷をかけた場合は、変圧器の耐熱
 クラスを超える温度上昇結果となりましたが、対策型で同様の負荷をかけた
 場合は耐熱クラス以下の温度を計測しております。また、出力変圧器盤の
 排熱ファンを改良し冷却性能を向上させた場合での試験では、さらに温度を
 下回る良好な結果が得られております。
Q.電源障害発生の原因は?
A.消防庁による現場検証、メーカーによる解体調査、成分分析調査および再現
 試験などを通じて原因の究明を図ったところ、製造時において発生した組立
 ミスにより、当該電源設備に局部的な過熱が発生、本障害が生じたものとの
 結論となりました。
Q.出力変圧器の温度上昇は防げなかったのか?
A.変圧器コイルの一次巻線と二次巻線が設計値よりもずれていたことにより、
 巻線を隔てる混触防止板にも過大な電流が流れ過熱いたしましたが、冷却
 ダクトの一部が狭くなっていたため、温度が上昇した巻線の熱が拡散されず、
 冷却効果が低下し出力変圧器の温度が上昇いたしました。
Q.出力変圧器の温度上昇は検知できなかったのか?
A.局部的な温度上昇だったため、温度上昇は検知できませんでした。今回の
 障害を受け、局部的な温度上昇がないように、出力変圧器を改善します。
 
■発煙について
Q.火災は発生したのか?
A.弊社および消防隊は発煙のみを確認しており、電源設備メーカーからも出力
 変圧器が発煙に至ったと推定されると最終報告を受けております。
Q.なぜ発煙したのか?
A.電源設備の出力変圧器内が過熱し絶縁性能が低下、短絡による局部的なアーク
 (火花)が発生したことにより、巻線と混触防止板(銅)が溶融し、コイル
 内部の絶縁ワニスに接触して発煙に至ったと考えられます。
 
Q.消火設備はあるのか?作動したのか?
A.ハロン消火設備が設置されておりますが、発火の事実について確認されてお
 らず、消火設備は作動しておりません。
Q.発煙による人的被害はあったのか?
A.ございません。なお、その際に、現場に立ち会った弊社社員についても健康
 上の問題はございません。
Q.サーバルームで発煙はあったのか?
A.今回は電源室での事故であったため、サーバルームへの影響はございません。
Q.火災検知システムは導入しているのか?
A.西新宿データセンターでは、通常の火災報知機以外に高感度火災予兆検知
 システム(VESDA)を導入しておりますが、電源室へは通常の火災報知機のみ
 の設置となっておりました。今回の障害を受け、電源室へも高感度火災予兆
 検知システムの設置をいたしました。
 
■電源について
Q.無停電電源装置(UPS)は設置されているのか?
A.設置されております。n+1の冗長構成となっており、停電時のほか、無停電
 電源装置が故障した際にも電源の供給に支障がでない構成となっております。
Q.電源は冗長化されていないのか?
A.受電は特別高圧3回線スポットネットワーク方式となっており、電力会社の
 事故を極力避ける構成となっております。また、無停電電源装置も上記の通
 り冗長構成となっております。しかしながら、出力の変圧器は、サーバ機器
 等に直接接続されているため冗長化が難しく、かつ一般的に障害率が低いこ
 とから変圧器および分電盤は冗長化されておりません。
Q.サーバラックへの電源供給系統は二重化されていないのか?
A.西新宿データセンターの場合、異なる分電盤から2本ずつサーバラックに配
 線されており完全に別系統となっております。
Q.発電機は作動しなかったのか?
A.商用電源の停電時に無給油で約40時間作動する発電機が設置されております
 が、今回は商用電源の停電事故ではなかったため作動はしていません。
Q.電源設備のメンテナンスは行なっていたのか?
A.電源設備については、メンテナンスサービス業者による年に1回の定期的な
 点検を行なっており、最後の点検は2008年の4月に行なっています。その際
 には、問題は発見されませんでした。また、電源室の空調設備のフィルタ
 清掃についても定期的に行なっており、最後のフィルタ清掃は2008年12月
 中旬に行なっております。 
 
■サービスについて
Q.影響を受けたサービスは?
A.西新宿データセンターにおいて提供しておりますハウジングサービスの一部
 が影響を受けました。その他サービスについての影響はございません。
Q.サーバで故障はなかったのか?
A.電源供給開始後、お客様の所有されているサーバのうち一部サーバが正常起
 動しなかったなどの報告を受けております。なお、今回発煙があったのは電
 源室のみであり、煙によるサーバへの影響はございません。
 
■今後の対応と再発防止策について
Q.今後の再発防止策は?
A.今回障害が発生した変圧器につきましては、2009年3月1日に交換し、正常稼働
 へ向けて点検・整備作業を行っております。当該変圧器以外の変圧器につき
 ましては、障害発生後より冷却ファンを追加するなどの冷却強化や、メーカー
 による温度監視の強化を行っておりますが、このたびメーカーからの報告にて、
 障害再現実験にて局部的な過熱発生が判明していること、これを踏まえ当該
 変圧器以外の変圧器につきましても健全性が確認された変圧器に交換させて
 欲しいとメーカーから強い申し入れを受けていることにより、当該変圧器以外
 のすべての変圧器も可及的速やかに交換することを決定いたしました。
 尚、障害発生後より、電力使用量抑制策および電源設備冷却強化策の実施、
 メーカーによる電源設備の日次点検および温度監視を継続して実施しており、
 再発防止のための態勢をとっております。
 
■その他
Q.同様の事例や前例は?
A.弊社では初めての事例です。メーカーによれば、他社でも前例はないと報告
 を受けております。
Q.他のデータセンターで同じ仕様の変圧器はあるか?
A.当該変圧器と同じ仕様の出力変圧器は、西新宿データセンターのみの設置で
 あり、弊社の他のデータセンターでは同じ仕様の変圧器は設置されておりま
 せん。
Q.今回の障害が業績に与える影響は?
A.当該変圧器の交換に伴う費用につきましては、メーカーにより負担されます
 ので、業績への影響はございません。
 尚、2008年12月21日付けで発表しております質問および回答は以下の通りです。
 ・「西新宿データセンター」における電源障害に関する質問および回答
                                 以上