障害情報

サーバー障害発生のお知らせ(一部データセンター)

追記 1/18 15:00

この度は、障害により多大なるご迷惑をおかけし申し訳御座いません。

現在ご利用頂いておりますWindows共用サーバープランにおいて、
クラウド基盤提供元から障害についての経過報告が掲示されております
ので、ご報告いたします。

——-(ここから)———————————————-
1/17 18:02更新

ストレージ障害に関しまして進捗をご報告申し上げます。
本件につきましては現在も引き続き調査中でございます。
復旧までお待ちいただきますようお願い申し上げます。
————————————————————
1/16 19:06更新

根本原因につきましては継続して調査中でございますが
以下の対応を実施することで再発防止をおこなっております。

・ストレージシステム全体のガベージコレクション自動タスクの常時監視
・新しいノード追加、ならびにノード13の交換作業の実施

2019年1月16日(水)19時時点でのSSDストレージシステム状況につきましては、
ガベージコレクションの処理は正常な状態に戻っており、出力されております
ログの内容からも正常な状況であると判断しております。
ガベージコレクションの自動タスクの常時監視に加え、日時で処理状況を
監視しておりますが、良好な状態であり現象が再現する兆しはございません。
——-(ここまで)———————————————-

まだ完全復旧の掲示がされておらず再発が心配のお客様もおられると思い
ます。
完全復旧まで今しばらくお待ち頂きますようお願いいたします。

弊社でも障害発生から弊社独自でマイグレーションを行い安全な環境へ
移行が出来ないか検証を行っておりますが、Plesk付属のマイグレーショ
ンツールが正しく動作せずPlesk社のサポートに調査を依頼している
状況で御座います。
この問題が解決いたしましたら弊社で移行作業が可能となりますが、
いま、すぐにでも移転をご希望の客様は、お客様による移転が可能ですの
でご希望の場合は、ご連絡を頂きますようお願い申し上げます。
サーバーの設定情報をお送りいたしますので、移転をお願い申し上げます。

  ご利用のお客様には、ご迷惑をおかけいたします。
  重ねてお詫び申し上げます。
——————————————————————–
追記 1/3 12:00

この度は、大変ご迷惑をおかけし申し訳御座いませんでした。
再発しておりました仮想サーバーの復旧が完了致しました。

ドメイン……………: secure12.willnet.org

復旧日時:2019年01月03日11時00分頃 – 2019年01月03日11時30分頃

一度ご確認頂き問題が御座いましたらご連絡をお願い致します。
——————————————————————–
追記 1/2 9:00

この度は、大変ご迷惑をおかけし申し訳御座いませんでした。
再発しておりました仮想サーバーの復旧が完了致しました。

ドメイン……………: win24.willnet.ad.jp
ドメイン……………: sql2014.willnet.ad.jp

復旧日時:2019年01月02日 7時頃

一度ご確認頂き問題が御座いましたらご連絡をお願い致します。
——————————————————————–
追記 1/2 03:40

この度は、大変迷惑をおかけし申し訳御座いません。
おまたせ致しました。
以下サーバーの復旧が完了致しましたのでご報告致します。
IPアドレスの変更は御座いません。

ドメイン……………: secure12.willnet.org
IPアドレス…………:153.122.107.131

復旧日時:2019年01月02日 3時:40分

一度ご確認頂き問題が御座いましたらご連絡をお願い致します。
——————————————————————–
追記 1/2 02:38 更新

お客さま各位

ご迷惑をおかけいたしまして、誠に申し訳ございません。
現在も引き続きノードの切り離し作業を継続中となります。

GMOクラウド ALTUS(アルタス)の障害情報は、こちらをご覧頂きますようお願い致します

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。
——————————————————–
追記 1/2 01:55 更新

ご迷惑をおかけいたしまして、誠に申し訳ございません。
現在ノードの切り離し作業を継続中となります。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。

————————————————————
追記  1/2 01:07 更新

ご迷惑をおかけいたしまして、誠に申し訳ございません。
本障害につきまして、現在メモリエラーが発生しているノードが確認できましたため、
該当のノードの切り離し作業を実施しております。

大変恐縮ではございますが、復旧までお待ちいただきますようお願い申し上げます。

————————————————————
追記 2019-01-02 0時10分

クラウド基盤のディスクヘッジとして弊社で数台利用しておりますGMOクラウド提供の基盤に障害が再発しております。
現在GMOクラウドに原因と対策を確認しております。
分かり次第ご連絡致します。

win24.willnet.ad.jp
sql2014.willnet.ad.jp

ご利用のお客様にはご迷惑をおかけし申し訳御座いません。
—————————————————————————–
追記 2019-01-01 19時40分

最新データのサルベージをデータセンタ側で行っております。
この作業の結果次第で復旧のデータが異なりますので、作業の結果を現在待っております。

ドメイン……: secure12.willnet.org

また、先ほどIPアドレスが以下に変更になるとご報告申し上げましたが変更は一旦保留として下さい。

旧IPアドレス..:153.122.107.131
新IPアドレス..:163.43.91.183

何度もスケジュールの変更が御座いますこと深くお詫び申し上げます。
—————————————————————————–
追記 2019-01-01 19時05分

先ほど以下サーバーの復旧時刻を「2019年1月1日 18時半頃」と申し上げましたがデータベース、apacheの移行が難航しております。
復旧作業を行っておりますので、今しばらくお待ち頂きますようお願い致します。

ドメイン……..: secure12.willnet.org

また、先ほどIPアドレスが以下に変更になるとご報告申し上げましたが変更は一旦保留として下さい。

旧IPアドレス…:153.122.107.131
新IPアドレス…:163.43.91.183

何度もスケジュールの変更が御座いますこと深くお詫び申し上げます。
—————————————————————————–
追記 2019-01-01 17時20分

現在稼働しておりますクラウド環境の本番ディスクとバックアップディスクに問題が発生し復旧が困難な状況となっております。
そこで弊社で3重に取得しておりますバックアップから取得地データセンターにて復旧作業を優先させて頂きたいと存じます。
そのため大変申し訳御座いませんが、IPアドレスが以下に変更となります。

旧IPアドレス…:153.122.107.131
新IPアドレス…:163.43.91.183

バックアップデータ取得日時:2018年12月21日 17時00分

復旧完了予定時刻…:2019年1月1日 18時半頃

弊社ネームサーバーをご利用にお客様は、弊社で一括変換可能ですが、弊社のネームサーバー以外のものをご利用の場合は、大変ご面倒ですがIPアドレスの変更を行って頂く必要が御座います。

弊社ネームサーバーは、以下となります。

ns1.willnet.ne.jp
ns2.willnet.ne.jp

今回の復旧作業では、「2018年12月21日 17時00分」のバックアップしか残っておりませんため、「2018年12月21日 17時00分」以降のWEB・MAILやPleskから加えられた変更は、反映されておりません。
大変申し訳御座いませんがバックアップ取得日以降の変更につきましては、改めて行って頂きますようお願い申し上げます。

長期間に渡りご迷惑をおかけしたあげく、復旧データが最新のものとはならず申し訳御座いません。
我慢強くご支援を頂きましたお客様には、こころよりお詫び申し上げます。
—————————————————————————–
追記 2019-01-01 16時30分

本日、昼ごろからバックアップより復旧作業を実施しておりました。
先ほどデータの復旧を確認いたしましたのでお知らせ致します。
ご確認頂き何か御座いましたらご連絡をお願い致します。

対象サーバー:win24.willnet.ad.jp

ご迷惑をおかけいたしますこと深くお詫び致します。
我慢強くお待ちいただきましたお客様には、こころよりお詫び申し上げます。
—————————————————————————–
2019年1月1日 15時00分追記

「secure12.willnet.org」のバックアップからの復旧がエラーとなりましたため他クラウドのバックアップからのデータが復旧可能か確認中です。
正常に戻すことが出来た場合は、18時ごろを目処に完了する予定です。

対象サーバー:secure12.willnet.org

ご迷惑をおかけいたしますこと深くお詫び致します。
—————————————————————————–
2019年1月1日 13時30分追記

29日から発生しておりました障害につきまして、弊社独自にバックアップからの復旧作業を実施しております。
先ほどMSSQLサーバーの復旧が完了致しましたので、お知らせ致します。
稼働中の最新データに近い日時で普及完了しておりますが、最新のデータでは御座いませんので一度ご確認を頂きデータ追加等が必要な場合は、ご対応を何卒お願い致します。

対象サーバー:sql2014.willnet.ad.jp
バックアップ日時….:2018年12月30日 20時30分

並行して「win24.willnet.ad.jp」「secure12.willnet.org」の復旧作業を実施しておりますがディスクボリュームが大きいため少し時間がかかっております。

ご迷惑をおかけいたしますこと深くお詫び致します。
—————————————————————————–

2019年1月1日 8時30分追記

この度は、ご迷惑をおかけし申し訳御座いません。
データセンター側(クラウド事業者)がディスク追加後、仮想サーバーが起動できなくなり既存ディスクからのデータ取り出しが困難という報告が届いております。

バックアップからの復旧作業を実施致しますので、前日から1週間ほど遡って復旧する可能性が御座いますことお知らせ致します。
15時から17時を目処に復旧作業を実施致します。

—————————————————————————–
この度の障害に付きまして下記に改めてお送り致します。

              <記>

1.障害発生日時

 ・2018年12月29日(土)13時35分頃 ~ 2018年12月29日(土)14時45分
 ・2018年12月30日(日) 23時50分頃 ~ 2018年12月31日(月) 2時45分
 ・2018年12月31日(月)10時10分頃 ~

2.影響について

 WEB・MAILなどのサービスが利用できない状態
 仮想サーバー内部からは、外部へ接続可能、外部から仮想サーバーへのアクセスが出来ない状態

3.対象サーバー

 一部のレンタルサーバーご利用のお客様
 該当のお客様には、メールにてお知らせしております。

4.原因

 引き続き調査中でございますが、ストレージシステムに異常が発生しており空き容量が十分確保できている状態にも関わらず、ストレージシステム上では、ディスク容量超過となっている影響により、データの書き込みが無効になっている状況でございます。

5.暫定措置

・システムログやテストサーバーの削除を実施いたしました。
・新たな物理ストレージの追加メンテナンスを12月31日(月)夕方に実施予定です。

20時00分からサーバーの再起動を実施致しますので、復旧が20時以降となります。
復旧完了後にご連絡致しますので、今しばらくお待ち頂きますようお願い致します。

  以下メンテナンス実施完了までのスケジュールになります。
  (既に以下の作業は、1月1日3時の時点で完了しております。)

2018年12月31日(月)
 16時00分 1つ目のノード設定開始
 19時30分 1つ目のノード設定完了
 19時40分 2つ目のノード設定開始
 20時00分 仮想サーバー再起動メンテナンス開始

 22時10分 2つ目のノード設定完了
 22時20分 3つ目のノード設定開始
 23時30分 仮想サーバー再起動メンテナンス終了
 23時50分 3つ目のノード設定終了

2019年1月1日(火)
 00時50分 3つ目のノード設定終了
 01時00分 4つ目のノード設定開始
 03時30分 4つ目のノード設定終了

6.恒久対策(日時も含めて)

 原因確定後に改めて対策を講じる予定です。

 ご迷惑をお掛けいたしますこと心よりお詫び申し上げます。

ページ上部へ戻る