障害情報 2019年10月28日に一部サーバーで発生しました共有ストレージ障害の対応状況につきまして

お知らせ一覧

レンタルサーバー「コアサーバー」からの大切なお知らせを
掲載しております。

一部サーバーで発生しました共有ストレージ障害の対応状況につきまして

お客様 各位

この度はご利用のサーバーにおきまして障害が発生し、ご迷惑をおかけいたしておりますことを深くお詫び申し上げます。

共有ストレージ障害の詳細につきまして、下記の通りご報告申し上げます。

なお、現在も鋭意対応中でございます。
現在の対応状況と今後のメンテナンス情報につきましては、随時アップデートしてまいります。

大変申し訳ございませんが、引き続き、ご理解とご協力のほど、よろしくお願い申し上げます。

【 障害に関する詳細説明 】

■ 発生日時
2019/10/28 04:15 ~
■ 発生原因
共有ストレージ障害
■ 影響範囲
対象サーバー:
s22.coreserver.jp
s60.coreserver.jp
s72.coreserver.jp
s82.coreserver.jp
s86.coreserver.jp
s110.coreserver.jp
s121.coreserver.jp
s139.coreserver.jp
s170.coreserver.jp
s176.coreserver.jp
s179.coreserver.jp
b26.coreserver.jp
b27.coreserver.jp
m34.coreserver.jp
m48.coreserver.jp

データベースの約1割でエラーが発生
高負荷状態に伴う断続的な表示障害
■ 時系列経緯
弊社側での対応経緯は下記の通りとなります。

2019/10/28 04:00 ファイルのバックアップ処理がスタート
2019/10/28 04:15 RAIDを構成するSSD 12台構成のうち複数台で故障が発生、RAIDシステムが一時的にオフラインになる
2019/10/28 04:20 弊社エンジニアによる作業開始
2019/10/28 04:30 ファイルのバックアップ処理、データベースソフトウェアなどを緊急停止
2019/10/28 04:50 ストレージのバックアップを試みるが失敗、ファイルシステムエラーで読み取りができない状況が発生
2019/10/28 05:00 ストレージの再起動を実施
2019/10/28 05:15 RAIDシステムが認識されるもののファイルシステムエラーが発生
2019/10/28 05:20 ファイルシステムエラーの修復処理を開始
2019/10/28 06:00 RAIDシステム、SSDの交換の調整作業を開始
2019/10/28 12:00 ファイルシステムエラーの修復処理が完了
2019/10/28 13:00 RAIDシステム、ストレージハードウェア交換を実施
2019/10/28 17:00 交換作業が完了
2019/10/28 17:10 直近のバックアップデータからのデータ復元を実施
2019/10/29 01:10 データ復元を処理完了
2019/10/29 01:15 サーバー復旧
2019/10/29 02:00 一部、整合性の取れない状態を検知、バックアップからの復旧・修正開始
2019/10/29 09:00 データベース以外で復旧完了
2019/10/29 09:00 RAIDシステムで復元時に高負荷状態が発生
2019/10/29 09:00 データベースのデータ復旧を実施
2019/10/29 15:00 約1割のデータベースにおいて、整合性の取れない状態があることが判明
2019/10/29 17:00 直近(10/28 04:00)のバックアップ処理で不完全な状態でデータベースのバックアップが発生していることが判明
2019/10/29 17:10 整合性取れない状態の判断が難しく、お問い合わせに応じて、手動復旧を開始
2019/10/29 18:00 RAIDシステムの負荷が高く、復旧に時間がかかる状態が発生
2019/11/07 00:00 b26からデータ移行メンテナンス作業を開始
2019/11/10 21:00 全台のデータ移行メンテナンス作業開始
2019/11/11 05:10 全台のデータ移行メンテナンス作業完了
2019/11/11 12:20 m34 m48 s72.coreserver.jp においてデータベースのデータ移行に一部不具合がありましたが修正作業が完了

■ 現在の状況並びに復旧への取り組み状況

・対象サーバーのデータベース(約80ユーザー)

 直近のダンプデータが取れるデータベースで、最新のデータと判断できるものについては復旧済み
 直近のダンプデータが取れるデータベースで、最新のデータか判断できないものについては個別リストア対応で復旧
 直近のダンプデータが取れないデータベースについては、過去に存在するダンプデータ(2019年6月)から復旧
 過去に存在するダンプデータがない場合は、基本的に復旧が困難

 [対応]

 障害時点(2019/10/28)のデータベースのバックアップデータからの復旧が可能になりましたが、
 大変申し訳ございませんが、なお、データ異常が発生している場合、お客様のバックアップデータからの復旧をお願いいたします。(2019/11/07 03:00 時点)

 データ移行メンテナンス後も復旧していない場合は、お手数ですが、
 ・URL
 ・データベース名
 ・エラー等状況の詳細
 を添えてお問い合わせください。(2019/11/11 15:00 時点)

・高負荷状態に伴う断続的な表示障害(全ユーザー)

 RAIDシステムにおいて復元処理と新サーバーへのデータ移行処理で高負荷状態になっている

 [対応]

 大変申し訳ございませんが、順次新サーバーへの移行メンテナンスを行います。移行後は解消される予定です。
 移行メンテナンスにつきましては、下記【 障害に伴ったメンテナンスに関する詳細 】をご覧ください。

【 障害に伴ったメンテナンスに関する詳細 】

この度はご利用のサーバーにおきまして障害が発生し、ご迷惑をおかけいたしておりますことを深くお詫び申し上げます。

今回発生いたしました障害に伴いまして新サーバーへのデータ移設メンテナンスを行わせていただきます。

[2019年11月11日 13:00]
新サーバーへのデータ移行メンテナンスは障害対象のサーバー全台におきまして完了しております。
この度は大変ご迷惑をおかけいたしましたことを深くお詫び申し上げます。

■ メンテナンス目的
新サーバーと新ストレージに移行することにより負荷を軽減する
■ 作業内容
ハードウェアメンテナンス(新サーバーへのデータ移行)
■ 影響範囲
サーバー内の全サービスが停止いたします。
※メンテナンス前後、一時的に高負荷の状態が発生する可能性がございます。
■ メンテナンス終了サーバー
以下のサーバーは新サーバーへのデータ移行が完了しております。

・2019/11/07(木)
 b26.coreserver.jp

・2019/11/10(日)
 s22.coreserver.jp
 s60.coreserver.jp
 s72.coreserver.jp
 s82.coreserver.jp
 s86.coreserver.jp
 s110.coreserver.jp
 s121.coreserver.jp
 s139.coreserver.jp
 s170.coreserver.jp
 s176.coreserver.jp
 s179.coreserver.jp
 b27.coreserver.jp
 m34.coreserver.jp
 m48.coreserver.jp
■ 障害・メンテナンス情報
https://mainte.value-domain.com/eventview.cgi?host=CoreServerAll&no=132

お客様には大変なご心配とご迷惑をお掛けし申し訳ございませんが、何卒ご協力いただきますようお願い申し上げます。

以上

WordPressも簡単にインストール可能です!

まずは30日間無料お試しから <クレジットカード不要の30日間無料お試し付き>
ホームページを1分で作ろう!

独自ドメイン+WordPressが最短1分で設定完了! 事前にバリュードメイン
登録しておくとスムーズです。

×