ニフクラ Information

このページではニフクラのトラブル・メンテナンス情報をお知らせしていきます。

トラブル情報

2019年12月 4日(水)

トラブル情報オブジェクトストレージ障害について

平素はニフクラをご利用いただきまして、誠にありがとうございます。

2019年10月10日(木)から発生しておりましたニフクラ オブジェクトストレージ(east-2リージョン)障害に関しまして、
ご迷惑をおかけしましたことを深くお詫び申し上げます。
12月4日(水)11:00に現時点での対処を完了し、正常にご利用いただける状態となっております。
更新のある部分に (*) を付けています。

■障害発生時間
・2019年10月10日(木) 13:22~13:35
・2019年10月17日(木) 04:01~06:10、16:32~17:51
・2019年10月23日(水) 08:25~09:58
・2019年10月29日(火) 06:40~09:34
・2019年10月29日(火) 22:58~2019年10月30日(水) 00:53
・2019年11月13日(水) 16:17~17:08
・2019年11月18日(月) 19:45~20:58
・2019年11月19日(火) 02:45~03:11
・2019年11月20日(水) 03:30~04:19
・2019年11月24日(日) 21:50~22:03
・2019年11月26日(火) 19:40~20:08(*)

■影響範囲と発生事象
オブジェクトストレージ(east-2リージョン)※
 ・コントロールパネルおよびAPIにおいて、無応答または500番のエラーレスポンスが発生する場合がありました。(*)

なお、本障害の影響により、以下の機能において利用しづらい状況が発生しておりました。(*)
 ・ESSの配信ログのログダウンロード
 ・RDBの自動バックアップ
※west-1リージョンのオブジェクトストレージは正常稼働中です。
※本障害に伴うオブジェクトストレージ内のデータロストは発生しておりません。

■障害原因(*)
east-2リージョンのオブジェクトストレージを構成する一部ハードウェアの故障を起因とし 、データ保全性を高めるためのファイルが過剰に蓄積されたことが原因となって、ストレージの高負荷およびプロセスの停止を引き起こしておりました。

■対処状況(*)
・故障したハードウェアの交換
・冗長性回復処理に伴う負荷低減対策の実施
・ストレージベンダーを交えて更なる負荷低減策並びに根治対応の検証の実施

今回の対応の中で、ファイルが過剰に蓄積する前に、該当データの冗長性回復処理を優先的に高速処理する方式およびシステムを確立しました。この方式およびシステムを用いることで、万一、ハードウェアの故障等が発生した場合でも、サービスに影響を与えることなく早期に復旧することが可能となりました。


★2019年11月1日 14:00 追記
本障害の根治対応を進めることを目的としまして、11月2日(土)00:00から11月5日(火)06:00にかけて、終日緊急メンテナンス作業を実施させていただきます。
本作業に伴いまして、コントロールパネルおよびAPIの応答遅延やエラー応答が断続的に発生する可能性がございます。
ご迷惑をお掛けしますが、完全復旧に向けて必要な対処のため何卒ご理解くださいますようお願いいたします。

★2019年11月15日 09:05 追記
本障害の根治対応を進めることを目的としまして、11月15日(金) 19:00~11月18日(月) 07:00にかけて、終日緊急メンテナンス作業を実施させていただきます。
本作業に伴いまして、コントロールパネルおよびAPIの応答遅延やエラー応答が断続的に発生する可能性がございます。
ご迷惑をお掛けしますが、完全復旧に向けて必要な対処のため何卒ご理解くださいますようお願いいたします。

★2019年12月04日 11:20 追記(*)
負荷低減対策を完了し、ファイルが過剰に蓄積する前に、該当データの冗長性回復処理を優先的に高速処理する方式およびシステムを確立しました。この方式およびシステムを用いることで、万一、機器の故障等が発生した場合でも、サービスに影響を与えることなく早期に復旧することが可能となりました。

投稿者 ニフクラスタッフ 2019年12月 4日(水) | 固定リンク

お客様各位

平素はニフクラをご利用いただき、ありがとうございます。
お客様からのお問い合わせメールにつきまして、以下の事象が発生しておりましたが、復旧いたしました。


●影響時間
2019/08/29(木)20:20 ~ 2019/8/30(金) 17:57


●障害内容
お客様から窓口あてのお問い合わせメール(お問い合わせフォーム経由含む)につきまして、窓口への着信が遅延している可能性がございました。現在は通常通りメールの送受信ができております。
お問い合わせにつきましては内容を確認次第順次回答させていただきます。

また、影響時間の前後に問い合わせフォームからお問い合わせいただいたお客様につきましては、受付メールが重複して送信されている可能性がございます。
初回にお送りした案件番号にて対応を進めさせていただきますので、重複した受付メールがございましたらお手数ですが破棄いただきますようお願いいたします。

このたびはご迷惑をおかけし申し訳ございませんでした。

投稿者 ニフクラスタッフ 2019年8月30日(金) | 固定リンク

初回掲載日時:2019/04/26(金)17:00
最終更新日時:2019/05/09(木)21:20


平素はニフクラをご利用いただきまして、誠にありがとうございます。
本不具合につきまして、修正が完了いたしました。
現在は通常どおりご利用いただけます。

この度はご迷惑をおかけし申し訳ございませんでした。
今後とも、ニフクラをよろしくお願いいたします。

2019年05月09日 21時20分 追記
---------------------------------------------------
対象ゾーンに更新がありましたのでご連絡させていただきます。

現在、east-11,12ゾーンにて以下の事象が発生しております。ご迷惑をおかけし申し訳ございません。


■発生日時
2019/04/03 15:46以降

■影響サービス
サーバーコピー

■影響概要
他のゾーンからeast-11,12ゾーンに対して、増設ディスクをつけたサーバーのサーバコピーを行った際、サーバコピーに失敗する可能性がございます。

■対象ゾーン
east-11ゾーンの一部
east-12ゾーンの一部

■回避策
お手数ですが増設ディスクを一度外していただき、サーバーコピーを実施してください。

ディスクの認識を外す設定方法(アンマウント手順)
 Linux系OSの場合
 Windows系OSの場合
 
ディスクの設定方法(マウント手順)
 Linux系OSの場合
 Windows系OSの場合

投稿者 ニフクラスタッフ 2019年5月 9日(木) | 固定リンク

初回掲載日時:2019/03/22(金)11:41
最終更新日時:2019/03/23(土)11:16

以下のトラブルが発生しておりました。
お客様には長時間ご迷惑をおかけいたしましてまことに申し訳ございません。
(★が1時間以内に更新された箇所)

【 障害お知らせ通知番号 】
T003237

【 障害発生時間 】★
2019/03/22(金)11:32 ~ 2019/03/23(土)11:13

【 影響範囲 】
east-31ゾーン全体

【 障害内容 】★
クラウド基盤として通信が復旧し、コントロールパネルの全機能が操作可能となっております。

▼サーバーが正常に起動しない場合の対処
本障害に伴ってサーバーの稼働状態が異常となっている可能性がございます。
その場合は、以下の手順をお試しください。

Linux系OSの場合
 サーバーの再起動を実施してください。
 再起動をしてもIPアドレス取得不可などの異常が生じている場合は、ディスク修復が必要となっていると考えられます。
 以下の手順をお試しください。
  ニフクラコンソールを起動し、サーバーを再起動してください。
  シングルユーザーモードでログインし、以下のコマンドを実行してください。
  fsck -y /dev/【 sdb1 】 ←こちらにマウントしているディスクを指定してください。
  もう一度再起動を実施してください。
   【ご参考】
   FAQ: コンソール機能を利用しシングルユーザモードでログインする事は可能ですか
   https://cloud.nifty.com/cs/catalog/cloud_faq/catalog_120725000811_1.htm

Windows系OSの場合
 サーバーの再起動を実施してください。

▼サーバーのディスクがリードオンリーになっている場合の対処
本障害に伴ってサーバーのディスクがリードオンリーになっている可能性がございます。
以下の操作方法に沿ってご確認をお願いいたします。


Linux系OSの場合
 ・ローカルディスクがリードオンリーの場合
  サーバーの再起動を実施してください。

 ・増設ディスクがリードオンリーの場合
  増設ディスク領域を一旦アンマウントし、その後以下のコマンドを実行してください。
  fsck -y /dev/【 sdb1 】 ←こちらにマウントしているディスクを指定してください。
  その後、再マウントを実施してください。

 ・ローカルディスク、増設ディスク両方がリードオンリーの場合
  ニフクラコンソールを起動し、サーバーを再起動してください。
  シングルユーザーモードでログインし、以下のコマンドを実行してください。
  fsck -y /dev/【 sdb1 】 ←こちらにマウントしているディスクを指定してください。
  もう一度再起動を実施してください。
   【ご参考】
   FAQ: コンソール機能を利用しシングルユーザモードでログインする事は可能ですか
   https://cloud.nifty.com/cs/catalog/cloud_faq/catalog_120725000811_1.htm

Windows系OSの場合
 サーバーが不安定な場合はサーバーの再起動を実施してください。

上記の操作方法を実施してもリードオンリーから復旧しない場合は、お手数ですが
トラブル問い合わせWEBフォームからお問い合わせください。

【 原因 】★
ネットワーク機器の機器故障

【 進捗状況 】★
復旧済み(対処完了)

-----
■本記事について
・上記「初回掲載日時」を起点に復旧まで毎時00分を目途に本ページを更新します。
・最後に更新した日時を「最終更新日時」として記載します。
・更新箇所は★部分です。更新箇所がない場合は最終更新日時の更新のみとなります。

投稿者 ニフクラスタッフ 2019年3月23日(土) | 固定リンク

初回掲載日時:2019/03/05(火)12:13
最終更新日時:2019/03/05(火)23:43

以下のトラブルが発生いたしました。
お客様には大変ご迷惑をおかけいたしまして申し訳ございません。
(★が1時間以内に更新された箇所)

【 障害お知らせ通知番号 】
T003198

【 障害発生時間 】★
2019/03/05(火)11:42 ~ 2019/03/05(火)22:11

【 影響範囲 】
east-14ゾーン全体

【 障害内容 】★
当初影響範囲をEast-14の一部としておりましたが、調査の結果、East-14ゾーン全体で影響が発生していた可能性がございます。このため影響範囲を更新いたしました。

ネットワーク機器故障に伴い通信が不安定な状態が発生しておりました。

2019/03/05 13:45~13:47 左記時間帯において本事象に伴う通信断が発生していた可能性がございます。
2019/03/05 11:42~11:43 左記時間帯においてネットワーク機器故障に伴う経路切り替わりにより瞬断が発生した可能性がございます。

【 原因 】★
ネットワーク機器の機器故障

【 進捗状況 】★
復旧済み(対処完了)

-----
■本記事について
・上記「初回掲載日時」を起点に復旧まで毎時00分を目途に本ページを更新します。
・最後に更新した日時を「最終更新日時」として記載します。
・更新箇所は★部分です。更新箇所がない場合は最終更新日時の更新のみとなります。

投稿者 ニフクラスタッフ 2019年3月 5日(火) | 固定リンク

平素はニフクラをご利用いただきまして、誠にありがとうございます。

SQL Server 2017のセットアップが正常に完了しない可能性があるため、
一時的に「Windows Server 2016 Std + SQL Server 2017 Std」のOSイメージを公開中止とさせていただきます。
お客様にはご迷惑をおかけいたしますが、作成をお控えいただくようお願いいたします。

進捗につきましては分かり次第公開いたします。
何卒ご理解のほどよろしくお願いいたします。

投稿者 ニフクラスタッフ 2019年2月19日(火) | 固定リンク

初回掲載日時:2019/02/17(日)08:50
最終更新日時:2019/02/17(日)09:54

以下のトラブルが発生いたしました。
お客様には大変ご迷惑をおかけいたしまして申し訳ございません。
(★が1時間以内に更新された箇所)

【 障害お知らせ通知番号 】
T003163

【 障害発生時間 】★
2019/02/17(日)08:05 ~ 2019/02/17(日)09:22

【 影響範囲 】
us-east-11ゾーンの一部

【 障害内容 】★
日本と北米間の通信において上位回線における接続障害と見られる事象により、一部経路において通信が不安定な状態が発生しておりました。(2019/02/17 09:22頃復旧)

下記IPアドレスを持つVM,ロードバランサー(L4)においてグローバル通信が一時的に不安定な状態が発生している可能性がございます。
対象IP帯 67.214.xxx.xxx(67.214.150.xxx等)

【 原因 】★
ネットワーク回線の通信エラー

【 進捗状況 】★
復旧済み(自然復旧)

-----
■本記事について
・上記「初回掲載日時」を起点に復旧まで毎時00分を目途に本ページを更新します。
・最後に更新した日時を「最終更新日時」として記載します。
・更新箇所は★部分です。更新箇所がない場合は最終更新日時の更新のみとなります。

投稿者 ニフクラスタッフ 2019年2月17日(日) | 固定リンク

初回掲載日時:2019/02/12(火)15:38
最終更新日時:2019/02/12(火)17:05★

以下のトラブルが発生いたしました。
お客様には大変ご迷惑をおかけいたしまして申し訳ございません。また、メール通知が遅くなっておりご迷惑をおかけしております。
(★が1時間以内に更新された箇所)

【 障害お知らせ通知番号 】
T003150

【 障害発生時間 】★
2019/2/12 13:59~16:56

【 影響範囲 】
east-11ゾーンの一部, east-12ゾーンの一部, east-13ゾーンの一部, east-14ゾーンの一部

【 影響サービス 】
ロードバランサー

【 障害内容 】★
east-1リージョンでロードバランサーが設定通りの動作になっていない場合がありました。
現在は復旧しております。

【 進捗状況 】
復旧済み

【 原因 】
物理ネットワーク機器のシステム障害
-----
■本記事について
・上記「初回掲載日時」を起点に復旧まで毎時00分を目途に本ページを更新します。
・最後に更新した日時を「最終更新日時」として記載します。
・更新箇所は★部分です。更新箇所がない場合は最終更新日時の更新のみとなります。

投稿者 ニフクラスタッフ 2019年2月12日(火) | 固定リンク

初回掲載日時:2019/02/12(火)15:17
最終更新日時:2019/02/12(火)15:17

以下のトラブルが発生いたしました。
お客様には大変ご迷惑をおかけいたしまして申し訳ございません。
(★が1時間以内に更新された箇所)

【 障害お知らせ通知番号 】
T003150

【 障害発生時間 】
2019/02/12(火)13:59 ~ 2019/02/12(火)15:02

【 影響範囲 】
ニフクラ全体

【 影響サービス 】
コントロールパネル

【 障害内容 】
コントロールパネルが利用できない
ニフクラのコントロールパネルにログインできない事象につきまして、復旧いたしました。
この度はご迷惑をおかけいたしまして、大変申し訳ございません。

【 原因 】
ネットワーク機器のシステム障害

【 進捗状況 】
復旧済み(対処完了)

-----
■本記事について
・上記「初回掲載日時」を起点に復旧まで毎時00分を目途に本ページを更新します。
・最後に更新した日時を「最終更新日時」として記載します。
・更新箇所は★部分です。更新箇所がない場合は最終更新日時の更新のみとなります。

投稿者 ニフクラスタッフ 2019年2月12日(火) | 固定リンク

初回掲載日時:2019/02/12(火)14:50
最終更新日時:2019/02/12(火)16:18

本記事掲載の障害につきましては、T003150 【復旧報】コントロールパネル障害のお知らせ [ニフクラ]をご確認ください。

投稿者 ニフクラスタッフ 2019年2月12日(火) | 固定リンク

より以前の記事一覧