16. エスカレーション設定マニュアル
本書は、X-MON を使ってホストやサービスの障害時に通知を行う設定を登録するマニュアルです。
そのため、基本的な OS や GUI の一般的な操作、ホストやサービス、ユーザの設定などについてはご理解の上でお読みください。
また、X-MON の操作画面はお使いの OS やブラウザによって異なる場合がございます。
16.1. エスカレーション設定とは
ホストまたはサービスに障害が発生した際に行う通知を、障害ステータス別や経過時間などで設定できる機能です。
設定されたエスカレーションは障害発生と同時に動き始め、障害が復旧するまで行われます。
図 エスカレーション設定例
基本的な設定と確認については、それぞれ
をご参照ください。その他の使い方は以降に掲載しております。
用語については 用語集 をご確認ください。
16.2. エスカレーション設定の登録
障害通知のエスカレーション設定を X-MON へ登録します。
例として以下の設定内容を登録します。
既に X-MON へ登録済みの設定
エスカレーション設定を登録したいホスト・サービスについては適宜読み替えてください。
項目名 |
内容 |
|---|---|
通知対象ホスト ID（名称） |
WEB_SERVER（ウェブサーバ）、DB_SERVER（データベース） |
通知対象ホストのサービス ID |
WEB_SERVER…CPU、MEMORY、HTTP
DB_SERVER…CPU、DISK、LOGIN
|
通知対象ホストグループ ID（名称） |
ContentGroup（コンテンツサーバグループ） |
通知対象ホストグループに含まれるホスト |
WEB_SERVER、DB_SERVER |
通知対象サービスグループ ID（名称） |
ResourceService（リソース監視グループ） |
通知対象サービスグループに含まれるサービス |
WEB_SERVER…CPU、MEMORY
DB_SERVER…CPU、DISK
|
通知ユーザ ID（名称） |
Operator（オペレータ） |
通知ユーザグループ ID（名称） |
OperatorGroup（障害通知連絡グループ） |
電話通知設定名称 |
電話通知 |
登録するエスカレーション設定
ホストのエスカレーション
●「全てのホスト」に対して…
障害が発生や障害ステータスが変化した場合、または障害が復旧した場合にユーザグループ「障害通知連絡グループ」に対して「メール通知」を行う。
●ホストグループ「コンテンツサーバグループ」に所属するホストに対して…
障害が発生した場合、「オペレータ」に対して「メール通知」を行う。
障害発生より 5 分経過した時点で復旧していない場合「電話通知」を行い、これ以降復旧していない場合 10 分毎に同じ動作を行う。
障害発生より 20 分経過した時点で復旧していない場合、「サーバの再起動」コマンドを実行する。
サービスのエスカレーション
●「全てのサービス」に対して…
障害が発生や障害ステータスが変化した場合、または障害が復旧した場合にユーザグループ「障害通知連絡グループ」に対して「メール通知」を行う。
●サービスグループ「リソース監視グループ」に所属するサービスに対して…
障害が発生した場合、「オペレータ」に対して「メール通知」を行い、これ以降復旧していない場合 30 分毎に同じ動作を行う。
16.2.1. エスカレーション設定画面への遷移
X-MON の「管理者メニュー」より、「エスカレーション設定」リンクを押します。
エスカレーション設定の一覧表示画面に遷移します。
16.2.2. ホストのエスカレーション設定
エスカレーション設定一覧画面で、表示タブが「ホスト設定」であることを確認し、新規作成ボタンを押します。
ホストのエスカレーション設定の新規作成画面に遷移します。
16.2.2.1. 全てのホストを対象とした設定の追加
例で提示した以下のエスカレーション設定を登録します。
●「全てのホスト」に対して…
障害が発生や障害ステータスが変化した場合、または障害が復旧した場合にユーザグループ「障害通知連絡グループ」に対して「メール通知」を行う。
エスカレーション名称に任意の名称を入力し、エスカレーション対象は「全てのホスト」を選択します。
次に実行する内容を作成します。
設定方法で「時間指定」を選択し、新しい条件の追加の「条件の追加」ボタンを押します。
時間指定と回数指定の違いについては 用語集 をご確認ください。
表示されたウィンドウで以下の内容を入力します。
障害ステータス DOWN と UNREACHABLE どちらも通知してほしいので「ステータス」は「DOWN/UNREACHABLE」を指定します。
障害発生時に通知がほしいので 0 分継続とします。※ 0 分継続＝障害発生時
実行コマンドは「ユーザグループ通知」の中から「障害通知連絡グループ」を選択します。
再度通知をするタイミングは、障害のステータスが変化した時、または復旧時なので「繰り返し」のチェックを外します。
入力できましたらウィンドウ下部の「追加」ボタンを押します。
選択済みエスカレーション条件に入力した内容が表示されます。
「操作項目の
アイコンよりエスカレーション条件の編集、
ボタンで設定した条件の削除が行えます。
「作成」ボタンを押し、エスカレーション設定を保存します。
16.2.2.2. 特定のホストやグループを対象とした設定の追加
続いて以下のエスカレーション設定を登録します。
●ホストグループ「コンテンツサーバグループ」に所属するホストに対して…
障害が発生した場合、「オペレータ」に対して「メール通知」を行う。
障害発生より 5 分経過した時点で復旧していない場合「電話通知」を行い、これ以降復旧していない場合 10 分毎に同じ動作を行う。
障害発生より 20 分経過した時点で復旧していない場合、「サーバの再起動」コマンドを実行する。
エスカレーション対象は「対象を選択」を選択し、入力欄へカーソルを合わせるか文字列を入力すると表示される選択肢から、ホストグループ「ContentGroup」を選択します。
ホストグループ「ContentGroup」が選択されました。
間違ったホストやグループを選択した場合は、赤い×アイコンを押すことで削除できます。
次に実行する内容を作成します。
新しい条件の追加の「条件の追加」ボタンから以下の設定を登録します。
障害が発生した場合、「オペレータ」に対して「メール通知」を行う。
障害発生より 5 分経過した時点で復旧していない場合「電話通知」を行い、これ以降復旧していない場合 10 分毎に同じ動作を行う。
障害発生より 20 分経過した時点で復旧していない場合、「サーバの再起動」コマンドを実行する。
条件ごとに、入力が完了すればウィンドウ下部の「追加」ボタンを押します。
選択済みエスカレーション条件に入力した内容が表示されます。
操作項目のアイコンよりエスカレーション条件の編集、ボタンで設定した条件の削除が行えます。
「作成」ボタンを押し、エスカレーション設定を保存します。
エスカレーション設定のホスト設定に、登録した 2 つのエスカレーション設定が表示されます。
一覧画面の詳しい見方については エスカレーション設定の確認 をご確認ください。
16.2.3. サービスのエスカレーション設定
エスカレーション設定一覧画面に移動した状態で、上部の「サービス設定」リンクを押します。
表示タブが「サービス設定」であることを確認し、新規作成ボタンを押します。
サービスのエスカレーション設定の新規作成画面に遷移します。
16.2.3.1. 全てのサービスを対象とした設定の追加
例で提示した以下のエスカレーション設定を登録します。
●「全てのサービス」に対して…
障害発生時や障害ステータスが変化した場合、または障害が復旧した場合にユーザグループ「障害通知連絡グループ」に対して「メール通知」を行う。
エスカレーション名称に任意の名称を入力し、エスカレーション対象は「全てのサービス」を選択します。
次に実行する内容を作成します。
新しい条件の追加の「条件の追加」ボタンを押します。
表示されたウィンドウで以下の内容を入力します。
障害ステータス WARNING、CRITICAL、UNKNOWN いずれも通知してほしいので「ステータス」は「WARNING/CRITICAL/UNKNOWN」を指定します。
障害発生時に通知がほしいので 0 分継続とします。※ 0 分継続＝障害発生時
実行コマンドは「ユーザグループ通知」の中から「障害通知連絡グループ」を選択します。
再度通知をするタイミングは、障害のステータスが変化した時、または復旧時なので「繰り返し」のチェックを外します。
入力できましたらウィンドウ下部の「追加」ボタンを押します。
選択済みエスカレーション条件に入力した内容が表示されます。
操作項目のアイコンよりエスカレーション条件の編集、ボタンで設定した条件の削除が行えます。
「作成」ボタンを押し、エスカレーション設定を保存します。
16.2.3.2. 特定のホストやグループに所属するサービスを対象とした設定の追加
続いて以下のエスカレーション設定を登録します。
●サービスグループ「リソース監視グループ」に所属するサービスに対して…
障害発生時、「オペレータ」に対して「メール通知」を行い、これ以降復旧していない場合 30 分毎に同じ動作を行う。
エスカレーション対象は「対象を選択」を選択し、入力欄からサービスグループ「ResourceService」を選択します。
サービスグループ「ResourceService」が選択されました。間違ったサービスやグループを選択した場合は赤い×アイコンを押すことで削除できます。
次に実行する内容を作成します。
新しい条件の追加の「条件の追加」ボタンから以下の設定を登録します。
選択済みエスカレーション条件に入力した内容が表示されます。
「作成」ボタンを押し、エスカレーション設定を保存します。
エスカレーション設定のサービス設定に登録した 2 つのエスカレーション設定が表示されます。
一覧画面の詳しい見方については エスカレーション設定の確認 をご確認ください。
16.3. エスカレーション設定の確認
X-MON の「管理者メニュー」より、「エスカレーション設定」リンクを押します。
この画面では X-MON へ登録されたエスカレーションを一覧で確認できます。
デフォルトではエスカレーション設定の基本的な情報のみを表示しますが、各エスカレーション設定の
アイコンや「詳細をすべて開く」を押すことで、エスカレーション設定の対象ホスト・サービスや、通知時間帯などの情報を表示します。
16.3.1. エスカレーション設定の確認
以下のサービスエスカレーション設定を例とします。
( アイコンを押し、詳細情報を開いた状態です。)
対象ステータスと通知タイミング
エスカレーションのトリガーとなるステータスと、エスカレーションが実行されるタイミングを表示します。無効なステータスは灰色で表示されます。
またステータス横の
アイコンは、エスカレーションの再通知設定で「障害ステータス変更時」を有効としている場合に青色で表示されます。
実行コマンド
エスカレーション設定で実行されるコマンドを表示します。
リンク表示の場合、押すことでグループに含まれる各通知先の情報を表示します。
エスカレーション条件の有効/無効
エスカレーション条件の有効・無効状態を表示します。
押すことで有効と無効が切り替わります。（オペレータ権限では出来ません。）
対象
対象: 全てのサービス
エスカレーション設定の対象となるホスト・サービスを表示します。
選択された項目の例 |
内容 |
|---|---|
全てのホスト |
全てのホスト |
ContentGroup |
特定のホストグループ |
X-MON |
特定ホスト |
全てのサービス |
全てのサービス |
ResourceService |
特定のサービスグループ |
X-MON:PING |
特定ホストの特定サービス |
全てのホスト・サービスや、特定のホストグループ・サービスグループを選択した場合、 ホストエスカレーション設定ではグループに所属するホスト全て、サービスエスカレーション設定ではグループに所属するサービス全てを対象とします。
サービスエスカレーション対象にホストグループを登録すると、該当ホストグループに含まれるホストの全サービスをエスカレーション対象とします。
ホストエスカレーション対象にサービスグループを登録することはできません。
「全てのホスト」または「全てのサービス」を選択し、一部ホスト・サービスのみをエスカレーション対象外とすることはできません。 別途、対象外としたいホスト・サービスを含まないグループを作成いただき、エスカレーション設定の対象としてください。
設定方法
設定画面で指定した、エスカレーションの実行方法を表示します。
通知時間帯
エスカレーション設定が動作する時刻設定を表示します。
初回通知の遅延時間
エスカレーションの初回動作までの待機時間を分単位で表示します。
詳細表示
押すことでエスカレーションの対象や、通知時間帯などの情報を開閉します。
編集
エスカレーション設定の編集 をご確認ください。
削除
エスカレーション設定の削除 をご確認ください。
詳細をすべて開く / 詳細をすべて閉じる
一覧に表示されている全てのエスカレーション設定の詳細表示を開閉します。
16.3.2. エスカレーション設定の絞り込み
16.3.2.1. ホスト・サービス検索
対象を指定して、エスカレーション設定を絞り込んで表示することが出来ます。
絞り込み検索の上部にある入力欄を押し、絞り込みを行いたいホストやサービスを選択して「検索」ボタンを押します。
検索の方法として以下の 3 パターンが選択できます。
例）ホスト「WEB_SERVER」をプルダウンから選択した場合
対象が検索項目に所属する
エスカレーション対象に、ホスト「WEB_SERVER」や、ホスト「WEB_SERVER」に所属するサービス ID「CPU」「MEMORY」「HTTP」が指定されているエスカレーション設定を表示します。
検索項目が対象に所属する
エスカレーション対象にホスト「WEB_SERVER」や、ホスト「WEB_SERVER」が所属するホストグループ ID「ContentGroup」が指定されているエスカレーション設定を表示します。
検索項目が対象に指定されている
エスカレーション対象にホスト「WEB_SERVER」が指定されているエスカレーション設定を表示します。
16.3.2.2. エスカレーション条件での絞り込み
エスカレーション条件を指定して、エスカレーション設定を絞り込んで表示することが出来ます。
以下の 4 項目でエスカレーション条件を指定出来ます。
複数項目を選択した場合、全ての条件に一致するエスカレーション条件を持つエスカレーション設定のみが表示されます。
ステータス
該当のステータスが有効となっているエスカレーション条件が登録されているエスカレーション設定のみを表示します。
チェックボックスをすべて外した状態では、ステータス項目での絞り込みが行われません。
有効/無効
指定された有効または無効状態のエスカレーション条件が登録されているエスカレーション設定のみを表示します。
再通知
該当の再通知項目が有効となっているエスカレーション条件が登録されているエスカレーション設定のみを表示します。
チェックボックスをすべて外した状態では、再通知項目での絞り込みが行われません。
コマンドタイプ
該当のコマンドタイプを持つエスカレーションコマンドが登録されているエスカレーション設定のみを表示します。
16.3.3. エスカレーション設定の編集
登録されているエスカレーション設定を編集する場合は、各エスカレーション設定の右上にある歯車アイコンを押します。
変更したい項目を変更したうえで「編集」を押すことでエスカレーション設定を更新することが出来ます。
注意
エスカレーション設定の変更は再起動なしに反映され、変更を行った時点より実行されます。
すでに障害が発生している対象を選択した場合、エスカレーション設定を更新した時点よりエスカレーションが開始されます。
16.3.4. エスカレーション設定の削除
16.3.4.1. 単一のエスカレーション設定を削除する場合
登録されている単一のエスカレーション設定を削除する場合は、各エスカレーション設定右上の×ボタンを押します。
確認画面が表示されますので、問題なければ「削除」ボタンを押します。
16.3.4.2. 複数のエスカレーション設定を削除する場合
登録されている複数のエスカレーション設定を一括で削除する場合は、削除したいエスカレーション名称横のチェックボックスを選択し、「削除」ボタンを押します。
単一の場合と同様に確認画面が表示されますので、削除されるエスカレーション名称を確認し、問題なければ「削除」ボタンを押してください。
16.3.5. エスカレーション対象一括編集
登録されているエスカレーション設定の対象のみを一括で変更したい場合は、変更したいエスカレーション名称横のチェックボックスを選択し、「エスカレーション対象」ボタンを押します。
例として、以下の対象が登録されていないエスカレーション設定にホスト「WEB_SERVER」のサービス「HTTP」を追加します。
チェックボックスを選択し、「エスカレーション対象一括編集」ボタンを押します。
表示されたウィンドウで選択したエスカレーション設定名称が正しいことを確認し、操作タイプ「対象の追加」を選択します。
入力欄からサービス「WEB_SERVER:HTTP」を選択します。
選択後、「変更」ボタンを押します。
対象が追加されました。
注意
エスカレーション設定の変更は再起動なしに反映され、変更を行った時点より実行されます。
すでに障害が発生している対象を選択した場合、エスカレーション設定を編集した時点よりエスカレーションが開始されます。
16.4. エスカレーション履歴の確認
実際にホスト・サービスで障害が発生した際、これまでに動作したエスカレーション設定と、次に動作が予定されているエスカレーション設定を確認出来ます。
例としてホストグループ「ContentGroup」に所属するホスト「WEB_SERVER」が「DOWN」状態とします。
16.4.1. 障害状況の確認
サービス一覧画面を確認します。
障害状態となっているホスト「WEB_SERVER」に、時計アイコンが表示されますので押します。
表示されたウィンドウは現在発生している障害の状態を表し、これまでに実行されたエスカレーションとその時刻が表示されます。
過去のエスカレーション履歴を確認する場合は 通知履歴 をご確認ください。
また、時間指定のエスカレーション設定を登録した場合のみ、現在のステータスが今後も継続した場合、次に動作する予定のエスカレーション設定が表示されます。
認知済みやダウンタイムを設定すると、次に動作するエスカレーションがキャンセルされ、表示が消えます。
16.4.2. 通知履歴
エスカレーションで実行された内容については「監視メニュー」の「通知履歴」からも確認が出来ます。
通知履歴には過去に実行された全てのエスカレーション内容が表示され、同一ホスト・サービスに対して同時に実行されたエスカレーションはまとめて表示されます。
16.5. 監視パッケージへの関連付け
ホストやホストのサービスへ設定したエスカレーション設定を、監視パッケージに引き継ぐことがます。
例としてホスト「WEB_SERVER」をエスカレーション設定付きの監視パッケージにし、新しいホストへ適用した際に、エスカレーション設定も登録されるようにします。
前提として、ホスト「WEB_SERVER」のサービスエスカレーション設定は以下の画像の通りです。
16.5.1. ホストの監視パッケージ作成
ホスト「WEB_SERVER」をパッケージ化します。
ホスト「WEB_SERVER」の「サービス設定」ボタンを押し、サービス一覧の「監視パッケージの新規作成」ボタンを押します。
監視パッケージの作成画面に遷移しますので、ID と名称を任意に指定し、「エスカレーション設定の引継ぎ」項目で「行う」を選択して「作成」ボタンを押します。
監視パッケージが登録されました。
監視パッケージが登録された画面で「エスカレーション設定」ボタンを押します。
監視パッケージのエスカレーション設定画面へ遷移します。
16.5.2. 監視パッケージエスカレーション設定の確認
この画面では監視パッケージに関連付けられているエスカレーション設定が確認できます。
注釈
引き継がれるエスカレーション設定は、監視パッケージ元のホストやサービス単体がエスカレーション対象に指定されているものです。
全てのホスト・サービスやホストグループ、サービスグループを対象としたエスカレーション設定は引き継がれません。
表示内容
ホスト設定
監視パッケージを適用したホストを対象とする、ホストエスカレーション設定を表示します。
ホストの全てのサービス設定
監視パッケージを適用したホストの、全てのサービスを対象とするサービスエスカレーション設定を表示します。
サービス設定
監視パッケージを適用した際に、個別のサービスを対象とするサービスエスカレーション設定を表示します。
16.5.3. 監視パッケージエスカレーション設定の変更
例として監視パッケージに新たなサービス「PING」を追加し、エスカレーション設定を関連付けます。
サービス「PING」の作成方法について、ここでは割愛します。「管理者メニュー > ホスト・サービス管理」メニューより作成してください。
まず、エスカレーションを関連付けるサービスを監視パッケージに追加します。
監視パッケージのエスカレーション設定で追加したサービス「PING」へエスカレーション設定を追加します。
監視パッケージエスカレーション設定画面で「設定の変更」ボタンを押します。
各項目に「エスカレーション設定の追加」が表示されますので、「サービス設定」の「エスカレーション設定の追加」を押します。
表示されたウィンドウでサービス「PING」を選択し、関連付けるエスカレーション設定を選択します。
選択できたら「設定」ボタンを押します。
一覧画面で追加されたことが確認できます。
画面上部に「編集」ボタンが表示されますので、「編集」を押し、変更を確定します。
16.5.4. 監視パッケージのホストへの適用
新たにホスト「WEB_SERVER2」を作成し、「WEB_SERVER2」のサービス一覧へ遷移します。
ホスト「WEB_SERVER2」の作成方法について、ここでは割愛します。「管理者メニュー > ホスト・サービス管理」メニューより作成してください。
監視パッケージメニューより先ほど作成した「WEB サーバ用監視パッケージ」を選択し、「選択した監視パッケージを登録」を押します。
サービスとエスカレーション設定が登録されました。
エスカレーション設定画面でも対象に「WEB_SERVER2」のサービスが登録されていることが確認できます。
グループを対象としたエスカレーション設定へのホスト・サービスの登録は、「管理者メニュー」の「ホストグループ管理」または「サービスグループ管理」より行ってください。
16.6. 付録
16.6.1. 用語集
エスカレーション
障害発生時、指定した時間や実行タイミングで、各種通知や任意のコマンドを実行する機能です。
通知
通知は、エスカレーションの一種です。X-MONは、ブラウザ、警告灯、メール、SMS、チャット、Twilioを利用した自動音声等で障害または復旧を知らせます。
時間指定エスカレーション
障害状態が継続した時間をトリガーとして、エスカレーションを実行する方法です。
障害発生を検知した時刻から、指定された時間ステータスが変わらなかった場合にエスカレーションが動作するため、
ホストやサービスごとの監視間隔が異なる場合でも、同じエスカレーション設定を動作させることが出来ます。
回数指定エスカレーション
障害状態となってから監視チェックが動作した回数をトリガーとして、エスカレーションを実行する方法です。
障害発生時と次回チェック時の 2 回のみ動かしたいなど、繰り返し回数を指定してエスカレーションを動作させることが出来ます。
障害ステータスの変更
ホスト及びサービスの監視ステータスは、「正常(OK)」または「異常(DOWN、UNREACHABLE、WARNING、CRITICAL、UNKNOWN)」のいずれかに分類されます。
「異常」分類内でのステータス変化(例：CRITICALからWARNING)は、通常エスカレーション実行タイミングとして扱われません。
しかし、エスカレーションの「障害ステータス」にて「DOWN/UNREACHABLE」または「WARNING/CRITICAL/UNKNOWN」のうち2種類以上を選択し、
「障害ステータス変更時」にチェックを入れておくことで、該当するステータス変化が発生したタイミングでもエスカレーションを動作させることができます。