◆ 目的
nagiosで分散監視を実施する。
◆ 簡易構成図
nagios ← 中央サーバ(親)
|
nagios nagios nagios … ← 集約サーバ群(子)
◆ 監視項目、役割
● 中央サーバ(親)
集約サーバ(子)からの通知を受け付ける受動監視に徹する。
親側ではホスト、サービス監視共に能動的に監視をさせないということである。
発報条件として試行回数(Attempt)は1/1にする。
● 集約サーバ(子)
以下を受け持つ。
・能動監視
・受動監視
・TRAP監視(nagiosとの連携方法についてはこちらを参照のこと)
能動監視はnotificationの機能を使い、結果をsend_nscaコマンドで親側へ通知する。
notificationの発動条件(能動、受動、TRAP監視用のテンプレートは別途説明する)。
・ハードエラー時
試行回数を3/3にしておけば、3回目のNG時にnotificationは発動する。
また、復旧時は1/3でnotificationは動作する。
・能動監視時はハードエラーが継続する場合は、
一度アラームがあがったらステータスが変化しない限り通知させない。
検知漏れが怖いなら設定ディフォルトの240分(notification_interval)後に
再通知でもいいだろう。
・受動監視時は試行回数を1/1にしておけば、毎回1回目のNG時にnotificationが発動する。
ステータスが変化しない場合にも発動させる(is_volatileは有効に)。
・HOSTがダウンするとサービス監視は実施されなくなる。
監視が動作しないと慌てないこと。
TRAP監視はnagiosのイベントハンドラ(event_handler)の機能を使い親側へ通知する。
event_handler経由で実行するコマンドは上記と同じくsend_nscaである。
notificationを使わない理由だが、TRAPが複数上がった場合に、
前のアラームが上書きされ、それに気がつかない事態を防ぎたいためである。
TRAP監視のステータスは基本warningとし、warningの状態時に、
再度アラームがTRAPを受けた場合は、ステータスをcriticalとして親側に再通知させる。
イベントハンドラコマンドが実行されるタイミングを確認しておく。
・ソフトエラー状態にある時
・最初にハードエラー状態になった時
・ソフト又はハードエラー状態から復旧する時
ソフトエラーの状態でも実行される点がnotificationと異なる。
サービス名を、TRAP [hoge]、TRAP [piyo]などと分けてもいいのだが、監視対象数は増やしたくない。
nagisoはステータスの管理をデータベースではなくファイルでやっているためである。
TRAPとアラームは一つにし、ステータスのインフォメーションに内容を記載すればいいだろう。
◆ 前提
親側、子側に以下のパッケージはインストール済みとする。
・nagios
・nagios-devel
・nagios-www
・nagios-plugins
・nagios-nsca ← 分散監視に利用する
◆ 親・子nagios共通設定
● /etc/nagios/nagios.cfg
#設定ファイルはconf.d配下に独自に用意する #cfg_file=/etc/nagios/objects/commands.cfg #cfg_file=/etc/nagios/objects/contacts.cfg #cfg_file=/etc/nagios/objects/timeperiods.cfg #cfg_file=/etc/nagios/objects/templates.cfg #cfg_file=/etc/nagios/objects/localhost.cfg cfg_dir=/etc/nagios/conf.d # ステータスファイルはメモリ上におきIO処理を高速化させる status_file=/dev/shm/status.dat # command_fileはディフォルトのままでいいだろうが、変更するなら確認必要 command_file=/var/log/nagios/rw/nagios.cmd
● /etc/nagios/cgi.cfg
# 認証関係の設定 authorized_for_system_information=* authorized_for_configuration_information=* authorized_for_system_commands=* authorized_for_all_services=* authorized_for_all_hosts=* authorized_for_all_service_commands=* authorized_for_all_host_commands=* # 音声ファイルの設定 host_unreachable_sound=hostdown.wav host_down_sound=hostdown.wav service_critical_sound=critical.wav service_warning_sound=warning.wav service_unknown_sound=warning.wav normal_sound=noproblem.wav # 監視の結果にhtmlタグを出力させる可能性があるためエスケープはしない escape_html_tags=0
◆ 親側nagiosの設定
● /etc/nagios/nagios.cfg
# nagios起動時のサービス確認は親側は不要 execute_service_checks=0 # パッシブホストチェック、パッシブサービスチェックを有効化 # 子側からの通知を受け取るため accept_passive_service_checks=1 accept_passive_host_checks=1 # 外部コマンドを有効化 # 親、子どちらかだけで外部コマンドを実行できるポリシーにしてもよい check_external_commands=1
● /etc/nagios/conf.d/base/hosts.cfg
基本となるホストの設定を記載する。
赤色は子側との設定の相違である。
define host {
name nsca-host
active_checks_enabled 0
passive_checks_enabled 1
notifications_enabled 1
event_handler_enabled 0
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
check_period none
max_check_attempts 1
contact_groups admins
notification_options n
register 0
}
check_periodがnoneの理由を補足しておく。check_freshnessが1ならfreshness_reportが動いてしまう。
● /etc/nagios/conf.d/base/services.cfg
基本となるサービスの設定を記載する
define service{
name nsca-service
active_checks_enabled 0
passive_checks_enabled 1
parallelize_check 1
obsess_over_service 0
check_freshness 0
notifications_enabled 1
event_handler_enabled 0
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
is_volatile 0
check_period none
max_check_attempts 1
contact_groups admins
notification_options n
notification_interval 240
notification_period 24x7
check_command no_report
register 0
}
● /etc/nagios/conf.d/service/services.cfg
各種サービスの設定を記載する。
手順の簡略化のため、ホストグループ、ホストの設定ファイルも
ここへあわせて記載する。当然管理のため分けてもよい。
define hostgroup {
hostgroup_name frontend_service
alias frontend_service
}
define hostgroup {
hostgroup_name backend_service
alias backend_service
}
define host {
use nsca-host
host_name host1
hostgroups frontend_service
}
define host {
use nsca-host
host_name host2
hostgroups backend_service
}
define service {
use nsca-service
host_name host1, host2
service_description RESOURCE [load average]
}
define service{
use nsca-service
host_name host1, host2
service_description PASSIVE [log]
}
define service {
use nsca-service
host_name host1, host2
service_description TRAP
}
● /etc/nagios/nsca.cfg
子側からの通知を受け付けるデーモンの設定だが、
変更するとしたらポート番号と、nagios.cfgで指定したcommand_fileと
同じ場所を指すようにそこを見直すぐらいだろうか。
server_port=15667 command_file=/var/log/nagios/rw/nagios.cmd
◆ 子側nagiosの設定
● /etc/nagios/nagios.cfg
# nagios起動時のサービス確認は子側は必要 execute_service_checks=1 # パッシブホストチェック、パッシブサービスチェックを有効化 # 子側であっても監視対象ノードから受動的に結果を受け取ることがある accept_passive_service_checks=1 accept_passive_host_checks=1 # 外部コマンドを有効 # 親、子どちらかだけで外部コマンドを実行できるポリシーにしてもよい check_external_commands=1 # obsess over ホストとサービスは使わない(ディフォルト0) # obsessを利用した分散環境を作らないため明示的に0としておく obsess_over_hosts=0 obsess_over_services=0 # ochp(Obsessive Compulsive Host Processor)コマンドは使わない #ochp_command=somecommand # ocsp(Obsessive Compulsive Service Processor)コマンドは使わない #ocsp_command=somecommand
● /etc/nagios/conf.d/base/hosts.cfg
基本となるホストの設定を記載する。
赤色は親側との設定の相違である。
define host {
name active-host
notifications_enabled 1
event_handler_enabled 0
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
check_period 24x7
max_check_attempts 3
normal_check_interval 2
retry_check_interval 1
contact_groups nscas
notification_options d,u,r
notification_interval 240
notification_period 24x7
check_command check-host-alive
register 0
}
● /etc/nagios/conf.d/base/services.cfg
緑色は子側内の設定との相違点である。
define service {
name active-service
active_checks_enabled 1
passive_checks_enabled 1
parallelize_check 1
obsess_over_service 0
check_freshness 0
notifications_enabled 1
event_handler_enabled 0
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
is_volatile 0
check_period 24x7
max_check_attempts 3
normal_check_interval 4
retry_check_interval 1
contact_groups nscas
notification_options u,w,c,r
notification_interval 240
notification_period 24x7
register 0
}
define service {
name passive-service
active_checks_enabled 0
passive_checks_enabled 1
parallelize_check 1
obsess_over_service 0
check_freshness 0
notifications_enabled 1
event_handler_enabled 0
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
is_volatile 1
check_period none
max_check_attempts 1
normal_check_interval 1
retry_check_interval 1
contact_groups nscas
notification_options u,w,c,r
notification_interval 240
notification_period 24x7
check_command check_dummy!0!"OK"
register 0
}
define service {
name trap-service
active_checks_enabled 0
passive_checks_enabled 1
parallelize_check 1
obsess_over_service 0
check_freshness 0
notifications_enabled 1
event_handler_enabled 1
flap_detection_enabled 0
process_perf_data 0
retain_status_information 1
retain_nonstatus_information 1
is_volatile 1
check_period none
max_check_attempts 2
normal_check_interval 1
retry_check_interval 1
contact_groups nscas
notification_options none
notification_interval 240
notification_period 24x7
register 0
}
● /etc/nagios/conf.d/service/services.cfg
各種サービス固有の設定を記載する
親側での設定と同様に手順の簡略化のため、ホストグループ、ホストの
設定ファイルもここへあわせて記載する。
define hostgroup {
hostgroup_name frontend_service
alias frontend_service
}
define hostgroup {
hostgroup_name backend_service
alias backend_service
}
define host {
use active-host
host_name host1
address 10.0.0.1
hostgroups frontend_service
}
define host {
use active-host
host_name host2
address 10.0.0.2
hostgroups backend_service
}
define service {
use active-service
host_name host1, host2
service_description RESOURCE [load average]
check_command check_loadaverage!30,30,30!50,50,50
}
define service{
use passive-service
host_name host1, host2
service_description PASSIVE [log]
check_command check_dummy!0!"OK"
}
define service{
use trap-service
host_name host1, host2
service_description TRAP
event_handler notify-service-by-send_nsca_for_trap
check_command check_dummy!0!"OK"
}
● /etc/nagios/conf.d/base/contacts.cfg
試行回数をを3/3にしておけば、3回目のNG時にnotificationが発動する。
また、復旧時は1/3でnotificationは動く。
HOSTがダウンするとサービス監視は実施されなくなるため、
監視が動作しないと慌てないこと。
define contact {
name nsca-contact
service_notification_period 24x7
host_notification_period 24x7
service_notification_options w,u,c,r,f,s
host_notification_options d,u,r,f,s
service_notification_commands notify-service-by-send_nsca
host_notification_commands notify-host-by-send_nsca
register 0
}
define contact {
contact_name nscaadmin
use nsca-contact
alias Nsca Admin
}
define contactgroup {
contactgroup_name nscas
alias Nagios Nacas
members nscaadmin
}
● /etc/nagios/conf.d/base/commands.cfg
# for notification
define command {
command_name notify-host-by-send_nsca
command_line /usr/lib/nagios/plugins/submit_check_result_host $HOSTNAME$ $HOSTSTATEID$ '$HOSTOUTPUT$'
}
define command {
command_name notify-service-by-send_nsca
command_line /usr/lib/nagios/plugins/submit_check_result_service $HOSTNAME$ '$SERVICEDESC$' $SERVICESTATE$ '$SERVICEOUTPUT$'
}
# for event handler
define command {
command_name notify-service-by-send_nsca_for_trap
command_line /usr/lib/nagios/plugins/submit_check_result_service_for_trap $HOSTNAME$ '$SERVICEDESC$' $SERVICESTATE$ '$SERVICEOUTPUT$' $SERVICESTATETYPE$
}
【補足】
親側にnagiosではなくOVOを使う場合は、
syslogに結果を吐かせればいいだろう。
define command {
command_name notify-host-by-logger
command_line /bin/logger -p local6.info "Nagios `/usr/bin/printf \"%b\" \"[SERVICE NAME] Type: $NOTIFICATIONTYPE$, Host: $HOSTNAME$, State: $HOSTSTATE$, Address: $HOSTADDRESS$, Info: $HOSTOUTPUT$, Date/Time: $LONGDATETIME$\"`"
}
define command {
command_name notify-service-by-logger
command_line /bin/logger -p local6.info "Nagios `/usr/bin/printf \"%b\" \"[SERVICE NAME] Type: $NOTIFICATIONTYPE$, Host: $HOSTNAME$, Service: $SERVICEDESC$, State: $SERVICESTATE$, Date/Time: $LONGDATETIME$, Additional Info: $SERVICEOUTPUT$\"`"
}
● /usr/lib/nagios/eventhandlers/submit_check_result_host
#!/bin/sh return_code=3 case "$2" in UP) return_code=0 ;; DOWN) return_code=1 ;; UNREACHEBLE) return_code=2 ;; UNKNOWN) return_code=3 ;; esac #/usr/bin/printf "%s\t%s\t%s\n" "$1" "$2" "$3" >> /var/tmp/debug_host /usr/bin/printf "%s\t%s\t%s\n" "$1" "$2" "$3" | /usr/sbin/send_nsca $親サーバのIPアドレス -c /etc/nagios/send_nsca.cfg
実行権限を与えておくこと。
# chmod 755 /usr/lib/nagios/eventhandlers/submit_check_result_host
● /usr/lib/nagios/eventhandlers/submit_check_result_service
#!/bin/sh return_code=3 case "$3" in OK) return_code=0 ;; WARNING) return_code=1 ;; CRITICAL) return_code=2 ;; UNKNOWN) return_code=3 ;; esac #/usr/bin/printf "%s\t%s\t%s\t%s\n" "$1" "$2" "$return_code" "$4" >> /var/tmp/debug_service /usr/bin/printf "%s\t%s\t%s\t%s\n" "$1" "$2" "$return_code" "$4" | /usr/sbin/send_nsca $親IP -c /etc/nagios/send_nsca.cfg
実行権限を与えておくこと。
# chmod 755 /usr/lib/nagios/eventhandlers/submit_check_result_service
● /usr/lib/nagios/eventhandlers/submit_check_result_service_for_trap
#!/bin/sh return_code=3 case "$3" in OK) return_code=0 ;; WARNING) return_code=1 ;; CRITICAL) return_code=2 ;; UNKNOWN) return_code=3 ;; esac if [ $return_code == 0 ];then /usr/bin/printf "%s\t%s\t%s\t%s\n" "$1" "$2" 0 "$4" | /usr/sbin/send_nsca $親IP -c /etc/nagios/send_nsca.cfg else case "$5" in SOFT) /usr/bin/printf "%s\t%s\t%s\t%s\n" "$1" "$2" 1 "$4" | /usr/sbin/send_nsca $親IP -c /etc/nagios/send_nsca.cfg ;; HARD) /usr/bin/printf "%s\t%s\t%s\t%s\n" "$1" "$2" 2 "$4" | /usr/sbin/send_nsca $親IP -c /etc/nagios/send_nsca.cfg ;; esac fi
実行権限を与えておくこと。
# chmod 755 /usr/lib/nagios/eventhandlers/submit_check_result_service_for_trap
◆ nagiosのコンフィグ確認
親・子共に実施
# /usr/sbin/nagios -v /etc/nagios/nagios.cfg
◆ nagiosの起動
親・子共に実施する。
# /etc/init.d/nagios start
親だけで実施する。
# /etc/init.d/nsca start
