個人用ツール

Pandora:Documentation ja:Log Monitoring

提供: Pandora FMS Wiki JP

移動先: 案内, 検索

Pandora FMS ドキュメント一覧に戻る

ログ収集

概要

Up to now, Pandora FMS did not provide a solution to this problem, but with version 5.0, Pandora FMS Enterprise offers a solution to manage hundreds of megabytes of daily data. This solution allows you to reuse the same monitoring agents for specific log data collection, using a syntax very similar to the current one for log monitoring.

これまで Pandora FMS には、これに関する解決策がありませんでしたが、バージョン 5.0 の Pandora FMS Enterprise から、日々の何百ものメガバイトのデータを扱うソリューションを提供しています。このソリューションでは、特定のログデータ収集に同じ一つの監視エージェントを利用し、ログ監視の設定書式も既存のものに似ています。

Log monitoring in Pandora FMS is approached in two different ways:

Pandora FMS におけるログ監視には、以下の 2つの異なる手法があります。

  1. Based on modules: it represents logs in Pandora as asynchronous monitors, being able to associate alerts to the detected inputs that fulfill a series of preconfigured conditions by the user. The modular representation of the logs allows you to:
    1. Create modules that count the occurrences of a regular expression in a log.
    2. Obtain the lines and context of log messages
  2. Based on combined display: it allows the user to view in a single console all the information from logs of multiple origins that you may want to capture, organizing the information sequentially using the timestamp in which the logs were processed.
  1. モジュールベース: 非同期監視としの Pandora でログを表現します。ユーザにより事前設定された条件を満たすデータを検出した場合にアラートを関連付けることができます。 ログのモジュール表現では、以下を行うことができます:
    1. ログの中で正規表現にマッチする数を数えるモジュールの作成
    2. ログメッセージの行および内容を取得
  2. 複合表示ベース: キャプチャしたい複数の発生元のログからすべての情報を 1つのコンソールで表示し、ログが処理されたタイムスタンプを使用して情報を順番に整理できます。

From version 7.0NG 712, Pandora FMS incorporates ElasticSearch to store log information, which implies a significative performance improvement.

バージョン 7.0NG 712 からは、Pandora FMS に、ログ情報を保存するための ElasticSearch が組み込まれているため、パフォーマンスが大幅に向上しています。

動作の仕組み

The process is simple:

処理は単純です。



650px



  • The logs analyzed by the agents (eventlog or text files) are forwarded to Pandora Server in RAW form within the XML reporting agent:
  • Pandora server (DataServer) receives the XML agent, which contains information about both monitoring and logs.
  • When the DataServer processes XML data, it identifies log information, keeping in the primary database the references about the agent that was reported and the source of the log, automatically sending information to ElasticSearch in order to be stored.
  • Pandora FMS stores the data in Elasticsearch indexes generating a daily index for each Pandora FMS instance.
  • Pandora FMS server has a maintenance task that deletes indexes in the interval defined by the system admin (90 days by default).
  • エージェントで分析されたログ (eventlog またはテキストファイル) は、Pandora サーバへ転送されます。エージェントから送信される XML に (RAW) データとして含まれます。
  • Pandora サーバ(データサーバ)は、エージェントから XML を受け取ります。そこには、監視とログの両方の情報が含まれています。
  • データサーバが XML データを処理する時に、ログ情報を識別し、報告されたエージェントに関する情報やログのソースをプライマリデータベースに保存し、ログの保存には情報を自動的に ElasticSearch に送信します。
  • Pandora FMS はデータを Elasticsearch インデックスに保存し、各 Pandora FMS インスタンスの日次インデックスを生成します。
  • Pandora FMS サーバには、システム管理者が定義した間隔(デフォルトでは90日)でインデックスを削除するメンテナンスタスクがあります。

設定

サーバ設定

The new storage log system, which is based on ElasticSearch + LogStash requires configuring various components.

新たなログ保存システムは、ElasticSearch + LogStash を利用しており、いくつかのコンポーネントを設定する必要があります。

Template warning.png

From Pandora FMS version 745 onwards, there is no need to use LogStash, since the Pandora FMS server communicates directly with ElasticSearch, so LogStash related configurations do not need to be applied.


Template warning.png

Pandora FMS バージョン 745 以降では、Pandora FMS サーバが直接 ElasticSearch と通信するため、LogStash は利用する必要がなくなりました。そのため、LogStash に関する設定は必要ありません。


サーバの必要条件

Each component (Pandora FMS Server, Elasticsearch) can be distributed on separate servers.

各コンポーネント(Pandora FMS サーバ、Elasticsearch)は別々のサーバに展開できます。

If you choose to place Elasticsearch and LogStash on the same server these are recommended:

Elasticsearch と LogStash を同じサーバに置く場合は、以下が必要です。

  • Centos 7.
  • At least 4GB of RAM, although 6GB of RAM are recommended for each ElasticSearch instance.
  • At least 2 CPU cores
  • At least 20GB of disk space for the system.
  • At least 50GB of disk space for ElasticSearch data (the amount can be different depending on the amount of data to be stored).
  • Connectivity wfrom Pandora FMS server to Elasticsearch API (port 9200/TCP by default).
  • CentOS 7
  • 最低 4GB のメモリ、ただし ElasticSearch インスタンスでは、6GB のメモリを推奨します。
  • 最低 2 CPUコア。
  • 最低 20GB のシステムディスク空き領域。
  • 最低 50GB の ElasticSearch データディスク空き領域。(保存されるデータの量に応じて、異なる場合があります)
  • Pandora FMS サーバから、Elasticsearch API (デフォルトポートは 9200/TCP) への接続性。

ElasticSearch のインストールと設定

Before you begin installing these components, install Java on the machine:

コンポーネントのインストールの前に、Java をインストールする必要があります。

yum install java

Once installed, install Elasticsearch following the official documentation: https://www.elastic.co/guide/en/elasticsearch/reference/7.6/install-elasticsearch.html

インストールが完了したら、Elasticsearch を次の公式ドキュメントに従ってインストールします。https://www.elastic.co/guide/en/elasticsearch/reference/7.6/install-elasticsearch.html

When installing in CentOS/Red Hat systems, the recommended installation is by means of rpm: https://www.elastic.co/guide/en/elasticsearch/reference/7.6/rpm.html

CentOS/RedHat システムにインストールする際は、rpm でのインストールを推奨します。https://www.elastic.co/guide/en/elasticsearch/reference/7.6/rpm.html

Configure the service:

サービスの設定:

Configure network options and ‘’optionally’’ data locations (and logs from Elasticsearch itself) in the configuration file located at /etc/elasticsearch/elasticsearch.yml

/etc/elasticsearch/elasticsearch.yml にある設定ファイルで、ネットワークオプションと オプションで データの場所(および Elasticsearch 自体のログ)を設定します。

# ---------------------------------- Network -----------------------------------
# Set a custom port for HTTP:
http.port: 9200
# ----------------------------------- Paths ------------------------------------
# Path to directory where to store the data (separate multiple locations by a comma):
path.data: /var/lib/elastic
# Path to log files:
path.logs: /var/log/elastic

Uncomment and define the following lines as follows: Enter the server's IP in the network.host parameter.

次の行のコメントを外して設定します。network.host パラメータにサーバの IP を入力します。

cluster.name: elkpandora
node.name: ${HOSTNAME}
bootstrap.memory_lock: true
network.host: ["127.0.0.1", “IP"]
  • cluster.name: Cluster name.
  • node.name: To name the node, with ${HOSTNAME} it will take that of the host.
  • bootstrap.memory_lock: It must always be "true".
  • network.host: Server IP.
  • cluster.name: クラスタ名。
  • node.name: ノードに名前を付けるには、${HOSTNAME} を使用してホスト名を取得します。
  • bootstrap.memory_lock: 常に "true" である必要があります。
  • network.host: サーバ IP。

If we are working with just one node, it will be necessary to add the following line:

1つのノードだけで動作させる場合は、次の行を追加する必要があります。

discovery.type: single-node

If we are working with a cluster, we will need to complete the discovery.seed_hosts parameter.

クラスタとして動作させる場合は、discovery.seed_hosts パラメータを設定する必要があります。

discover.seed_hosts : ["ip", "ip", "ip"]

Or:

もしくは、

discovery.seed_hosts:
 - 192.168.1.10:9300
 - 192.168.1.11
 - seeds.mydomain.com

The options of the resources allocated to ElasticSearch must be adapted, adjusting the parameters available in the configuration file located at /etc/elasticsearch/jvm.options. Use at least 2GB in XMS.

/etc/elasticsearch/jvm.options にある設定ファイルで、ElasticSearch に割り当てられるリソースのオプションを調整する必要があります。XMS では少なくとも 2GB を使用します。

# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space
-Xms512m
-Xmx512m

The resources will be assigned according to the use of ElasticSearch. It is recommended to follow the official ElasticSearch documentation: https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html

ElasticSearch の利用に応じてリソースが割り当てられます。 ElasticSearch の公式ドキュメントに従うことをお勧めします。https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.html

It is necessary to modify the parameter memlock unlimited in ElasticSearch configuration file.

ElasticSearch 設定ファイルで memlock unlimited パラメータを修正する必要があります。

The path to the file is:

ファイルのパスは以下の通りです。

/usr/lib/systemd/system/elasticsearch.service

Where we will need to add the following parameter:

ここに、次のパラメータを追加する必要があります。

MAX_LOCKED_MEMORY=unlimited

Once finished, it will be necessary to run the following command:

完了したら、次のコマンドを実行する必要があります。

systemctl daemon-reload && systemctl restart elasticsearch

The command to start the service is:

サービスを開始するコマンドは次の通りです。

systemctl start elasticsearch

Start the service:

サービスの開始:

systemctl start elasticsearch

Note: If the service fails to start, check the logs located at /var/log/elasticsearch/

注意: サービスの起動に失敗したら、/var/log/elasticsearch 以下のログを確認してください。

To check ElasticSearch installation, just execute the following command:

ElasticSearch の動作を確認するには、以下のコマンドを実行します。

curl -q http://{IP}:9200/

Which should return an output similar to this one:

以下のような応答があります。

{
  "name" : "3743885b95f9",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "7oJV9hXqRwOIZVPBRbWIYw",
  "version" : {
    "number" : "7.6.2",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "ef48eb35cf30adf4db14086e8aabd07ef6fb113f",
    "build_date" : "2020-03-26T06:34:37.794943Z",
    "build_snapshot" : false,
    "lucene_version" : "8.4.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

It is advised to visit the link to ElasticSearc best practices for production environments: https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html#dev-vs-prod

本番環境における ElasticSearch ベストプラクティスを参照することをお勧めします: https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html#dev-vs-prod



LogStash のインストールと設定

Template warning.png

From Pandora FMS version 745 onwards, there is no need to install LogStash.


Template warning.png

Pandora FMS バージョン 745 以降では、LogStash のインストールは不要です。


Install LogStash 5.6.2 from the downloadable RPM from the Elasticsearch project website: https://artifacts.elastic.co/downloads/logstash/logstash-5.6.2.rpm

Elasticsearch プロジェクトのウェブサイト https://artifacts.elastic.co/downloads/logstash/logstash-5.6.2.rpm から RPM をダウンロードし、LogStash 5.6.2 をインストールします。

Once the package is downloaded, install it executing:

パッケージをダウンロードしたら、次のようにインストールします。

rpm -i logstash-X.X.X.rpm

Configuring the service

サービスの設定

Within logstash configuration there are three configuration blocks:

  • Input: Indicates how you get the information to logstash, format, port, and an identifier that is used to store information internally in elastic
  • Filter: You can add a post-processing here, but in our case is not necessary, so we'll leave it empty.
  • Output: Here comes the configuration of the IP and port where it will be listening Elasticsearch, this is the place where the information processed by logstash will be saved.

logstash の設定では、3つの設定ブロックがあります:

  • Input: logstash へどのように情報を取り込むかを示します。フォーマット、ポートおよび内部に情報を保存するために利用される識別子です。
  • Filter: ここに事前処理を追加できます。ただし必須ではありません。空のまま置いておきます。
  • Output: Elasticsearch が待ち受けている IP およびポート番号の設定です。logstash で処理された情報を保存する先です。

Configuration file:

設定ファイル:

/etc/logstash/conf.d/logstash.conf


Example of configuration file:

設定ファイル例:

# This input block will listen on port 10514 for logs to come in.
# host should be an IP on the Logstash server.
# codec => "json" indicates that we expect the lines we're receiving to be in JSON format
# type => "rsyslog" is an optional identifier to help identify messaging streams in the pipeline.
input {
 tcp {
    host  => "0.0.0.0"
    port  => 10516
    codec => "json"
    type  => "pandora_remote_log_entry"
 }
}
# This is an empty filter block.  You can later add other filters here to further process
# your log lines
filter { }
output {
  elasticsearch { hosts => ["0.0.0.0:9200"] }
}

Enter the server IP in the "host" parameter, instead of “0.0.0.0”.

"host" パラメータでは、"0.0.0.0" の代わりにサーバの IP を設定する必要があります。

It occurs similary with the archive "logstash-sample.conf", where we must introduce the server's IP in the "localhost" parameter.

同様に "logstash-sample.conf" においても、"localhost" パラメータにはサーバの IP を設定する必要があります。

Start the service:

サービスの開始:

systemctl start logstash

Note: If you are trying to install LogStash in Centos 6 despite our recommendation, you can start it with the following command:

注意: 推奨に反して CentOS6 へ LogStash をインストールする場合は、次のコマンドで起動するします。

initctl start logstash

Pandora FMS サーバでのパラメータ設定

Template warning.png

From Pandora FMS version 745 there is no need to configure the server configuration file, since all confinguration is set through the console when enabling loc collection.


Template warning.png

Pandora FMS バージョン 745 以降では、ログ収集を有効化する設定はすべてコンソールから行うため、サーバの設定ファイルの設定は不要です。


You will need to add the following configuration to Pandora FMS Server configuration file (/etc/pandora/pandora_server.conf) so that Pandora FMS DataServer processes the log information.

Pandora FMS データサーバがログ情報を処理するように、Pandora FMS サーバの設定ファイル(/etc/pandora/pandora_server.conf)に次の設定を追加する必要があります。

Important: Any log that reaches pandora without having this configuration active, will be discarded.

重要: この設定を行っていない場合、Pandora サーバに届いたデータは捨てられます。

logstash_host eli.artica.lan
logstash_port 10516

Pandora FMS Syslog サーバ

From the 717 version of Pandora FMS 7.0NG, a new component appears, SyslogServer.

Pandora FMS 7.0NG のバージョン 717 から、新たな SyslogServer いうコンポーネントがあります。

This component allows Pandora to analyze the Syslog of the machine where it is located, analyzing its content and storing the references in our ElasticSearch server.

このコンポーネントにより、Pandora はマシンの Syslog を分析できます。Syslog のコンテンツを分析し、ElasticSearch サーバに格納することができます。

The main advantage of SyslogServer lies in complementing the unification of logs. Based on the exportation characteristics of SYSLOG from Linux and Unix environments, SyslogServer allows to consult logs independently of the origin, searching in a single common point (Pandora FMS console log viewer).

SyslogServer の主な利点としては、ログの統合を補完することにあります。Linux および UNIX 環境の SYSLOG 出力をもとにして、SyslogServer では、1つの共通ポイント(Pandora FMS コンソールのログビューア)で、発信元ごとに個別のログを参照したり、検索したりすることができます。

Syslog installation is done both in client and server and to execute it, launch the following command:

Syslog のインストールは、クライアントとサーバの両方に次のコマンドで行います。

yum install rsyslog

Bear in mind once Syslog is installed on the computers you wish to work with, you need to access the configuration file to enable TCP and UDP input.

対象のコンピューターに Syslog をインストールしたら、設定ファイルを編集して TCP および UDP 接続を有効にする必要があることに注意してください。

/etc/rsyslog.conf

After adjusting this, stop and restart the rsyslog service.

調整を行ったら、rsyslog サービスを再起動します。

After the service runs again, check the ports to see whether port 514 can be accessed.

サービスが再起動したら、ポート 514 が開いているか確認します。

netstat -ltnp

After enabling the service and checking the ports, configure the client so that it sends logs to the server. To that end, go to the rsyslog configuration file once more.

サービスの有効化とポートの確認ののち、サーバへログを送信するようにクライアントの設定をします。最後に、再度 rsyslog 設定ファイルを開きます。

/etc/rsyslog.conf

Locate and enable the line that allows to configure the remote host. Specify what you wish to send, which will look as follows:

リモートホストの設定を許可する行を見つけて有効にします。送信するものを指定します。次のようになります。

*.* @@remote-host:514

Info.png

Log sending generates a container agent with the client name, so it is recommended to create agents with “alias as name” matching the client's hostname avoiding agent duplication.


{{Tip|ログ送信により、クライアント名を持つコンテナエージェントが生成されるため、エージェントの重複を回避するために、クライアントのホスト名と一致する "別名" を持つエージェントを作成することをお勧めします。

For more information about rsyslog configuration, visit their official website: https://www.rsyslog.com/

rsyslog 設定に関する詳細は、公式ウェブサイト https://www.rsyslog.com/ を参照してください。

To enable this functionality, we will simply have to enable it in the configuration, adding the following content to pandora_server. conf:

この機能を有効化するには、pandora_server.conf で以下の設定を有効にするだけです。

# Enable (1) or disable (0) the Pandora FMS Syslog Server (PANDORA FMS ENTERPRISE ONLY).
syslogserver 1
# Full path to syslog's output file (PANDORA FMS ENTERPRISE ONLY).
syslog_file /var/log/messages
# Number of threads for the Syslog Server (PANDORA FMS ENTERPRISE ONLY).
syslog_threads 2
# Maximum number of lines queued by the Syslog Server's producer on each run (PANDORA FMS ENTERPRISE ONLY).
syslog_max 65535


You will need a LogStash/ElasticSearch server enabled and configured, please review the preceding points to learn how to configure it.

LogStash/ElasticSearch を有効化する必要があります。上記のパラメータの設定は次の通りです。

syslogserver Boolean, enables (1) or disables (0) the local SYSLOG analysis engine.

syslogserver ローカルの SYSLOG 分析エンジンの有効化(1)または無効化(0)を設定します。

syslog_file Location of the file where the SYSLOG entries are being delivered.

syslog_file SYSLOG ファイルの場所です。

syslog_threads Maximum number of threads to be used in the SyslogServer producer/consumer system.

syslog_threads SyslogServer のデータ処理に使う最大スレッド数です。

syslog_max It is the maximum processing window for SyslogServer, it will be the maximum number of SYSLOG entries that will be processed in each iteration.

syslog_max SyslogServer が処理する最大ウインドウサイズです。一度の実行で処理する最大の SYSLOG エントリー数です。

Template warning.png

It is necessary to modify the configuration of your device so that logs are sent to Pandora FMS server.


Template warning.png

ログが Pandora FMS サーバに送信されるように、デバイスの設定を変更する必要があります。


推奨事項

Elasticsearch と Logstash のログローテーション

Important: We recommend creating a new entry for daemon rotation logs in en /etc/logrotate.d, to prevent Elasticsearch or LogStash logs from growing without measure:

重要: Elasticsearch と LogStash のログが肥大化しないように、/etc/logrotate.d でログローテーションのエントリーを作成することをお勧めします。

cat > /etc/logrotate.d/elastic <<EOF
/var/log/elastic/elaticsearch.log
/var/log/logstash/logstash-plain.log {
       weekly
       missingok
       size 300000
       rotate 3
       maxage 90
       compress
       notifempty
       copytruncate
}
EOF
インデックスの削除

You may check at any time the list of indexes and their size by launching a cURL petition against its ElasticSearch server:

ElasticSearch サーバに対して curl でアクセスすることにより、いつでもインデックスの一覧と大きさを確認することができます。

curl -q http://elastic:9200/_cat/indices?

Where"elastic" is the server's IP.

ここで、"elastic" はサーバの IP です。

To remove any of these indexes, execute the DELETE command:

インデックスを削除するには、DELETE コマンドを実行します。

curl -q -XDELETE http://elastic:9200/logstash-2017.09.06

Where "elastic" is the server's IP, and "{index-name}" is the output file of the previous command.

ここで "elastic" はサーバの IP で、"{index-name}" は上記コマンドの出力ファイルです。

This will free up the space used by the removed index.

インデックスを削除した分、ディスクの空き容量が増加します。

コンソールの設定

To enable the system display of logs, you must enable the following configuration:

ログの表示を有効化するには、次の設定を有効化する必要があります。


850px


Then set the log viewer performance in the 'Log Collector' tab:

'ログ収集(Log Collector)' タブで、ログビューワの動作を設定できます。


850px


On this screen you can configure:

この画面では以下の設定ができます。

  • IP or FQDN address of the server that hosts the Elasticsearch service
  • Elasticsearch サーバの IP または FQDN アドレス
  • Port through the one that is being given by the service Elasticsearch
  • Elasticsearch サービスのポート
  • Number of logs being shown. To speed up the response of the console, it has been added dynamic loading of records. To use this, the user must scroll to the bottom of the page, forcing the loading of the next set of available records. The size of these groups can be set in this field as the number of records per group.
  • 表示されるログの数。コンソール応答の高速化のため、レコードの動的読み込みが追加されています。これを利用するには、ページの一番下へスクロールします。すると、次のレコードが読み込まれます。これらのグループのサイズは、グループあたりのレコード数としてこのフィールドに設定できます。
  • Days to purge: To prevent the size of the system, you can define a maximum number of days in which the log information will be stored , from that date they will be automatically deleted in the process of cleaning Pandora FMS.
  • 削除する日数: システムのサイズを保持するために、ログ情報を保存する最大日数を定義できます。それを超えると、Pandora FMS のクリーニング処理により自動的に削除されます。

Elasticsearch インタフェース

From Pandora FMS version 747 on, the Elastic Search interface is available, where we can make changes in our configuration through the templates.

Pandora FMS バージョン 747 から、Elastic Search インタフェース があります。ここでは、テンプレートを通して設定を変更することができます。


800px


In the default configuration, Pandora generates an index per day, which Elastics is in charge of fragmenting and distributing in such a way that when we search for something, Elastic knows where to find the search or fragment.

デフォルトの設定では、Pandora は 1日あたりのインデックスを生成します。これは、何かを検索する際のフラグメント化の役割を持ちます。検索時に Elastic がフラグメントの場所を認識できるようにします。

For this search to be optimal by default, Elastics generates an index for each search, so we must configure in our environment as many searches as we have Elastics nodes.

この検索をデフォルトで最適化するには、Elastics が検索ごとにインデックスを生成し、Elastics ノードと同じ数の検索を環境内で設定する必要があります

These searches and replicas are configured when an index is created, that Pandora generates automatically, so to modify this configuration we should use the templates.

これらの検索とレプリカは、Pandora が自動的に生成するインデックスの作成時に設定されるため、この設定を変更するには、テンプレートを使用する必要があります。

Elasticsearch のテンプレート

Template warning.png

Templates are settings that are only applied at the time of index creation. Changing a template will have no impact on existing indexes.


Template warning.png

テンプレートは、インデックス作成時にのみ適用される設定です。テンプレートを変更しても、既存のインデックスには影響しません。


To create a basic template, we only have to define the fields:

基本テンプレート を作成するには、フィールドを定義するだけです。

{
 "index_patterns": ["pandorafms*"],
 "settings": {
   "number_of_shards": 1,
   "auto_expand_replicas" : "0-1",
   "number_of_replicas" : "0"
 },
"mappings" : {
     "properties" : {
       "agent_id" : {
         "type" : "long",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "group_id" : {
         "type" : "long",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "group_name" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "logcontent" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "source_id" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "suid" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "type" : {
         "type" : "text",
         "fields" : {
           "keyword" : {
             "type" : "keyword",
             "ignore_above" : 256
           }
         }
       },
       "utimestamp" : {
         "type" : "long"
       }
     }
   }
 }
}

On the other hand, if we want to define a multi-node template there are several things we must take into account.

一方、マルチノードテンプレートを定義する 場合は、考慮しなければならないことがいくつかあります。

When we realize the configuration of our template(JSON), we must have in account the configure as many searches as nodes we have, nevertheless to configure correctly the replicas we must subtract 1 to the number of nodes that our environment has.

テンプレート(JSON)の設定を行うときは、ノードと同じ数の検索を設定する ことを考慮に入れる必要がありますが、正しく設定するには、環境に実際に存在する レプリカの数から 1を引く 必要があります。

In this way, in an Elasticsearch environment with Pandora in which we have configured 3 nodes, when we modify the "number_of_search" and "number_of_replicas" fields should be in the following way:

このように、3つのノードを設定した Pandora を使用する Elasticsearch 環境で、 "number_of_search" および' "number_of_replicas" フィールドを変更すると、次のようになります。

{
 "index_patterns": ["pandorafms*"],
 "settings": {
   "number_of_shards": 3,
   "auto_expand_replicas" : "0-1",
   "number_of_replicas" : "2"
 },

We can perform these operations through the Elastic Search interface in Pandora FMS using the native Elastics Search commands.

これらの操作は、ネイティブの ElasticsSearch コマンドを使用して Pandora FMS の ElasticSearch インターフェイスから実行できます。

  • PUT _template/nombredeltemplate: allows you to enter the data from our template.
  • GET _template/nombredeltemplate: allows to see the template
  • PUT _template/nombredeltemplate: テンプレートからデータ入力をします。
  • GET _template/nombredeltemplate: テンプレートを参照します。

800px


LogStash + Elasticsearch システムへのマイグレーション

After setting the new storage system of logs, you can migrate all data previously stored in Pandora, as distributed in the new system directories.

ログの新たなストレージシステムを設定後、以前から Pandora に保存されているデータを新たなシステムへマイグレートできます。

To migrate to the new system, you must run the following script you can find in /usr/share/pandora_server/util/

新たなシステムへマイグレートするには、/usr/share/pandora_server/util/ 以下にある次のスクリプトを実行します。

# Migrate Log Data < 7.0NG 712 to >= 7.0NG 712
/usr/share/pandora_server/util/pandora_migrate_logs.pl /etc/pandora/pandora_server.conf
# 7.0NG 712 より前のログデータを、7.0NG 712 以降にマイグレート
/usr/share/pandora_server/util/pandora_migrate_logs.pl /etc/pandora/pandora_server.conf

表示と検索

In a log collection tool, we are mainly interested in two things: searching for information, filtering by date, data sources and/or keywords, and seeing that information drawn in occurrences by time unit. In this example, we are looking for all log messages from all sources in the last hour:

ログ収集のツールに関して、私たちは主に 2つのことに興味があります。日時やデータソース、キーワードによるフィルタリングをしての情報の検索と、時間単位ごとに発生する情報の参照です。この例では、直近 1時間のすべてのデータソースからのログメッセージを見てみます。


850px View of occurrences over time 時間経過による発生表示




There is a series of filters that can be used to display information:

  • Filter by search type: We can search by exact match, all words or any word.
  • Filter by message content: Search in the content of the message the indicated text.
  • Filter by log source (source id)
  • Agent Filter: Narrows down the search results to those generated by the selected agent.
  • Filter per group: limits the selection of agents in the agent filter
  • Filter by date

情報の表示に利用できるフィルタには以下があります。

  • 検索タイプによるフィルタ: 完全一致、すべての単語、任意の単語で検索できます。
  • メッセージ内容によるフィルタ: テキストメッセージの内容で検索します。
  • ログソースによるフィルタ (ソース ID)
  • エージェントフィルタ: 選択したエージェントによって生成された検索結果を絞り込みます。
  • グループごとのフィルタ: エージェントフィルタでエージェントの選択を限定します。
  • 日時によるフィルタ

The most important and useful field for us will be the search string (search on the screenshot). This can be a simple text string, as in the previous case or a wilcard, in following example, a IP address:

最も重要で便利なフィールドは、(スクリーンショットに表示している)文字列検索です。これは単純なテキスト文字列で、一致文字列またはワイルドカードが使えます。次の例は IP アドレスです。

192.168*

Note: Searches should be done using complete words or beginning sub-strings of the search words. For example

注意: 検索は、検索対象文字列の完全一致もしくは前方一致で行われます。 例:

192.168.80.14
192.168*
Warning in somelongtext
Warning in some*

We must select one of the three types of search:

次の 3種類の検索のいずれかを選択する必要があります。

  • Exact match: Literal string search.
  • 完全一致: 文字列検索。

850px


  • All words: Search of all the indicated words, independently of the order, taking into account that each word is separated by spaces.
  • 全単語: 各単語がスペースで区切られていることを前提として、指定したすべての単語を検索します。

850px


  • Any word: Search of any indicated word, regardless of the order, taking into account that each word is separated by spaces.
  • 任意の単語: 各単語がスペースで区切られていることを前提として、順序に関係なく、指示された単語を検索します。

850px


If the option to see the context of the filtered content is checked, the result will be an overview of the situation with information about other log lines related to your search:

フィルタされたコンテンツのコンテキストを表示するオプションがチェックされている場合、結果は、検索に関連する他のログ行に関する情報を含む状況の概要になります。


850px


表示と高度な検索

Log data display advanced options are available from Pandora FSM 7.0NG OUM727.

Pandora FMS 7.0NG OUM727 から、ログデータ表示に高度なオプションがあります。

With this feature, log entries can be turned into a graphic, sorting out the information according to data capture templates.

この機能により、ログエントリをグラフに変換し、 データキャプチャテンプレート に従って情報を整理できます。

These data capture templates are basically regular expressions and identifiers, that allow analyzing data sources and showing them as a graphic.

これらのデータキャプチャテンプレートは基本的に正規表現と識別子であり、データソースを分析してグラフとして表示できます。

To access advanced options, press Advanced options. A form, where the result view type can be chosen, will appear:

高度なオプションへアクセスするには、高度なオプション(Advanced options)' をクリックします。表示形式を選択できるフォームが表示されます。

- Show log entries (plain text). - Show log graphic.

- ログエントリーの表示 (プレーンテキスト) - ロググラフの表示

800px

Under the show log graphic option, the capture template can be selected.

ロググラフ表示 オプションでは、キャプチャテンプレートを選択できます。

The Apache log model template by default offers the possibility of parsing Apache logs in standard format (access_log), enabling retrieving time response comparative graphics, sorting by visited site and response code:

Apache log model テンプレートは、デフォルトで、標準形式の Apache ログ(access_log)をパースし、時間応答比較グラフの取得、訪問サイトと応答コードによるソートができます。

800px

By pressing the edit button, the selected capture template is edited. With the create button, a new capture template is added.

編集ボタンを押すと、選択したキャプチャテンプレートを編集できます。作成ボタンでは、新たなキャプチャテンプレートを追加できます。

ファイル:Graph log3.png


In the form, the following can be chosen:

このフォームでは、以下を選択できます。

Title
capture template name.
A data capture regular expression
each field to be retrieved is identified with a subexpression between brackets (expression to be captured).
Field
the order in which they have been captured through the regular expression. The results will be sorted by key field concatenation, those whose name is not written between underscores:
Title
キャプチャテンプレート名
A data capture regular expression
取得される各フィールドはカッコでくくった範囲となります。(キャプチャする正規表現)
Field
正規表現を介してキャプチャされる順番です。 結果は、アンダースコアの間に書かれていない名前のキーフィールドの連結によってソートされます。
key, _value_


key,key2,_value_


key1,_value_,key2


Comments: If the value field is not specified, it will be the number of regular expression matches automatically.

注意: value フィールドが指定されていない場合、自動的に一致する正規表現の数になります。

Comments 2: If a value column is specified, you may choose either representing the accumulated value (performance by default) or checking the checkbox to represent the average.

注意 2: 1つだけ value カラムが指定されている場合は、累積値(デフォルトではパフォーマンス)を表すか、チェックボックスをオンにして平均を表すかを選択できます。

Example

If log entries must be retrieved with the following format:

以下のフォーマットのログからエントリを取得するとします。

Sep 19 12:05:01 nova systemd: Starting Session 6132 of user root.
Sep 19 12:05:01 nova systemd: Starting Session 6131 of user root.


To count the number of loins by user, use:

ユーザのログイン数をカウントするには、次のようにします。

Regular expression

正規表現:

Starting Session \d+ of user (.*?)\.


Fields:

フィールド:

username


This capture template will return the number of logins by user during the selected time range.

このキャプチャテンプレートは、選択した時間間隔におけるユーザのログイン数を返します。

ファイル:Graph log4.png

エージェントの設定

The log collection is done by agents, both Windows and Unix agents (Linux, MacOsX, Solaris, HP-UX, AIX, BSD, etc). In the case of Windows agents, you can also obtain information from the Windows Event Viewer, using the same filters as in the monitoring module event viewer.

ログ収集は、Windows および Unux (LInux, MacOS X, Solaris, HP-UX, AIX, BSD など) エージェント双方で実行されます。Windows エージェントの場合、イベントビューワモジュールで同様のフィルタを用いることにより、Windows イベントビューワから情報を取得することもできます。

Here are two examples to capture log information on windows and Unix:

Windows と Unix でのログ情報収集の例をみてみます。

Windows の場合

module_begin
module_name Eventlog_System
module_type log
module_logevent
module_source System
module_end 
module_begin
module_name PandoraAgent_log
module_type log
module_regexp C:\archivos de programa\pandora_agent\pandora_agent.log
module_description This module will return all lines from the specified logfile
module_pattern .*
module_end

In both cases, the only difference between a monitoring module and a log source definition is this:

両方のケースにおける監視モジュールとの唯一の違いは、以下のログソース設定の部分です。

module_type log 

This new syntax, is only understood by the 5.0 agent, so, if you want to use this new feature, you need to upgrade the agents to 5.0 version.

これは、バージョン 5.0 のエージェントから利用できる新たな書式です。この新機能を利用するには、エージェントをバージョン 5.0 へアップグレードする必要があります。

Template warning.png

To define log modules in Windows it will be necessary to do it in the agent configuration file. If these modules are created directly in the console, the modules will be not initialized.


Template warning.png

Windows でのログモジュールの定義は、エージェント設定ファイルで行う必要があります。これらのモジュールがコンソールで直接作成された場合、モジュールは初期化されません。


Unix システム

In Unix you use a new plugin that comes with the version 5.0 agent. Its syntax is simple:

Unix では、バージョン 5.0 エージェントとともに配布される新たなプラグインを利用します。書式は次の通り単純です。

module_plugin grep_log_module /var/log/messages Syslog \.\*

Similar to the log parser plugin (grep_log) grep_log_module plugin sends the processed information to the log collector with the name "syslog" as the source of the logfile. Use the regular expression \. \ * (In this case "all") as pattern when choosing which ship lines and what not.

ログパースプラグイン(grep_log)と同じように、grep_log_module プラグインは、処理した情報をログファイルのソースとして "syslog" という名前でログ収集に送信します。どういったパターンの行を送信するかまたはしないかは、\.\* といった正規表現を利用します(この例では全て)。

エージェント表示でのログソース

From Pandora FMS version 749, a box called 'Log sources status' has been added in the Agent View, in which the date of the last log update by that agent will appear. By clicking on the Review magnifying glass icon, we will be redirected to the Log Viewer view filtered by that log.

Pandora FMS バージョン 749 以降、'ログソース状態' と呼ばれるボックスがエージェント表示に追加され、そのエージェントによる最後のログ更新の日付が表示されます。虫眼鏡のアイコンをクリックすると、そのログにフィルタしたログビューアー表示にリダイレクトされます。

800px

Pandora FMS ドキュメント一覧に戻る