差分

このページの2つのバージョン間の差分を表示します。

--- ja:documentation:03_monitoring:10_other_monitoring [2024/01/26 06:44] – [Introduction to MADE] junichi
+++ ja:documentation:03_monitoring:10_other_monitoring [不明な日付] (現在) – 削除 - 外部編集 (不明な日付) 127.0.0.1
@@ 行 1: / 行 1: @@
-====== 予測モニタリング ======
-{{indexmenu_n>12}}
-[[ja:documentation:start|Pandora FMS ドキュメント一覧に戻る]]
-===== 概要 =====
-リモートモニタリング、エージェントベースのモニタリング、ウェブモニタリングなどに加えて、Pandora FMS には他の拡張モニタリングがあります。これにより、保存しているデータからモジュールの値を予測したり、あるモジュールの値を元に数値計算した結果を返す新たなモジュールを作成することができます。
-===== 予測モニタリングのタイプ =====
-予測モニタリングモジュールの作成では、以下のオプションのいずれかを選択できます。
-   * **Predictive monitoring:**
-       * //Capacity planning//: Makes a prediction based on the time window specified by the user, assuming a more or less linear behavior of the target module. This type of predictive modules allows us to know how many days we have left until the disk is full, or the number of requests to the database that we will have within a month, if we continue as before. These modules replace the old prediction modules.
-       * //Service//: Recovers the value of a service to be able to display it in any Agent where it is necessary.
-   * **Arithmetic monitoring:**
-       * //Synthetic arithmetic //: It is about being able to perform arithmetic operations (addition, subtraction, multiplication and division) with data previously obtained in other Modules.
-       * //Synthetic average//: This involves taking an average of data previously obtained in other Modules.
-       * //Trend// (**Trending module**): Compares the current average with the average of the previous period and returns the difference in absolute value or as a percentage. The **Trending module** makes the average of the last period at the indicated periodicity versus the average of the same period a previous day/week/month. For example, if you select a week, **Trending module** calculates the average of the last week and compares it with the average of the previous week.
-  * **予測モニタリング(Predictive monitoring):**
-    * **キャパシティプランニング(Capacity planning)**: 対象モジュールの動作が多かれ少なかれ線形であると想定して、ユーザが指定した時間枠に基づいて予測を行います。このタイプの予測モジュールを使用すると、ディスクがいっぱいになるまでの残り日数、または同じ状態で推移した場合の 1か月のデータベースへのリクエスト数を知ることができます。これらのモジュールは、古い予測モジュールを置き換えます。
-    * **サービス(Service)**: サービスの値を取得し、必要なエージェントにサービスを表示できるようにします。
-  * **算術モニタリング(Arithmetic monitoring):**
-    * **統合演算(Synthetic arithmetic)**: 他のモジュールで以前に取得されたデータを使用して算術演算(合計、減算、乗算、除算)を実行します。
-    * **統合平均(Synthetic average)**: 他のモジュールから以前に取得されたデータから平均を取得します。
-    * **トレンドモジュール(Trending module)**: 現在の平均を前の期間の平均と比較し、絶対値またはパーセンテージの差を返します。**トレンドモジュール(Trending module)** は、指定された周期の最後の期間を 1日/1週間/1ヵ月前の同じ期間の平均と比較します。 たとえば、週を選択した場合、**トレンドモジュール** は先週の平均を計算し、それを前の週の平均と比較します。
-===== 統合モジュールによる監視 =====
-{{:wiki:icono-modulo-enterprise.png  |Enterprise 版}}
-これは、エンタープライズ版の機能です。統合モジュールは、同一エージェントまたは異なるエージェントの他のモジュールですでに存在するデータを取得するモジュールです。実行可能な演算は、モジュール間の絶対値による算術演算(加算、減算、乗算、除算)です
-<WRAP center round important 60%> Synthetic modules are managed by the [[:en:documentation:01_understanding:02_architecture#the_prediction_server|prediction Server]], so in order to use them that subcomponent of Pandora FMS server must be activated and working. Likewise, the agent that contains Synthetic modules must use a Prediction server. Remember you can also use a [[http://dokuwiki.pandorafms.com/dokuwiki/es:documentation:05_big_environments:06_ha|HA environment]] and have load balancing on said servers. </WRAP>
-<WRAP center round important 60%>
-統合モジュールは[[:ja:documentation:01_understanding:02_architecture#予測_prediction_サーバ|予測サーバ]]によって管理されます。これらを使うためには、Pandora FMS サーバのコンポーネントを有効化し、エージェントにそのサーバを使うモジュールを作成する必要があります。[[:ja:documentation:05_big_environments:06_ha|HA環境]]を使用して、負荷分散を行うこともできます。
-</WRAP>
-In the administration section of an Agent in the Modules tab, access it by clicking on **Create module** and select **Create new prediction server module** and complete the requested fields.
-モジュールタブのエージェントの管理セクションで、**モジュールの作成(Create module)** をクリックしてアクセスし、**新しい予測サーバモジュールの作成(Create new prediction server module)** を選択して、要求されたフィールドに値を入力します。
-For other logical operations (multiplication, subtraction, division) the order of the operators must be taken into account. Try the interface to learn how any arithmetic operation can be done between different Modules.
-他の論理演算 (乗算、減算、除算) では、演算子の順序を考慮する必要があります。 インターフェイスを試して、異なるモジュール間で算術演算をどのように実行できるかを試してみてください。
-===== 異常検知 (MADE) =====
-==== MADE の概要 ====
-The final purpose of the Pandora FMS Anomaly Detection Engine (MADE) is the training and use of Artificial Intelligence models for automatic anomaly detection. To train these models, large amounts of input data are needed, which are obtained from Pandora FMS database. MADE keeps a copy of this data on disk to carry out retraining and resampling tasks in feather format, designed for efficient data storage.
-Pandora FMS 異常検出エンジン (MADE) の最終目的は、自動異常検出のための人工知能モデルのトレーニングと使用です。 これらのモデルをトレーニングするには、Pandora FMS データベースから取得される大量の入力データが必要です。 MADE はこのデータのコピーをディスク上に保持し、効率的なデータストレージを目的として設計されたフェザーフォーマットで再トレーニングおよびリサンプリングタスクを実行します。
-Since models are loaded into memory and written to disk relatively frequently, trained models are stored on disk serialized with the data for simplicity and efficiency. The format in which they are stored may vary depending on the implementation details of each model. As we will see later, MADE also writes information related to anomalies and its own state to the database.
-モデルは比較的頻繁にメモリにロードされ、ディスクに書き込まれるため、トレーニングされたモデルは、簡素化と効率化のためにデータとともにシリアル化されてディスクに保存されます。 格納される形式は、各モデルの実装の詳細によって異なる場合があります。 後で説明するように、MADE は異常と自身の状態に関連する情報もデータベースに書き込みます。
-<WRAP center round info 90%>
-MADE generates as a result events in Pandora FMS, indicating whether it detects an anomaly in a specific monitor.
-</WRAP>
-<WRAP center round info 90%>
-MADE は、結果として Pandora FMS にイベントを生成し、特定の監視で異常を検出したかどうかを示します。
-</WRAP>
-==== MADE configuration ====
-Download links for MADE, for EL8:
-<WRAP round center download 90%>
-[[https://firefly.pandorafms.com/centos8/pandorafms_made-0.1.0-1.el8.x86_64.rpm|https://firefly.pandorafms.com/centos8/pandorafms_made-0.1.0-1.el8.x86_64.rpm]]
-</WRAP>
-For Ubuntu server:
-<WRAP round center download 90%>
-[[https://firefly.pandorafms.com/ubuntu/pandorafms-made_0.1.0-2_amd64.deb|https://firefly.pandorafms.com/ubuntu/pandorafms-made_0.1.0-2_amd64.deb]]
-</WRAP>
-To activate and customize MADE, add the following configuration options to Pandora FMS server configuration file, ''/etc/pandora/pandora_server.conf'':
-<code>
-# Enable (1) or disable (0) the Monitoring Anomaly Detection Engine (MADE).
-madeserver 1
-# Directory where models will be stored.
-madeserver_path /var/spool/pandora/data_in/models
-# Number of server threads for MADE.
-madeserver_threads 2
-# Model backend: 'prophet' or 'iforest'.
-# 'prophet' is better suited for temporal series and supports forecasting.
-# 'iforest' is faster and more efficient (cpu, memory...).
-madeserver_backend prophet
-# MADE will query the Pandora FMS database every madeserver_interval seconds
-# to look for new data.
-madeserver_interval 10
-# Minimum number of data required to train a model (e.g., '7d' for seven days).
-madeserver_min_train 7d
-# Maximum number of data kept to train models (e.g., '90d' for 90 days).
-madeserver_max_history 90d
-# Model automatic retraining period (e.g., '7d' for seven days).
-madeserver_autofit 7d
-# Model sensitivity. A lower value triggers less anomalies.
-madeserver_sensitivity 0.1
-</code>
-Help on MADE can be obtained by running the command:
-<code bash>
-pandora_made -h
-</code>
-MADE runs as a daemon managed by **systemd**. Installing the RPM or DEB package enables the service, but to start it without restarting the server it needs to be run:
-<code bash>
-systemctl start pandora_made.service
-</code>
-Either:
-<code bash>
-service pandora_made start
-</code>
-If the system restarts or crashes, **systemd** itself restarts the service.
-Model training may be forced using data previously acquired by Pandora FMS with the command:
-<code bash>
-pandora_made -c /etc/pandora/pandora_server.conf -t
-</code>
-It is also possible to force the training of a specific model, specifying the identifier of Pandora FMS module with ''-m'':
-<code bash>
-pandora_made -c /etc/pandora/pandora_server.conf -t -m 1
-</code>
-When retraining a model, MADE evaluates it and compares its performance with the current model, always keeping the best model. You may force the deletion of old models with the command:
-<code bash>
-pandora_made -c /etc/pandora/pandora_server.conf -d
-</code>
-You may find it convenient to run this command periodically from **cron**.
-=== MADE configuration at module level ===
-Once MADE has been installed and configured at a general level, in each **numerical** module there is the following selector to add that module to the data processing task:
-{{  :wiki:pfms-made_enable-button.png  }}
-After a certain period of time and upon detection of an anomaly, MADE will publish its own [[:en:documentation:04_using:02_events|events]] in a specific category:
-{{  :wiki:pfms-made_anomalies_event.png  }}
-See also the [[:en:documentation:04_using:01_alerts|event alert system]].
-==== Anomaly detection ====
-Once the service is installed and started, MADE works automatically. MADE reads data from Pandora FMS, resamples and rotates it when necessary, trains models when it has enough data, re-trains them periodically, and generates events when it detects anomalies.
-Indicate in which modules you wish to activate anomaly detection. No further configuration is required other than activating it in each module, in the advanced settings section:
-The system is intelligent and will perform model training for each data set and generate a detected anomaly event.
-Such events can be captured like any other PFMS event to generate customized notifications through [[:en:documentation:04_using:01_alerts#correlation_of_alertsalerts_in_events_and_logs|event alerts]].
-==== Considerations on the different applied IA models ====
-MADE is a useful tool to draw attention to certain patterns that would be very difficult for an administrator to detect or predict.
-Prophet mode allows more robust models to be trained, which take into account the time characteristics of the data series and allow predictions to be made in the future, but they can be expensive to train in very large environments. It is the recommended default backend to use.
-IsolationForest mode is much more resource efficient and has generated satisfactory results during testing, but this may vary depending on the environment and data. Its use is recommended when Prophet mode causes performance losses due to lack of hardware resources.
-[[ja:documentation:start|Pandora FMS ドキュメント一覧に戻る]]