分析例

緊急度が高い場合

エラーログ(Apacheの異常終了)

[Thu Apr 25 11:52:03.207133 2024] [core:error] [pid 31274] AH00046: child process 32436 still did not exit, sending a SIGKILL

緊急度

high

要約

このエラーログは、Apache HTTPサーバーのプロセスが正常に終了しないことを示しています。子プロセスが指定された時間内に終了せず、強制終了信号(SIGKILL)が送信されているため、サーバーの安定性やパフォーマンスに悪影響を及ぼす可能性があります。

対処方法

この問題を解決するためには、まずApacheの設定を見直し、子プロセスの最大数やタイムアウト設定を調整します。また、エラーログやアクセスログを確認して、特定のリクエストや処理が原因であるかを調査し、必要に応じてアプリケーションのコードを修正することが重要です。最終的には、Apacheを再起動して変更を適用し、問題が解消されたか確認します。

Mackerelアラート(メモリ使用率critical)

critical Memory % 76.66% > 50.0%

緊急度

critical

要約

エラーログはメモリ使用率が76.66%に達しており、設定された閾値である50.0%を超えています。これはシステムのパフォーマンスに重大な影響を与える可能性があり、他のプロセスやアプリケーションの動作に支障をきたす恐れがあります。

対処方法

システムのメモリ使用状況を確認し、不要なプロセスを終了させてメモリを解放してください。また、メモリの追加やアップグレードを検討するか、メモリ使用量を最適化するための設定を調整することをお勧めします。

緊急度が低い場合

エラーログ(Apacheの正常起動)

[Sun Aug 11 03:11:02.255000 2024] [mpm_prefork:notice] [pid 951] AH00163: Apache/2.4.6 (CentOS) OpenSSL/1.0.2k-fips mod_fcgid/2.3.9 PHP/8.2.9 configured -- resuming normal operations

緊急度

low

要約

このエラーログは、Apacheサーバーが正常に動作を再開したことを示しています。特に、mpm_preforkモジュールの通知メッセージであり、エラーではなく通常の運用状態に戻ったことを示しています。

対処方法

特に復旧作業は必要ありませんが、サーバーの運用状況を監視し、異常が発生した際には適宜対応してください。

Mackerelアラート(CPU使用率warning)

warning CPU % 47.2% > 40.0%

緊急度

medium

要約

CPUの使用率が40.0%を超え、現在は47.2%となっています。これはシステムの負荷が高まっていることを示しており、パフォーマンスの低下や応答性の悪化を引き起こす可能性があります。

対処方法

CPU使用率を下げるために、不要なプロセスを終了させるか、リソースを消費しているアプリケーションの設定を見直してください。また、システムのリソースを増やすことも検討してください。

システム構成

Mackerel -(webhook)- GAS -(REST API)- kintone
kintone -(webhook)- make (前処理、dify、kintone、GAS、Vonage)
Vonage -(webhook)- make (前処理、kintone、Vonage)

動作フロー

解析するエラーログをkintoneに登録
- Mackerel のアラート ( webhookをGASで処理してkintone API経由で登録)
- 手動で登録
- kintone API経由で登録
kintoneレコード登録時にwebhookでmakeシナリオを実行
エラーログを前処理し、dify経由でOpenAI APIを実行し分析
分析結果を元にkintoneレコードを更新
緊急度がcritical or high の場合、Vonage Voice APIで電話を発信
対応者にエラーの要約を音声読み上げで伝えて、番号入力を受け取る
- 「１」もう一度エラー内容を読み上げる
- 「２」対応を開始する（通話終了）
- 「３」マネージャーを呼び出す
- 「４」別のエンジニアを呼び出す

頑張れエンジニア