テストの分析と比較のフレームワーク
ベンチマーク、視覚化、分析ツール
これにより、エンジニアリング チームはシステムの動作をリアルタイムで追跡し、テスト実行を比較して、パフォーマンスの低下や最適化の機会を迅速に特定できるようになります。QA、パフォーマンス エンジニアリング、リリース検証向けに設計された FACT は、生のベンチマーク データを実用的な分析情報に変換します。
なぜFACTなのか?
FACT は、チームが事後的なパフォーマンス テストから事前的なパフォーマンス インテリジェンスに移行するのを支援し、すべてのリリースが測定可能、比較可能、信頼できることを保証します。
機能のウォークスルー
1. レポートページ: 実行履歴と概要
レポートページは、異なるワークロード間で過去に実行さ れたすべてのテスト実行にアクセスするための中心的なハブとして機能します。テスト実行の統合されたスクロール可能なリストと、実行名、マシン名、ワークロードの種類、タイムスタンプ、実行タグなどのメタデータが表示されます。
主な機能:
ワークロードのグループ化: すべての実行は、簡単に追跡できるようにワークロード (例: SpecJbb2015-Multi) の下にグループ化されます。
時系列ソート: 最新の実行が一番上に表示されるため、最近のテスト結果に簡単にアクセスできます。
実行メタデータの表示: バージョン情報、マシン ID、ランタイム パラメーター、OS の詳細などのタグが表示されます。
インタラクティブなナビゲーション: 実行 ID をクリックすると、グラフとログを含む詳細ビューに即座に移動します。
このページは、テスト履歴、実行の詳細、および時間の経過に伴う傾向を一目で確認する必要がある QA チーム、開発者、およびパフォーマンス エンジニアにとって不可欠です。
2. 個別実行のドリルダウン
この機能は、特定の実行中に収集されたメトリクスの包括的な内訳を提供します。レポートページで実行を選択すると、専用のドリルダウンインターフェースが表示されます。
主な機能:
グラフィカルなタイムライン チャート: CPU 使用率、メモリ消費量、ガベージ コレクションの頻度、スループット、レイテンシなどのメトリックが時間の経過と共にプロットされます。
インタラクティブなホバー詳細: グラフの上にマウスを移動すると、タイムスタンプ固有の値が表示され、急上昇や急降下を特定するのに役立ちます。
メトリック タブ: すべてのメトリックは、「CPU メトリック」、「メモリ メトリック」、「アプリケーション メトリック」、「GC メトリック」などの分類されたタブに整理されています。
色のハイライト: 異常な値またはしきい値の超過は、視覚的に優先順位を付ける目的で赤/オレンジの色調を使用して表示されます。
この詳細なページは、エンジニアが問題を正確な時間枠に分離し、システムの動作をワークロードの強度と相関させ、テスト実行中のボトルネックを診断するのに役立ちます。
3. 2回の実行の差分表示
差分機能を使用すると、2つの実行を選択し、それぞれのメトリック値を並べて比較できます。これは、ソフトウェアの変更、ハードウェアのアップグレード、パフォーマンスの回帰チェックなどの検証に特に役立ちます。
主な機能:
メトリックごとの比較: 監視対象の各メトリック (最大 CPU、平均スループットなど) が比較され、パーセンテージの差が強調表示されます。
色分けされたデルタ:
緑: メトリックの改善 (例: 応答時間の短縮)。
赤: 回帰 (例: CPU 使用率の上昇)。
灰色: 重要でない/変化なし。
インタラクティブなドリルダウン: ユーザーは各メトリックをクリックしてグラフやデータを調べることができます。
概要ヘッダー: 上部の概要には、実行全体の純粋な改善/低下が表示されます。
このビューはリリース エンジニアリングとベンチマーク検証に最適で、変更によるパフォーマンスへの影響に関して迅速な意思決定を可能にします。
4. インテリジェントメトリックビュー
インテリジェント メトリック ビューには、急増、急降下、安定期間の視覚的なインジケーターなど、派生したインテリジェンスを備えた重要なメトリックが表示されます。
主な機能:
メトリックの優先順位付け: 重要なメトリックがランク付けされ、上部に表示されます (例: CPU 飽和度、GC 一時停止)。
動的カラーリング: スマート カラーリングは、事前定義されたしきい値に基づいてメトリックの健全性を示すために使用されます。
注釈のサポート: ユーザーまたはシステムは、「GC ストーム」や「メモリ飽和」などの関心のあるイベントに自動的にタグを付けます。
このビューは、すべてのグラフを検査することなく、「何が間違っているのか、何が正しいのか」をすぐに把握したい初心者と熟練ユーザーの両方に最適です。
5. 比較分析のためのメトリックオーバーレイ
この機能を使用すると、複数のメトリックを 1 つのグラフに重ねて相関関係を特定できます。
主な機能:
時間同期グラフ: 重ね合わせられたすべてのメトリックは同じ時間軸を共有します。
相互相関: 例: CPU スパイクをメモリ負荷またはスレッド数と比較できます。
インタラクティブ フィルタリング: ユーザーはメトリックの表示を切り替えてグラフを整理できます。
これは、CPU 使用率の高さの原因がメモリ リーク、ディスク IO の高さ、またはスレッドの競合のいずれであるかなど、根本原因を追跡するのに役立ちます。
6. 表形式のデータのエクスポートと表示
グラフに加え、すべてのデータポイントは表形式で保存・表示できます。各行はタイムスタンプに対応し、各列はメトリックです。
主な機能:
高精度: データには実数の小数値 (四捨五入されていない) が含まれます。
エクスポート機能: UI から直接 CSV/Excel エクスポートが可能です。
並べ替えとフィルタリング: 時間またはメトリック値で並べ替えるための組み込みオプション。
このビューは、Excel、Tableau、Python などの外部ツールでデータを分析したいチームにとって役立ちます。
7. 生ログスナップショットとタイムライン同期
テスト実行中に収集されたログはメトリックのタイムラインに合わせて調整され、根本原因の分析が可能になります。
主な機能:
タイムスタンプの同期: メトリック チャートのスパイクをクリックすると、対応するログ エントリが自動的に強調表示されます。
検索機能: 「ERROR」や「OOM」などの検索用語を使用してログをフィルタリングできます。
重大度の強調表示: ログは重大度 (情報、警告、エラー、致命的) に基づいて色分けされます。
ユースケース: エンジニアは 14:31 に CPU スパイクを確認し、その時点で OutOfMemory エラーまたは GC 一時停止が記録されているかどうかを確認します。
8. メトリック設定としきい値調整
管理者または上級ユーザーは、監視するメトリックを構成し、アラートまたはフラグ付けのしきい値レベルを設定できます。
主な機能:
カスタムしきい値: 任意のメトリックに対して独自の上限/下限を設定します。
アラート統合: アラートを電子メール、Slack、またはインシデント ツールに接続します。
ワークロード固有のプロファイル: ワークロードによってしきい値が異なる場合があります (例: ML ワークロードの CPU 負荷と DB ワークロード)。
これにより、パフォーマンス障害の自動検証や警告が可能になります。
9. バックエンドのタグ付けとメタデータパネル
各実行には、システムから取得されたメタデータ、git コミット、テスト パラメーター、およびユーザー入力がタグ付けされます。
主な機能:
追跡可能性: どのバージョン/構成がいつ実行されたかを正確に把握します。
タグ検索: 「release-1.1」や「baseline」などのタグで実行をフィルタリングします。
自動生成されたタグ: Git コミット ハッシュ、カーネル バージョン、CPU モデルなどが自動的に取得されます。
コンプライアンス、再現性、事後分析に不可欠です。
