ja:evaluating-forecast-accuracy

4.10. 予測の評価

実績値が事前の予測値と異なることは、いつでも予期できます。KPIとしてこの誤差を測定すること、さらに安全在庫計算でもこの誤差を評価することは、需要予測の過程で重要な部分です。

予測の評価に利用される誤差は数多くあります。次などがあります。:

平均二乗誤差 (MSE)
平均平方二乗誤差 (RMSE)
平均絶対誤差 (MAE)
平均絶対パーセント誤差 (MAPE)

GMDH Streamlineは、平均絶対パーセント誤差(Mean Absolute Percentage Error: MAPE)を基準に予測を評価します¹⁾。評価には、各予測期間の実績データが必要です。

例を考えます。今日が2017年7月の最終日であり、6か月先の予測を立案すると仮定します(下記の図を参照)²⁾。

予測立案後、各予測値は現在選択されている予測時点期間に自動で割り当てられます。1か月後の2017年8月の最終日に、再び予測の立案をします。2017年12月の最終日までこれを繰り返します。結果として、2017年7月から2017年12月までの6か月間で、それぞれ6か月の予測をします。

ここで、私たちは2017年12月までの実績データを持ち、2017年7月時点で作成された予測値を評価します。評価には、予測時点コントロールから2017年7月を選択します。東日本地点の品目のダークビールを確認します(下記の図を参照)。各計画時期には、6か月分の予測値が作成されます。

下記の図では、F1からF6までがその予測値になり、実績値はAから始まるA0からA5までとなります。

GMDH Streamlineは、予測時点コントロールで選択した期間に関係なく、利用可能な実績データをすべて表示し、利用可能な実績データに対して予測値を評価します(上記の図を参照)。

この例の最初の仮定は、今日が2017年7月の最終日でした。この仮定では、2017年8月の実績データはインポートできません。その後仮定は変化し、今日が2017年12月の最終日となります。最終的な仮定では、2017年12月までの実績データが追加でインポートできます。ここで、予測時点コントロールから2017年7月を選択すると、すべての実績データと当時の予測値が表示され、実績データに対して予測値を評価できます³⁾。

予測品質の確認

予測評価の結果は、パネルにあるモデルタブのモデルMAPEと予測MAPEに表示されます(下記の図を参照)。

モデルMAPEは、モデル作成に利用されたデータを基礎に計算された平均絶対パーセント誤差(MAPE)です。この反応は、プロットにて青い点で示されます(上記の図を参照)⁴⁾。

予測MAPEは、予測データと実績データの平均絶対パーセント誤差(MAPE)です。これは、予測に対して評価される実績データがある場合に計算されます⁵⁾。

上記の図で表示されている予測MAPEは、実績データが利用できる5期間(2017年8月 - 2017年12月)の評価です。つまり、下記の図の赤枠で囲まれた部分を(A1とF1)、(A2とF2)などとA5まで繰り返し計算した結果になります。

上記の評価は品目個別の評価でした、全ての品目の評価を1つのレポートで確認する場合、レポートタブに進み、予測誤差レポートを選択します(下記の図を参照)。

レポートの絶対パーセント誤差セクションは、APEを表示し、品目や地点や期間などで集計もできます。2018年1月の実績データが利用できないため、レポート内の対応するカラムは空欄になっています。

レポートには、空欄のセルや空行があるかもしれません。期間中販売履歴がない場合、空欄のセルが作成されます。この場合GMDH Streamlineは計算ができないためです。品目に無効化または間欠需要モデルが適用された場合に、空行が作成されます。

レポートの右端の列は、各計画品目別にすべての期間から計算されたMAPEを表します。

全体のWMAPE は、ツールバーに表示され、プロジェクト内のすべての品目で重みを付けたMAPEです⁶⁾。販売価格をインポートした場合、全体のWMAPEは、販売価格で重み付けされたMAPE値となり、すべての期間の売上金額パーセント誤差を表します。販売価格をインポートしていない場合、販売数量で重み付けされたMAPE値となります。Wikipediaにて、WMAPEをより詳しく読むことができます。

予測品質は、誤差と精度を切り替えることができます。切り替えには、ツールバーにある設定ボタンをクリックしたのちに、予測品質の指標にある精度オプションを選択します(下記の図を参照)。