Optunaの機能や挙動についてもっとしっかり理解したいので、うまい可視化の方法を考えていたのですが、
ドキュメント中に、Visualizationのセクションを見つけたので、
まずはこれを試してみることにしました。
現段階(version 0.16.0)では、定義されている関数は
optuna.visualization.plot_intermediate_values(study)
だけのようなのでこれを試します。
(最初に試した時、 Plotly が入ってないという警告が出たのでpipインストールしておきます。)
早速使ってみると、次のようにトライアルごとの学習の進捗が可視化できました。
Optunaで枝刈りも使ってKerasのパラメータチューニングの記事で紹介したコードを動かした後に、jupyterで次のコードを実行します。
optuna.visualization.plot_intermediate_values(study)
jupyterで動かすと、マウスカーソルを当てた時にそれぞれの線が何回めのトライアルなどかなどの情報がポップアップされるので、
ぜひ試していただきたいです。
pngエクスポート機能もあり、それで出力した画像がこちら。
見込みがない試行がさっさと打ち切られているのがわかります。
(正解率が低いのに最後まで走ってるのは序盤の試行です。)