分析ノート

以前書いた、 scipyで階層的クラスタリング の記事の続きです。

階層的クラスタリングを行って結果を樹形図(デンドログラム)で表示すると、元のデータが多い場合は非常にみづらいものになります。
このような時は、樹形図の表示を途中で打ち切って必要なクラスタ分だけ表示するとクラスタ間の関係が掴みやすくなります。
scipyのdendrogram関数では、 truncate_mode というオプションが用意されており、これと、 値pを適切に指定することで実現できます。
ドキュメント: scipy.cluster.hierarchy.dendrogram

truncate_mode はNone, lastp, levelの3つの値を取ります。
Noneがデフォルト、lastpがデンドログラムの上から数えてp個のノードを残す、
levelは逆に下から数えて、各ノードがp回マージされるように動きます。

それぞれ動かしてみましょう。
truncate_mode=”lastp”, p=16
と
truncate_mode=”level”, p=3
の場合に、表示されるノードがどちらも16個になるので、動きの違いも見ておきます。

from sklearn.datasets import load_iris
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import linkage
from scipy.cluster.hierarchy import dendrogram

# データ取得。
X = load_iris().data

# ユークリッド距離とウォード法を使用してクラスタリング
z = linkage(X, metric='euclidean', method='ward')

# 結果を可視化
fig = plt.figure(figsize=(8, 15), facecolor="w")
ax = fig.add_subplot(3, 1, 1, title="樹形図: 全体")
dendrogram(z)
ax = fig.add_subplot(3, 1, 2, title="樹形図: lastp 16")
dendrogram(z, truncate_mode="lastp", p=16)
ax = fig.add_subplot(3, 1, 3, title="樹形図: level 3")
dendrogram(z, truncate_mode="level", p=3)
plt.show()

結果がこちら。

truncate_mode=”lastp” は、樹形図全体の上部の部分をそのまま切り出したものになっていて、
truncate_mode=”level” の方は、各枝に至るまでの分岐回数が一定になっているのがわかります。
また、どちらも図がすっきりしてみやすくなりました。

Optunaの機能や挙動についてもっとしっかり理解したいので、うまい可視化の方法を考えていたのですが、
ドキュメント中に、Visualizationのセクションを見つけたので、
まずはこれを試してみることにしました。

現段階(version 0.16.0)では、定義されている関数は
optuna.visualization.plot_intermediate_values(study)
だけのようなのでこれを試します。
(最初に試した時、 Plotly が入ってないという警告が出たのでpipインストールしておきます。)

早速使ってみると、次のようにトライアルごとの学習の進捗が可視化できました。

Optunaで枝刈りも使ってKerasのパラメータチューニングの記事で紹介したコードを動かした後に、jupyterで次のコードを実行します。

optuna.visualization.plot_intermediate_values(study)

jupyterで動かすと、マウスカーソルを当てた時にそれぞれの線が何回めのトライアルなどかなどの情報がポップアップされるので、
ぜひ試していただきたいです。
pngエクスポート機能もあり、それで出力した画像がこちら。

見込みがない試行がさっさと打ち切られているのがわかります。
(正解率が低いのに最後まで走ってるのは序盤の試行です。)

前回の記事: Optunaで枝刈りも使ってKerasのパラメータチューニング
の続きです。

Kerasのパラメーターチューニングの中で、枝刈りを使ってみたのですが
100回の試行の中で最後まで走ったのが1/5の19回だけというのは少し不安です。
もしかしたらこのくらいで適切なのかもしれませんが、まだ慣れないライブラリなのでよく感覚がつかめていません。

ということで、もう少し枝刈りの基準を緩める方法を探しました。
そのためには、別のPrunerを使うと良いようです。
前回の記事で使ったのは、MedianPruner という、それまでの試行の中央値より成績が悪ければ打ち切るPrunerでした。
ただ、探索対象のパラメーターの中に学習率等も入っていましたし、序盤のepockで成績が悪くても最終的に高い成果をあげるものもある気がします。

そこで、PercentilePrunerを試してみます。
ドキュメントはこちら。　

percentile – Percentile which must be between 0 and 100 inclusive (e.g., When given 25.0, top of 25th percentile trials are kept).

とある通りなので、上位60パーセンタイルくらいを許容するようにすれば、中央値(50パーセンタイル)を基準にするより緩くなりそうです。
(ちなみに75パーセンタイルで試したらなかなか枝刈りされなくなりました。)

前回のコードのprunerを指定してる部分を次のように書き換えて試してみます。

study = optuna.create_study(
                direction="maximize",
                # pruner=optuna.pruners.MedianPruner()
                pruner=optuna.pruners.PercentilePruner(60.0)
            )

最終的な結果はこちら。
試行のうち、39回は最後まで走るようになり、
正解率も前回の 0.92734375より少し良くなりました。
(この後も何度か試しましたが、必ずしよくなるわけではないです。)

"""
Study statistics: 
  Number of finished trials:  100
  Number of pruned trials:  61
  Number of complete trials:  39
Best trial:
  Value:  0.928125
  Params: 
    n_layers: 1
    n_units_l0: 126.84330007270901
    dropout_l0: 0.4023051335982798
    lr: 0.007029694763599239
"""

今回は、Prunerを変更することで枝刈りの具合を調整できるということが確認できました。
また、結果的に枝刈りが少ない方が最終的な成績は少しだけ良かったのですが、その差は軽微であることもわかりました。
今回かなり小さなデータで試しているのですが、
本当に学習に長時間かかるモデルを試す場合は、もっと高頻度に枝刈りする方がよい場合もありそうです。

少し間が空きましたが、再びOptunaの記事です。
今度はKerasのモデルのパラメーターをチューニングしてみます。
その際、枝刈りも使いました。

Optunaに、Keras用のコールバックが用意されていて、
これを使うと、エポック毎に判定が走り、学習が十分進んでいないと学習を打ち切ってくれるので、
効率的に探索ができます。
classoptuna.integration.KerasPruningCallback

githubのサンプルコードを(少しだけ修正しましたが)ほぼ写経しながら、
コードを書いてみました。

import keras
from keras.datasets import mnist
from keras.utils import to_categorical
from keras.layers import Dense
from keras.layers import Dropout
from keras.models import Sequential
import optuna
from optuna.integration import KerasPruningCallback

# 訓練データとテストデータの件数を指定
N_TRAIN_EXAMPLES = 3840
N_TEST_EXAMPLES = 1280
BATCHSIZE = 128
CLASSES = 10
EPOCHS = 20

# MNISTのデータを準備
(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 特徴量を0~1に正規化する
x_train = x_train.reshape(60000, 784)[:N_TRAIN_EXAMPLES]/255
x_test = x_test.reshape(10000, 784)[:N_TEST_EXAMPLES]/255

# ラベルを1 hot 表現に変換
y_train = to_categorical(y_train[:N_TRAIN_EXAMPLES], CLASSES)
y_test = to_categorical(y_test[:N_TEST_EXAMPLES], CLASSES)


def create_model(trial):
    """MLPモデルの構築
    """

    # 層の数を選択する
    n_layers = trial.suggest_int("n_layers", 1, 3)
    model = Sequential()
    for i in range(n_layers):
        num_hidden = int(
                            trial.suggest_loguniform(
                                    f"n_units_l{i}",
                                    4,
                                    128
                                )
                            )
        model.add(Dense(num_hidden, activation="relu"))
        dropout = trial.suggest_uniform(f"dropout_l{i}", 0.2, 0.5)
        model.add(Dropout(rate=dropout))
    model.add(Dense(CLASSES, activation="softmax"))

    # 学習率も最適化する。
    lr = trial.suggest_loguniform("lr", 1e-5, 1e-1)
    model.compile(loss="categorical_crossentropy",
                  optimizer=keras.optimizers.RMSprop(lr=lr),
                  metrics=["acc"])

    return model


def objective(trial):
    # 前のセッションをクリアする
    keras.backend.clear_session()
    # モデル作成
    model = create_model(trial)

    # モデルの学習
    # KerasPruningCallbackでepoch毎に枝刈りの判定。
    model.fit(
        x_train,
        y_train,
        batch_size=BATCHSIZE,
        callbacks=[KerasPruningCallback(trial, "val_acc")],
        epochs=EPOCHS,
        validation_data=(x_test, y_test),
        verbose=2
    )

    # モデルの評価
    score = model.evaluate(x_test, y_test, verbose=0)
    return score[1]


study = optuna.create_study(
                direction="maximize",
                pruner=optuna.pruners.MedianPruner()
            )
study.optimize(objective, n_trials=100)
pruned_trials = [t for t in study.trials if t.state == optuna.structs.TrialState.PRUNED]
complete_trials = [t for t in study.trials if t.state == optuna.structs.TrialState.COMPLETE]
print("Study statistics: ")
print("  Number of finished trials: ", len(study.trials))
print("  Number of pruned trials: ", len(pruned_trials))
print("  Number of complete trials: ", len(complete_trials))

# 結果の表示
print("Best trial:")
trial = study.best_trial
print("  Value: ", trial.value)
print("  Params: ")
for key, value in trial.params.items():
    print(f"    {key}: {value}")

"""
探索・学習中に出てくる大量の出力は省略。

Study statistics: 
  Number of finished trials:  100
  Number of pruned trials:  81
  Number of complete trials:  19
Best trial:
  Value:  0.92734375
  Params: 
    n_layers: 1
    n_units_l0: 114.75796459517468
    dropout_l0: 0.3088006045981605
    lr: 0.0035503337631505026

"""

100回のトライアルのうち、最後まで走ったのは19回だけのようです。
もっと色々なパターンを試さないと、これがどれほど効率的なのかと、
最終的な結果がどれだけ優れてるのかってのは判断しかねるのですが、
データが少ない中で90%程度の正解率も出していますし、
これまでMNISTを触ってきた経験からあまり違和感のないパラメータが選ばれている感じはします。

create_model の中で、最初に選ばれるlayerの数によって、
ユニットの数やdropoutの割合のなどのパラメーター数が変わるのですが、
Optunaならそのあたりもかなり柔軟にかけることを実感できました。

参考ですが、n_layersが3だったtraialでは、次のようにパラメータが多くサンプリングされています。

print(study.trials[3].params)
"""
{
    'n_layers': 3,
    'n_units_l0': 8.18713988230328,
    'dropout_l0': 0.3510040004516323,
    'n_units_l1': 99.80407964220358,
    'dropout_l1': 0.22630235294167378,
    'n_units_l2': 6.585776717612663,
    'dropout_l2': 0.3731719751601379,
    'lr': 0.000710144846966038
}
"""

なお、n_layersは1の方が良いようで、かなり早い段階で、1の場合ばかり探索されるようになっています。
時短のためデータを減らしているのも影響していそうですね。

print([study.trials[i].params["n_layers"] for i in range(100)])
"""
[3, 1, 1, 3, 2, 2, 2, 1, 1, 3, 1, 1, 1, 1, 2, 1, 2, 1, 1, 2,
 1, 1, 1, 1, 1, 1, 2, 1, 1, 2, 1, 1, 1, 1, 3, 1, 1, 2, 1, 1,
 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
 2, 1, 1, 3, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]
"""