TensorFlow - Weights & Biases Documentation

はじめに

すでにTensorBoardを使っている場合は、wandbと簡単に統合できます。

import tensorflow as tf
import wandb

カスタムメトリクスをログする

TensorBoard にログされていない追加のカスタムメトリクスをログする必要がある場合は、コード内で run.log() を呼び出します。run.log({"custom": 0.8}) TensorBoard を Sync している場合、run.log() で step 引数を設定する機能は無効になります。別の step 数を設定したい場合は、次のように step メトリクスを指定してメトリクスをログできます。

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

TensorFlow Estimator 用フック

ログされる内容をより細かく制御したい場合は、wandb が TensorFlow Estimator 向けのフックも提供しています。このフックは、グラフ内のすべての tf.summary の値をログします。

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

手動でログする

TensorFlow でメトリクスをログする最も簡単な方法は、TensorFlow のロガーを使って tf.summary をログすることです。

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

TensorFlow 2 では、カスタムループでモデルをトレーニングするには tf.GradientTape を使用する方法が推奨されています。詳細は、TensorFlow custom training walkthrough を参照してください。カスタムの TensorFlow トレーニングループに wandb を組み込んでメトリクスをログしたい場合は、次のスニペットを参照してください。

    with tf.GradientTape() as tape:
        # 確率を取得する
        predictions = model(features)
        # 損失を計算する
        loss = loss_func(labels, predictions)

    # メトリクスをログする
    run.log("loss": loss.numpy())
    # 勾配を取得する
    gradients = tape.gradient(loss, model.trainable_variables)
    # 重みを更新する
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

TensorFlow 2 でトレーニングループをカスタマイズする完全な例を参照できます。

W&B は TensorBoard とどう違うのですか？

W&B の共同創業者が開発に着手した当初、OpenAI で TensorBoard に不満を感じていたユーザーのためのツールを作ろうという発想がありました。私たちが特に改善してきた点をいくつかご紹介します。

モデルの再現性: W&B は、実験、探索、そして後からモデルを再現する用途に適しています。メトリクスだけでなく、ハイパーパラメーターやコードのバージョンも記録し、さらにバージョン管理のステータスやモデルチェックポイントも保存できるため、プロジェクトの再現性を確保できます。
自動整理: 共同作業者からプロジェクトを引き継ぐときでも、休暇後に作業へ戻るときでも、しばらく触っていなかった古いプロジェクトを見直すときでも、W&B を使えば、これまで試したすべてのモデルを簡単に把握できます。そのため、実験をやり直すことで時間や GPU リソース、さらには炭素排出を無駄にせずに済みます。
高速で柔軟なインテグレーション: 5 分で W&B をプロジェクトに追加できます。無償のオープンソース Python パッケージをインストールし、コードに数行追加するだけで、モデルを実行するたびに、見やすく整理されたメトリクスと記録が自動的にログされます。
永続的で一元化されたダッシュボード: モデルをどこでトレーニングしていても、ローカルマシンでも、共有ラボのクラスターでも、クラウド上のスポットインスタンスでも、結果は同じ一元化されたダッシュボードに集約されます。異なるマシンから TensorBoard のファイルをコピーして整理するのに時間をかける必要はありません。
強力な Tables: 異なるモデルの結果を検索、フィルター、並べ替え、グループ化できます。何千ものモデルバージョンを見渡して、さまざまなタスクで最も高性能なモデルを簡単に見つけられます。TensorBoard は大規模なプロジェクトでの利用に十分対応できるようには設計されていません。
コラボレーションのためのツール: 複雑な機械学習プロジェクトの整理に W&B を活用できます。W&B へのリンクは簡単に共有でき、非公開の Teams を使えば、全員が結果を同じ共有プロジェクトに送れます。さらに、Reports を使ったコラボレーションにも対応しています。インタラクティブな可視化を追加し、作業内容を Markdown で記述できます。これは、作業ログを残したり、発見したことを指導教員や上司と共有したり、研究室やチームに成果を報告したりするのに最適な方法です。

無料アカウントで始める

例

インテグレーションがどのように動作するかを確認できるよう、いくつかの例を用意しました。

GitHub の例: TensorFlow Estimators を使用した MNIST の例
GitHub の例: 素の TensorFlow を使用した Fashion MNIST の例
Wandb ダッシュボード: W&B で結果を見る
TensorFlow 2 でのカスタムトレーニングループのカスタマイズ - 記事 | ダッシュボード

​はじめに

​カスタムメトリクスをログする

​TensorFlow Estimator 用フック

​手動でログする

​W&B は TensorBoard とどう違うのですか？

​例

はじめに

カスタムメトリクスをログする

TensorFlow Estimator 用フック

手動でログする

W&B は TensorBoard とどう違うのですか？

例