Artifact を作成する

import wandb

# アーティファクト オブジェクトを作成する
artifact = wandb.Artifact(name="<name>", type="<type>")

artifact.add_file(local_path="path/to/file.txt", name="<name>")

artifact.add_dir(local_path="path/to/directory", name="<name>")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

import wandb

artifact = wandb.Artifact(name="<name>", type="<type>")
artifact.add_file(local_path="path/to/file.txt", name="<name>")
artifact.add_dir(local_path="path/to/directory", name="<name>")

with wandb.init(project="<project>", job_type="<job-type>") as run:
    run.log_artifact(artifact)

root-directory
| - hello.txt
| - images/
| -- | cat.png
| -- | dog.png
| - checkpoints/
| -- | model.h5
| - models/
| -- | model.h5

import wandb

# アーティファクト オブジェクトを初期化する
artifact = wandb.Artifact(name="<name>", type="<type>")

# 単一ファイルを追加する
artifact.add_file(local_path="path/file.format")

artifact.add_file("hello.txt")

hello.txt

artifact.add_file(
    local_path="hello.txt", 
    name="new/path/hello_world.txt"
    )

new/path/hello_world.txt

import wandb

# アーティファクト オブジェクトを初期化する
artifact = wandb.Artifact(name="<name>", type="<type>")

# ローカルディレクトリをアーティファクトに追加する
artifact.add_dir(local_path="path/file.format", name="optional-prefix")

# URI referenceを追加する
artifact.add_reference(uri="uri", name="optional-name")

import wandb
import time

# この例では、デモンストレーション目的で
# Ray を使用して並列実行します。
import ray

ray.init()

artifact_type = "dataset"
artifact_name = "parallel-artifact"
table_name = "distributed_table"
parts_path = "parts"
num_parallel = 5

# 並列ライターの各バッチには、固有の
# グループ名が必要です。
group_name = "writer-group-{}".format(round(time.time()))


@ray.remote
def train(i):
    """
    Our writer job. Each writer will add one image to the artifact.
    """
    with wandb.init(group=group_name) as run:
        artifact = wandb.Artifact(name=artifact_name, type=artifact_type)

        # wandb の表にデータを追加します。
        table = wandb.Table(columns=["a", "b", "c"], data=[[i, i * 2, 2**i]])

        # artifact 内のフォルダーに表を追加します。
        artifact.add(table, "{}/table_{}".format(parts_path, i))

        # artifact をアップサートすると、artifact にデータが作成または追記されます。
        run.upsert_artifact(artifact)


# run を並列で起動します。
result_ids = [train.remote(i) for i in range(num_parallel)]

# artifact を完了する前に、すべてのライターのファイルが
# 追加済みであることを確認するために待機します。
ray.get(result_ids)

# すべてのライターが完了したら、artifact を完了して
# 使用可能な状態としてマークします。
with wandb.init(group=group_name) as run:
    artifact = wandb.Artifact(artifact_name, type=artifact_type)

    # 表のフォルダーを指す "PartitionTable" を作成し、
    # artifact に追加します。
    artifact.add(wandb.data_types.PartitionedTable(parts_path), table_name)

    # artifact を完了すると artifact が確定され、このバージョンへの
    # 以降の "upsert" が禁止されます。
    run.finish_artifact(artifact)

from wandb.apis.public.files import Files
from wandb.apis.public.api import Api

# run オブジェクトの例
run = Api().run("<entity/project/run-id>")

# run 内のファイルを反復処理するための Files オブジェクトを作成する
files = Files(api.client, run)

# ファイルを反復処理する
for file in files:
    print(f"File Name: {file.name}")
    print(f"File URL: {file.url}")
    print(f"Path to file in the bucket: {file.direct_url}")