PyTorchの学習
参考資料
Overview(QuickStart)
Working with data
PyTorchではデータを扱う方法として、torch.utils.dataの配下に以下の2つのモジュールを持つ
- torch.utils.data.DataLoader
- torch.utils.data.Dataset
また、PyTorchは特定のドメインに特化したライブラリとしてTorchText, TorchVision, TorchAudioなどを提供しており、そのどれもがdatasets
を持っている。
TorchVisionでいうと、CIFARやCOCOなど(参考: torchvisionのデータセット一覧)のデータセットが提供されている。
# Download training data from open datasets.
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
)
# Download test data from open datasets.
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor(),
)
取得したDatasetをDataLoaderに渡すことで、iterableとして処理され、自動でバッチやサンプリングなどの処理が可能になる。
以下の例ではバッチサイズとして64を指定したため、data loaderのiterableは64個の要素を返すようになる。
batch_size = 64
train_dataloaders = DataLoader(training_data, batch_size=batch_size)
test_dataloader = DataLoader(test_data, batch_size=batch_size)
for X, y in test_dataloader:
print("Shape of X [N, C, H, W]: ", X.shape)
print("Shape of y: ", y.shape, y.dtype)
break
>>>
Shape of X [N, C, H, W]: torch.Size([64, 1, 28, 28])
Shape of y: torch.Size([64]) torch.int64
モデルの作成
PyTorchでニューラルネットワークを定義するにはnn.Moduleを継承したクラスを定義する。
各レイヤーの定義は__init__
functionに定義し、ネットワークにどのようにデータを渡すかはforward
functionに定義する。
また、実行環境としてCPUがGPU(Cuda)のどちらかを指定可能。
# Get cpu or gpu device for training.
device = "cuda" if torch.cuda.is_available() else "cpu"
print("Using {} device".format(device))
# Define model
class NeuralNetwork(nn.Module):
def __init__(self):
super(NeuralNetwork, self).__init__()
self.flatten = nn.Flatten()
self.linear_relu_stack = nn.Sequential(
nn.Linear(28*28, 512),
nn.ReLU(),
nn.Linear(512, 512),
nn.ReLU(),
nn.Linear(512, 10),
nn.ReLU()
)
def forward(self, x):
x = self.flatten(x)
logits = self.linear_relu_stack(x)
return logits
model = NeuralNetwork().to(device)
print(model)
Optimize
Loss FunctionとOptimizerの定義
モデルの定義を行うにはLoss FunctionとOptimizerが必要なので、定義を行う。
今回使用しているのはクロスエントロピーとSGD
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=1e-3)
trainとtestの定義
def train(dataloader, model, loss_fn, optimizer):
size = len(dataloader.dataset)
for batch, (X, y) in enumerate(dataloader):
X, y = X.to(device), y.to(device)
# prediction errorを計算
pred = model(X)
loss = loss_fn(pred, y)
# Backpropagation
optimizer.zero_grad()
loss.backward()
optimizer.step()
if batch % 100 == 0:
loss, current = loss.item(), batch * len(X)
print(f'loss: {loss:>7f} [{current:>5d}/{size:>5d}')
def test(dataloader, model):
size = len(dataloader.dataset)
model.eval()
test_loss, correct = 0, 0
with torch.no_grad():
for X, y in dataloader:
X, y = X.to(device), y.to(device)
pred = model(X)
test_loss += loss_fn(pred, y).item()
correct += (pred.argmax(1) == y).type(torch.float).sum().item()
test_loss /= size
correct /= size
print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n")
Modelの保存と読み込み
torch.save(model.state_dict(), "foo.pth")
でモデルのパラメータを含めてインターナルな状態を保存できる。
こうして保存したモデルは再度読み込んで推論等で利用できる。
# モデルのローカルへの保存
torch.save(model.state_dict(), "model.pth")
print("Saved PyTorch Model State to model.pth")
# モデルのロード
model = NeuralNetwork()
model.load_state_dict(torch.load("model.pth"))
# 読み込んだモデルを使用しての推論
classes = [
"T-shirt/top",
"Trouser",
"Pullover",
"Dress",
"Coat",
"Sandal",
"Shirt",
"Sneaker",
"Bag",
"Ankle boot",
]
model.eval()
x, y = test_data[0][0], test_data[0][1]
with torch.no_grad():
pred = model(x)
predicted, actual = classes[pred[0].argmax(0)], classes[y]
print(f'Predicted: "{predicted}", Actual: "{actual}"')
Tensors
PyTorchではモデルのインプット、アウトプットやモデルのパラメータなどでPythonのListやNumpy Arrayではなく、PyTorchで定義されたTensorという独自のデータ型を使用する。
TensorをNumpy Arrayと比較すると以下の特徴がある。
- 操作方法や演算などはほぼNumpy Arrayと同じ
- Numpy Arrayと異なりGPUなど、CPU以外のハードウェア上での演算が可能
- Numpy Arrayと異なり自動での微分(automatic differentiation)に対応している
Tensorの作成
データから直接作成
data = [[1, 2], [3, 4]]
x_data = torch.tensor(data)
Numpy Arrayから作成
np_array = np.array(data)
x_np = torch.from_numpy(np_array)
TensorからTensorを作成
このケースでは作成元のTensorのAttribute(ShapeやDatatype)が自動で引き継がれる(明示的に上書きしない限り)
x_ones = torch.ones_like(x_data) # retains the properties of x_data
print(f"Ones Tensor: \n {x_ones} \n")
x_rand = torch.rand_like(x_data, dtype=torch.float) # overrides the datatype of x_data
print(f"Random Tensor: \n {x_rand} \n")
乱数や定数の作成
Numpyと同様にShapeを指定して乱数の生成などができる。
shape = (2,3,)
rand_tensor = torch.rand(shape)
ones_tensor = torch.ones(shape)
zeros_tensor = torch.zeros(shape)
print(f"Random Tensor: \n {rand_tensor} \n")
print(f"Ones Tensor: \n {ones_tensor} \n")
print(f"Zeros Tensor: \n {zeros_tensor}")
Datasets & Dataloaders
Datasetのロード
Fashion-MNISTのデータをロードする例。
-
root
でダウンロード先のパスを指定できる - 'train'の指定でダウンロードするのがtraining setかtest setか選べる
-
download
をTrueにするとroot
で指定したディレクトリにデータが存在しなかった場合はダウンロードを行う -
transform
とtarget_transform
でfeatureとlabelの変換方法を指定できる
import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt
training_data = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor()
)
test_data = datasets.FashionMNIST(
root="data",
train=False,
download=True,
transform=ToTensor()
)
Datasetにアクセスする
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in range(1, cols * rows + 1):
sample_idx = torch.randint(len(training_data), size=(1,)).item()
img, label = training_data[sample_idx]
figure.add_subplot(rows, cols, i)
plt.title(labels_map[label])
plt.axis("off")
plt.imshow(img.squeeze(), cmap="gray")
plt.show()
カスタムデータセットの作成
Dataset
を継承したクラスを定義することでカスタムのデータセットを自分で定義することが可能。
定義するクラスには以下3つのメソッドが必要
- init
- len
- getitem
DataLoadersを使用してデータの準備
DataLoadersを使うことで以下の恩恵が得られる。
- シャッフルしてoverfittingを防ぐ
- Pythonの
multiprocessing
を使って処理速度を向上させる
Iterate
DataLoader
にデータを読み込むことで、読み込んだDatasets
に対する繰り返し処理(iterate)を実施できる。
iterationの度に読み込み時に指定したバッチサイズのデータが返される。
Transforms
データについて、必ずしも学習に適した形式で作られるわけではなく、PyTorchのtransformを使って、学習に適した形式への変換が行える。
TorchVisionでの実例
TorchVisionのデータセットはすべて以下の2つのパラメータを受け取る。
- transform
- 特徴量変換のため
- target_transform
- ラベルの変換のため
これらの変換のため、torchvision.transformモジュールで一般的な変換に使われる変換の機能が提供されている。
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda
ds = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
)
上記の変換処理で使われている
-
ToTensor
- PIL imageまたは
ndarray
をFloatTensor
に型変換し、 値を[0., 1.]のレンジにする
- PIL imageまたは
- Lambda Transforms
- ユーザが定義したlambda functionを適用できる機能
Build the Neural Network
NLP
Torchtext
ModuleNotFoundError: No module named torchtext.data.field に記載があるとおり、pytorchのバージョン変更により使い方が若干変わっているっぽい。
詳細は以下のノートブックに記載
Migrate torchtext from the legacy API to the new API