Zenn
Open5

cv2.warpAffine(img, warp_mat, warp_size, flags=cv2.INTER_LINEAR) の処理をNumpyで置き換える方法の検討

PINTOPINTO

cv2.warpAffine()はOpenCVの関数で、アフィン変換（線形変換と平行移動）を画像に適用します。一方、NumPyは、ベクトルや行列の数学的な操作を可能にするライブラリであり、直接的な画像変換機能は提供していません。しかし、基本的な画像のアフィン変換を自前で実装することは可能です。

以下に、Numpyを用いてcv2.warpAffineの処理を置き換える基本的な例を示します。ただし、ここでは最近傍補間法を用いています。補間方法については詳細な調整が必要です。

最近傍補間法（Nearest Neighbor Interpolation）は、画像のリサイズや回転など、画像の幾何学的変換を行う際に使用される最も単純な補間手法の一つです。

具体的には、新しいピクセル位置に対応する元の画像上の位置が整数の座標値にならない場合（つまり、ピクセルの間またはピクセルの外にある場合）、最近傍補間法はその新しい位置に最も近い元のピクセルの値を割り当てます。

この手法は計算が非常に高速である一方で、出力画像が元の画像と比較して劣化する可能性があるという欠点があります。具体的には、画像が大きく変換されると（例えば、大きくリサイズされると）、出力画像には元の画像のピクセルのブロックパターンが見られる場合があります。これは「ピクセル化」と呼ばれ、画像が粗い印象を与えることがあります。

より高品質の画像を生成するためには、バイリニア補間（二次元における線形補間）やバイキュービック補間（二次元における三次補間）などのより複雑な補間手法がしばしば用いられます。これらの手法は計算コストは高くなりますが、変換後の画像の品質をより高く保つことが可能です。

import numpy as np

def warp_affine(img, warp_mat, warp_size):
    # warp_mat should be 2x3 affine matrix
    # warp_size is (output_height, output_width)
    height, width = img.shape[:2]
    out_height, out_width = warp_size
    out_img = np.zeros((out_height, out_width, img.shape[2]))

    inv_warp_mat = np.linalg.inv(np.vstack([warp_mat, [0, 0, 1]]))[:2]  # make 3x3, inverse, then take 2x3 part

    for y in range(out_height):
        for x in range(out_width):
            src_pos = np.dot(inv_warp_mat, [x, y, 1])
            src_x, src_y = src_pos[0], src_pos[1]

            # for simplicity, just use nearest neighbor interpolation
            src_x = round(src_x)
            src_y = round(src_y)

            if 0 <= src_x < width and 0 <= src_y < height:
                out_img[y, x] = img[src_y, src_x]
    
    return out_img

この関数は入力画像(img)にアフィン変換行列(warp_mat)を適用し、出力サイズ(warp_size)に合わせた出力画像を生成します。

ただし、ご注意ください。上記のコードは教育的な目的で提供されており、OpenCVのcv2.warpAffine関数と同等のパフォーマンスや精度を提供するものではありません。また、このコードは最近傍補間のみをサポートしており、cv2.INTER_LINEARと同等の線形補間を実装するためには追加のコードが必要となります。

PINTOPINTO

cv2.INTER_LINEARは線形補間（またはバイリニア補間）と呼ばれ、新しいピクセル値を計算するための周辺4ピクセルの加重平均を使用します。これは、生成された画像が滑らかに見えることを保証します。バイリニア補間を実装するには以下のようにコードを追加します。

import numpy as np

def warp_affine(img, warp_mat, warp_size):
    # warp_mat should be 2x3 affine matrix
    # warp_size is (output_height, output_width)
    height, width = img.shape[:2]
    out_height, out_width = warp_size
    out_img = np.zeros((out_height, out_width, img.shape[2]))

    inv_warp_mat = np.linalg.inv(np.vstack([warp_mat, [0, 0, 1]]))[:2]  # make 3x3, inverse, then take 2x3 part

    for y in range(out_height):
        for x in range(out_width):
            src_pos = np.dot(inv_warp_mat, [x, y, 1])
            src_x, src_y = src_pos[0], src_pos[1]

            # Implementing bilinear interpolation
            x0 = np.floor(src_x).astype(int)
            x1 = x0 + 1
            y0 = np.floor(src_y).astype(int)
            y1 = y0 + 1

            x0 = np.clip(x0, 0, width-1)
            x1 = np.clip(x1, 0, width-1)
            y0 = np.clip(y0, 0, height-1)
            y1 = np.clip(y1, 0, height-1)

            Ia = img[y0, x0]
            Ib = img[y0, x1]
            Ic = img[y1, x0]
            Id = img[y1, x1]

            wa = (x1-src_x) * (y1-src_y)
            wb = (src_x-x0) * (y1-src_y)
            wc = (x1-src_x) * (src_y-y0)
            wd = (src_x-x0) * (src_y-y0)

            out_img[y, x] = wa*Ia + wb*Ib + wc*Ic + wd*Id

    return out_img

この関数はバイリニア補間を使用して新しいピクセル値を計算します。具体的には、対象ピクセルの周围の4つのピクセル（Ia, Ib, Ic, Id）の値とそれぞれの重み（wa, wb, wc, wd）を計算し、これらの積の和を新しいピクセル値として設定します。

ただし、このコードは依然として教育的な目的で提供されており、OpenCVのcv2.warpAffine関数と同等のパフォーマンスや精度を提供するものではありません。また、このコードはピクセル間の補間のみを行い、エッジに対する処理（パディングやエッジ拡張）などは考慮していません。これらの詳細は具体的な用途によって異なる可能性があります。