深層学習モデルでバーチャルスライドのSemantic segmentation

Ryota Chijimatsu

「Semantic segmentaion」と調べれば、街中の写真から人、車、道、木などにラベル（マスク）を付けて分類している画像が出てくるだろう。このようにSemantic segmentationでは同じ意味を持つピクセルを同じ値に分類する。 Semantic segmentationの深層学習モデルでは入力画像と同じサイズのラベル画像を返す。U-Netはその代表例である。医学画像ではレントゲンやMRI画像から腫瘍部の検出に使われる例が多い。 本書では病理画像全体から複数の構造をSemantic segmentationで分類する方法を紹介する。次に示すのが一連のワークフローである。 「QuPathでラベル付け ➔ TensorFlowでSemantic segmentationモデルの訓練 ➔ バーチャルスライドでSemantic segmentation ➔ （必要であれば）再ラベリングと再学習」 ※ 病理画像はバーチャルスライドシステムで取得したものを想定しているが、巨大なtiffファイル等でも同様のアプローチができる。 巨大な画像はそのままでは入力には扱えない。そこで画像を小さくタイル状に分割してモデルの学習、予測に使用する。「タイル画像の切り貼り」、「タイル端に存在する構造の扱い」など、モデルを通す前後の処理も必須になる。 バーチャルスライドデータの操作、学習用画像の用意、予測結果の可視化にはフリーソフトのQuPathを使用する。本書でも必要なQuPathスクリプトは紹介するが不足であれば以下の本を参照してほしい。 https://zenn.dev/rchiji/books/51fbb88213582d ⚫: QuPath ⚪: Python 🔴: Python + Tensorflow 🧱: タイル画像処理 -------------------- 機械学習用のローカル環境としては以下を使用した。 ・Windows 11（16コア/32スレッド、128GBメモリ、CドライブにM2.SSD） ・Tensorflow 2.10 ・NVIDIA GeForce RTX3090 -------------------- ※ 241015~ 最初の章から刷新中です。一部更新されていない箇所がございます。