深層学習モデルでバーチャルスライドのSemantic segmentation

深層学習モデルでバーチャルスライドのSemantic segmentation

01はじめに 02環境構築 - Python, QuPath -03----- 【第1部】正解データの用意 -----04⚫ デモデータの用意 05⚫ 学習用画像の用意1 - 正解ラベルを付ける領域を書き出す -06⚫ 学習用画像の用意2 - QuPathでラベル付け -07⚫ 🧱 学習用画像の用意3 - 正解ラベルタイル画像の書き出し -08-----【第2部】 TensorflowでSemantic segmentationモデルの作成 -----09⚪ 配布pythonファイルについて 10🔴 モデルに画像を渡す1 - tf.data.Dataset -11🔴 モデルに画像を渡す2 - 画像の読み込み機能 -12🔴 モデルに画像を渡す3 - データ拡張 -13🔴 モデルに画像を渡す4 - 値の範囲/データ型の変更/チャンネル軸操作（One-hot encoding, squeeze) -14🔴 モデルに画像を渡す5 - Datasetに機能を適応 -15🔴 学習データと検証データに分ける 16🔴 モデルの用意 - Segmentation-modelsライブラリ -17🔴 モデルのコンパイル - 損失関数/評価関数/最適化関数 -18🔴 学習の実行 19🔴 ネットワーク構造の検証 - Segmentation-modelsライブラリ -20🔴 損失の検証 21🔴 訓練途中でのcallback - 早期終了/ReduceLROnPlateau/Checkpoint/TensorBoard -22🔴 混合精度の利用 23🔴 訓練済みモデルの保存と読み込み 24-----【第3部】訓練済みモデルでバーチャルスライドを予測 -----25⚫ 予測画像の用意1 - 予測対象領域の作成 -26⚫ 🧱 予測画像の用意2 - 予測対象領域からタイル画像を書き出し -27🔴 バーチャルスライドのタイル画像から予測ラベル作成 28⚪🧱 タイルの貼り合わせ - Center crop -29⚪🧱 タイルの貼り合わせ - 予測確率の平均 -30🔴🧱 タイル画像予測からWSIサイズの貼り付けまで一連で行う 31⚪ Whole Slide Labelの書き出し 32⚫ 予測結果をQuPathで可視化する 33⚪ Object座標をjsonファイルとして書き出す 34⚫ 学習用画像の追加作成 35⚫ 再学習用画像に正解ラベル付け 36🔴⚫ モデルの訓練 ~ 予測（2回目以降の流れ）37-----【第4部】 Semantic segmentationモデルを自作する -----38🔴 モデルの構造を視覚的に確認 39🔴 モデルを自作してみよう1 - Functional APIのモデル構築例 -40🔴 モデルを自作してみよう2 - U-Net構築 -41🔴 モデルを自作してみよう3 - U-Net構築 2 -42🔴 損失関数を自作する 43🔴 評価関数を自作する 44🔴 損失にclass weightをつける 45🔴 デコーダー各層から損失を求める 46🔴⚫ Multi Resolution Network 1 [ 訓練データの用意 ]47🔴 Multi Resolution Network 2 [ モデルの構築、訓練 ]48🔴⚫🧱 Multi Resolution Network 3 ~ [ 予測～Whole slide label画像作成 ] ~49🔴 より複雑なU-netモデル【 keras-unet-collection 】50-----【第5部】 OpenSlide / BioFormats -----51⚪ PythonでOpenSlideを扱う 52⚪ 予測用タイル画像の座標算出 [OpenSlide編]53🔴 予測から1枚絵まで [OpenSlide編]54⚪ PythonからBioFormatsを使う 55⚪ 予測用タイル画像の座標算出 [BioFormats編]56🔴 予測から1枚絵まで [BioFormats編]57⚪ （付録）OME-TIFFをZarr arrayとして開く 58⚪（付録）OME-TIFF / OME-XML 59-----【第6部】 QuPath内でPythonスクリプトを実行 -----60⚫ ProcessBuilderの使い方 61⚫ QuPathからPython仮想環境のGPUを認識させる 62⚪ Pythonスクリプトの用意 63⚫ QuPath内で予測 ➔ Object反映まで 64⚪⚫ QuPath内で予測 ➔ Object反映まで【OpenSlide編】65⚪⚫ QuPath内で予測 ➔ Object反映まで【BioFormats編】66最後に

Chapter 60

⚫ ProcessBuilderの使い方

Ryota Chijimatsu

2024.12.12に更新