深層学習モデルでバーチャルスライドのSemantic segmentation

深層学習モデルでバーチャルスライドのSemantic segmentation

01はじめに 02環境構築 - Python, QuPath -03----- 【第1部】正解データの用意 -----04⚫ デモデータの用意 05⚫ 学習用画像の用意1 - 正解ラベルを付ける領域を書き出す -06⚫ 学習用画像の用意2 - QuPathでラベル付け -07⚫ 🧱 学習用画像の用意3 - 正解ラベルタイル画像の書き出し -08-----【第2部】 TensorflowでSemantic segmentationモデルの作成 -----09⚪ 配布pythonファイルについて 10🔴 モデルに画像を渡す1 - tf.data.Dataset -11🔴 モデルに画像を渡す2 - 画像の読み込み機能 -12🔴 モデルに画像を渡す3 - データ拡張 -13🔴 モデルに画像を渡す4 - 値の範囲/データ型の変更/チャンネル軸操作（One-hot encoding, squeeze) -14🔴 モデルに画像を渡す5 - Datasetに機能を適応 -15🔴 学習データと検証データに分ける 16🔴 モデルの用意 - Segmentation-modelsライブラリ -17🔴 モデルのコンパイル - 損失関数/評価関数/最適化関数 -18🔴 学習の実行 19🔴 ネットワーク構造の検証 - Segmentation-modelsライブラリ -20🔴 損失の検証 21🔴 訓練途中でのcallback - 早期終了/ReduceLROnPlateau/Checkpoint/TensorBoard -22🔴 混合精度の利用 23🔴 訓練済みモデルの保存と読み込み 24-----【第3部】訓練済みモデルでバーチャルスライドを予測 -----25⚫ 予測画像の用意1 - 予測対象領域の作成 -26⚫ 🧱 予測画像の用意2 - 予測対象領域からタイル画像を書き出し -27🔴 バーチャルスライドのタイル画像から予測ラベル作成 28⚪🧱 タイルの貼り合わせ - Center crop -29⚪🧱 タイルの貼り合わせ - 予測確率の平均 -30🔴🧱 予測後ラベルを書き出さない方法 - LabelHolder -31⚪ Whole Slide Labelの書き出し 32⚫ 予測結果をQuPathで可視化する 33⚪ Object座標をjsonファイルとして書き出す 34⚫ 学習用画像の追加作成 35⚫ 再学習用画像に正解ラベル付け 36🔴⚫ モデルの訓練 ~ 予測（2回目以降の流れ）37-----【第4部】 Semantic segmentationモデルを自作する -----38🔴 モデルの構造を視覚的に確認 39🔴 モデルを自作してみよう1 - Functional APIのモデル構築例 -40🔴 モデルを自作してみよう2 - U-Net構築 -41🔴 モデルを自作してみよう3 - U-Net構築 2 -42🔴 損失関数を自作する 43🔴 評価関数を自作する 44🔴 損失にclass weightをつける 45🔴 デコーダー各層から損失を求める 46🔴 より複雑なU-netモデル【 keras-unet-collection 】47-----【第5部】 OpenSlide -----48⚪ PythonでOpenSlideを扱う 49⚪ 予測用タイル画像の座標算出 50🔴 予測から1枚絵まで 51-----【第6部】 QuPath内でPythonスクリプトを実行 -----52⚫ ProcessBuilderの使い方 53⚫ QuPathからPython仮想環境のGPUを認識させる 54⚪ Pythonスクリプトの用意 55⚫ QuPath内で予測 ➔ Object反映まで 56最後に

Chapter 04

⚫ デモデータの用意

Ryota Chijimatsu

2023.12.27に更新