病理画像や顕微鏡写真で細胞レベルの定量的解析を行いたくとも、やはり画像上の小単位（細胞や構造）を分離するという画像処理技術の限界があり、定性的に解析されていることも多い。細胞形態や陽性細胞率、細胞種を見た目で判断してスコア化するのが現実的であろう。
より定量的に解析するために、蛍光画像を用意するということも良く行われるが、長期保存できない割りに広い視野のデータ取得が困難である。また組織の形態学も失われてしまう。

深層学習を使って、病理画像から細胞（主に細胞核）を個々にセグメンテーションするという試みが行われている。有名どころとしてはStarDistやHoVerNet、CellPoseが挙げられる。我々が見た目に分類できるレベルであれば、深層学習モデルを使って細胞を分離することが可能となりつつあり、顕微鏡画像/病理画像が定量的に解析可能となってきている。

本書ではHoVerNetモデルを使って顕微鏡画像から細胞核をインスタンスセグメンテーションする方法を紹介する。

TensorFlow版、PyTorch版を用意している。どちらかを読んで頂く想定なので、説明は重複している。

🔴：TensorFlow
🔵：PyTorch
⚪：共通のPython処理
⚫：共通のQuPath処理

--------------------
機械学習用のローカル環境としては以下を使用した。
・Windows 11（16コア/32スレッド、128GBメモリ、CドライブにM2.SSD）
・NVIDIA GeForce RTX3090
------

今後、バーチャルスライドへの応用例も公開予定です。

HoVerNetで細胞のインスタンスセグメンテーション

はじめに

⚪ 配布するpythonファイルについて

⚪ デモデータ

⚪ 16bit画像の読み込み

⚪ Distance mapの作成

⚪ Distance mapからインスタンスラベル作成（post process）

🔴 TensorFlowの環境構築

🔴 TensorFlowの一連のワークフロー

🔴 Distance mapの作成

🔴 Dataset① - ファイルパスのDataset作成 -

🔴 Dataset② - 画像の読み込み -

🔴 Dataset③ - データ拡張/値の範囲変更 -

🔴 Dataset④ - インスタンス画像をDistance mapへ変換 -

🔴 Dataset⑤ - 全ての関数を適応したDatasetの作成 -

🔴（モデル自作の事前知識）モデルの構造を視覚的に確認

🔴（モデル自作の事前知識）Functional APIのモデル構築例

🔴 HoVerNetモデル作成① - encoder -

🔴 HoVerNetモデル作成② - decoder -

🔴 HoVerNetモデル作成③

🔴 Loss① - クロスエントロピー、Dice -

🔴 Loss② - Distance mapの誤差、勾配誤差 -

🔴 Metrics

🔴 （モデルの訓練の事前知識）compile()メソッド, fit()メソッド

🔴 （モデルの訓練の事前準備）モデルの精度確認plot

🔴 モデルの訓練

🔴 モデルの訓練【カスタムトレインループ】

🔴 訓練済みモデルの保存と読み込み

🔴 予測とpost process

⚪ インスタンス画像の保存とImageJでの読み込み

🔵 PyTorchの環境構築

🔵 Distance mapの作成

🔵 Dataset① - Datasetでの処理内容 -

🔵 Dataset② - 自作Datasetの定義 -

🔵 DataLoader

🔵（モデル自作の事前知識）モデルの構造を視覚的に確認

🔵 HoVerNetモデル作成① - encoder -

🔵 HoVerNetモデル作成② - decoder -

🔵 HoVerNetモデル作成③

🔵 Loss① - クロスエントロピー、Dice -

🔵 Loss② - Distance mapの誤差、勾配誤差 -

🔵 モデルの訓練

🔵 モデルの保存と読み込み

🔵 モデルの訓練2

🔵 早期終了、ベストモデルの保存

🔵 予測とpost process

----- バーチャルスライドへの応用 -----

⚫ QuPath - 可視化・ラベル付けツール -

⚫ 正解ラベル付け

⚫ 正解ラベルの手修正

⚫ 正解ラベル（訓練用タイル画像）の書き出し

🔴 訓練

⚫ 予測用タイル画像の用意

🔴 予測処理の実行

⚪⚫ 予測後データをインスタンスラベル画像として保存 ➔ QuPathに反映

⚪⚫ 予測後データを細胞輪郭座標として保存 ➔ QuPathへの反映