👏
Prefectについて
Prefectというワークフロー管理のライブラリがある。
色々調べていたので、その最中に読んだ記事を集めた。
- https://techblitz.com/perfect/
- https://tech.jxpress.net/entry/dataplatform-etl
- https://techblog.finatext.com/prefect-run-pipeline-d40e32b57022
- https://tirupati-tour-packages.com/ja/ja59499/
- https://buildersbox.corp-sansan.com/entry/2021/12/01/110000
- https://qiita.com/k24d/items/a730cac5704ee72de756
- https://qiita.com/koji_mats/items/0533fbdeb9012a7e1494
- https://tech.rhythm-corp.com/run-prefect-flow-on-ecs-fargate/
Prefectのキーワード
ハイブリッドモデル
また、Prefectでは、ハイブリッドモデルを採用しております。ワークフローの実施を担う基盤とワークフローの監視やスケジュール実施が基盤（Prefect Cloud）が分離しており、Prefect Cloud上には、データやソースコードが保存されずに、タスクのスケジュール実施や監視のみが行われます。
ネガティブエンジニアリング
だが、Airbnb用に最適化されたスケジューリングシステムApache Airflowの開発に携わった際、データワークフロー管理の課題について考えるようになる。データサイエンティストが、正しくデプロイされているかどうかを確認するために、非常に膨大な時間を費やしていること（ネガティブエンジニアリング）に気がついたのだ。
ETLについて参考になった部分
この辺りのETLツールの選定時の基準については、あまり意識したことがなかったので参考になった。
Discussion