24/10/07 ~ 24/10/13 Weekly Report

はじめに

この一週間に学んだ内容や私生活について、備忘録として残していこうと思います。

Input

Books

1. DXを成功に導くデータマネジメント

転職先でしばらくの間データマネジメント領域に携わることになりそうなので読みはじめた。
正直、社内のことや事業をしっかり理解している人がやると円滑に進む領域だと思うが、そもそも現職ではデータに詳しい人がいないということもあるため、ベストプラクティスの観点から案を出せるようなポジションで動いていけるよう、知識をつけていく。

• 第1章 DX推進の背景
  • 日本国内におけるDX推進は、経済産業省が2018年に発表した「DXレポート」がきっかけとなり、多くの企業でDX推進が加速した。 レポートでは、既存システムのブラックボックス化によってデータ活用が進まない場合、日本経済に最大12兆円/年の損失が発生する可能性 (「2025年の崖」) が指摘されている。
  • DXとは、デジタル技術を活用して、顧客体験価値を高める「コト」を提供し、顧客中心指向のビジネスモデルへと変革すること。 デジタルデバイスの普及により、現実世界の情報をリアルタイムで取得・活用できるようになり、データに基づいた意思決定を行う「データ駆動型経営」が可能になった。
  • データは第4の資産 と言われ、適切な管理を行う「データマネジメント」が必要 。
• 第2章 データマネジメント組織の意義
  • 「データマネジメント」 とは、データを適切に管理・活用することです。 データには、ビジネスデータ（構造化データ・非構造化データ） と メタデータ がある。
  • データを資産として扱うためには、「データガバナンス」 を利かせ、責任を持ってデータマネジメントを行う「データオーナー」 を明確にする必要がある。
  • データマネジメント組織を立ち上げるには、経営層のコミットメントが不可欠。
  • データマネジメント組織は、個別プロジェクトで終わらせず、永続的な活動 とするべき。
• 第3章 データマネジメント施策策定
  • データマネジメント施策 とは、経営戦略に基づき、データ活用基盤の構築・維持・運用・人材育成・組織づくりからデータマネジメント実施事項を決めること。
  • データ活用基盤 とは、企業全体でデータ活用ができるよう、データを連携・統合し、データ活用を促すためのサポートプロセスを提供するサービス です。機能は 「マスタデータ管理」「データ連携管理」「データカタログ管理」 。
  • データマネジメント施策策定は、「データ要件整理」 → 「データマネジメント推進要件整理」 → 「データマネジメント施策決定」 → 「データマネジメント施策のKPI設定」 → 「ビジョン策定」 の5ステップで行う。
  • 標準データマネジメント施策一覧（表3.2.1）やCMMIのDMMを参考に、具体的な実施事項を決定する
  • データ活用基盤構築のゴールの姿（＝ビジョン） を、データアーキテクチャとデータモデルを使って描き、関係者間で共通認識を作る
  • データウェアハウス は大規模倉庫のイメージで、組織の全データを時系列に格納する
  • データマート は 特定の目的のために必要なデータを抽出した小規模なデータウェアハウス
  • データレイク は あらゆる種類のデータをそのままの状態で格納する場所
• 第4章 データマネジメント組織設計
  • データマネジメント組織設計 とは、データマネジメント施策を達成する仕組み作り 。「プリンシプル」「ミッション」「ゴール」「ポリシー」 を定め、体制・役割・プロセスを設計 する。
    • 「プリンシプル」 とは、データマネジメント活動の基本的な考え方
    • 「ミッション」 とは データマネジメント施策を選んだ理由
    • 「ゴール」 とは データマネジメント施策が達成された状態
    • 「ポリシー」 とは 具体的な行動指針
  • データマネジメント組織設計は、 「プリンシプル策定」 → 「ポリシー策定」 → 「ゴール・ミッション策定」 → 「体制・役割策定」 → 「プロセス策定」 の5ステップで行う。
  • データガバナンス とは、データマネジメント活動がルール通り行われているか監督し、円滑な実行をサポートすること 。
• 第5章 データマネジメントガイドライン策定
  • ガイドライン とは、データマネジメント施策を達成するために、守るべきルールをまとめたもの 。
  • DMBOK2の10の知識領域ごとに作成し、 「守るべきこと」「守るべきもの」「チェックすること」 を記述する。
  • データストレージとオペレーション では、システムの安定稼働を考慮し、基準を設けてモニタリングを行い、業務に支障が出ないようにガバナンスを効かせる 必要がある。
  • データセキュリティ では、全社ルールとして定めた「データアクセス権の設定要綱」をプロジェクトサイドに守らせる ことが重要。
  • データ統合と相互運用性 では、 データHUBを経由したデータ連携 をルール化し、 データのスパゲッティ化を防ぐ ことが重要。
  • ドキュメントとコンテンツ管理 では、 ドキュメントの格納場所を決め、コンテンツに標準タグを適用することで、管理を徹底する 必要がある。
  • 参照データとマスタデータ では、共通コードが適切な箇所で使われるようにする ことが重要。
  • データウェアハウス では、 インプット中心のデータ活用を抑制し、仮説検証に基づくデータ活用を促進する ために、 「情報要求定義書」 と 「要約分析表」 を用いてガバナンスを行う。
  • メタデータ では、データ活用推進に必要な情報が網羅されているか を確認し、ビジネスメタデータ、アプリケーションメタデータ、セキュリティメタデータ、品質メタデータの4つの観点で情報要求を検討する ことが重要。
  • データ品質 では、データ品質管理基準 を定義し、クリティカルデータエレメント（CDE） を設定して管理レベルを定義する。ß

MOOC

LeetCode

• Advanced SQL 50
  • 15/50 まで完了
• DeepLearning.AI Data Engineering Professional Certificate
  • Source Systems, Data Ingestion, and Pipelines
    week3まで修了。
    • TerraformによるIaC構築
    • Data Observability関係

Articles

• Competitionsだけじゃない！ Kaggle Notebooks Grandmasterのすすめ
• とある事業会社にとっての Kaggler の魅力
• Grafana エコシステムの活用事例 on ABEMA
• Graph Database と Generative AI の素敵な関係
• データマイグレーションの成功戦略~サービスリニューアルで失敗しないための実践ガイド~
• 今さら聞けないログの基本と設計指針
• What to Expect in Your First 90 Days as A Data Scientist

Medias

• CA DATA NIGHT
  見逃していたCA DATA NIGHTのイベント動画がいつの間にかアップロードされていたので休日中に視聴。高度技術を用いた事例紹介もさることながら、データマネジメント系の発表が多かったので、今の私にとって参考になることが多かった。
• コード×AIーソフトウェア開発者のための生成AI実践入門~ Forkwell Library#69
• JAWS-UG AI/ML #21：Generative AI LT大会

Services

• vertex-ai-creative-studio
  Googleの画像生成AIであるImagenをWebUIで実行するサービス。
• Data Engineering Whitepapers
  データエンジニアリング領域のWhitePaperがまとめられている。

Insight

• 筋トレ（というか日常の習慣）から生活のリズムが作られる。最近仕事が変わり、習慣がリセットされたが、これまで継続していたことはしっかりと続けて細部を最適化していこう。
• 水曜日に福岡でリアル開催されたLINEヤフー社が開催したPython Meetupに参加した。
• 最近はPython環境を完全にuvベースに移行した。今までpoetryを使用していたが、配布の利便さや機能も含め完全に上位互換と言えそうなのでなるべくこちらで環境を作っていく。

Life

• 先日結婚記念日を迎えたこともあり、週末に美味しいご飯と食べに行った。
• ここずっとお祝い事なので週末に予定が入りがちになってしまい、集中して作業する時間を取れていないのが課題。たまたまそういう時期であることを認め、ストレスを溜めないようにしよう。時間が取れる時に、うまく時間を活用できれば大丈夫。

Task

技術

1. 因果推論 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ
2. つくって、壊して、直して学ぶ Kubernetes入門
3. コンピュータビジョンのための実践機械学習

読書

1. 独学で鍛える数理思考
2. 評価指標入門
3. データ指向アプリケーションデザイン