Zenn
🗒️

24/07/15 ~ 24/07/21 Weekly Report

2024/07/22に公開
AWS
データ分析
ブログ
日記
idea

はじめに

この一週間に学んだ内容や私生活について、備忘録として残していこうと思います。

Input

Books

  1. データエンジニアリングの基礎
    • chap2 データエンジニアリングライフサイクル
      • データエンジニアリングには5つのステージに分けられる
        • 生成
        • 保存
        • 取り込み
        • 変換
        • 提供
      • 各ステージごとに設計上の重要な考慮点がある
        • 考慮点を網羅的に挙げられているが、とにかく多い。それだけ複雑かつ泥臭いということか...
      • データエンジニアリングの主要な底流
        • セキュリティ
        • データ管理
        • DataOps
        • データアーキテクチャ
        • オーケストレーション
        • ソフトウェアエンジニアリング
      • 全部重要なのは理解できるが、改めてデータエンジニアリングは魔境だなぁ
    • chap3~4
      • データエンジニアリングのアーキテクチャとテクノロジ選定の内容
      • 既に見知っている情報が多いが、今まで学習したどの書籍より一段詳しく記述されており勉強になる。
    • 今のところ、データエンジニアリングの内容や考慮事項を詳しく書かれており、勉強になることは多い。ただ、文字ベースでの説明となっており、イメージしにくいところも多い。時折図解による説明をされている箇所もあるが、PPTの簡易な図形で作成されているようなもので、抽象的すぎる。その図って意味あるのかと思うようなものも多々あるので、決して親切な書籍とは言えない印象。
  2. AWSで始めるクラウド開発入門
    • 読了。約一週間でサクサクと実装してみた。Cloudformationでサービスをデプロイしつつ実装する内容で、何か作ってる感を感じつつ楽しく進めることができた。ほぼコードが古いので補完が大変。
    • chap1~3
      • クラウドに関する基本的な説明と環境構築。
        • AWS CLI
        • AWS CDK
        • DockerFile
      • CLI, CDKはMacで環境構築する場合、書籍やブログのやり方だとインストールできない。AWS公式のインストール手順に従って実行すると、その後問題なく進めることができる。
    • chap4 初めてのEC2インスタンスを起動する
      • VPC,SecurityGroupを介したEC2インスタンスをCloud Formationでデプロイする。ガッツリCLIでリソースを構築していく教材は貴重なので勉強になる。リソースが3年前なので補完は大変だがその分勉強になるのでよしとする。
    • chap5 AWSでディープラーニングを実践
      • Chap4のセキュリティ環境にEC2でGPUインスタンスを使用し、DLAMIをデプロイした。localhost:8888が既に使われており、コンテナを削除していないことに気づかず時間を溶かした。
      • IaCのコードは独特なので実務で使わないとなかなか定着しなさそう。記述の感覚と何をやっているのかをしっかりと理解していこう。
    • chap6 Docker入門
      • dockerの基本とECSの仕組み
    • chap7~15
      • ここからは基本的にサンプルコードをcdkでデプロイしつつ動作確認する内容が続いていく。コードが古くてうまく動作しない個所はChatGPTやClaude大先生に質問しつつ進めていくとサクサク実装できた。
    • 全体として、CLIベースでの本格的な分析環境を構築することが体験出来て勉強になった。そのうち記事を作成してもいいかもしれないが、最近エラーハンドリングで良記事が出ているので、いったん保留。
  3. ウェブ最適化ではじめる機械学習
    • 積読していた書籍を消化するために始めた。転職先がアナリストになりそうな雰囲気なので、学習意欲が増したことによるもの
    • chap1,2
      • PyMC3でベイズ推論による仮説検定の理論と実装を学ぶ。サンプルコードが古く、そのままではPyMCが動作しないので、コードを補完する必要があった。

Blogs

kaggle

Media

  • 3Blue1BrownJapan_線形代数のエッセンス
    • 9/16まで完了
  • AIcia Sollid_Deeplearningの世界
    • 22/43まで完了
  • Amazon Bedrock 生成AIアプリ開発入門 - Forkwell Library #58
    • 先日購入した書籍のリリースイベント
    • AWSクラウド開発の書籍が終わったらやってみようかな。この手の書籍は賞味期限が短い
  • 量子コンピューターと新たな産業革命
    • 量子コンピュータが実現する未来について論議している。ゲストは落合さんが今まで出会った中でトップレベルに賢い人物という北川拓也さん。高度な技術についてのディスカッションがとても興味深く惹き込まれる
    • 量子コンピュータは01での計算ではなく、量子が干渉し合うことで演算するようなことを言われていた。自然現象を01の演算で求めることは難しいが、量子コンピューティングでは実現できる
    • 量子コンピュータ開発における議論
      • 製品開発の創造性が爆増するが、サプライチェーンはついていけるのか？
      • 量子コンピュータ汎用化により出現するキラーアプリは味や香料の開発
      • 量子コンピュータを作成する上で、Transfoemerを使っているし、量子コンピュータはtransformerより言語表現が豊かであることが証明されている
      • 量子コンピュータは人類を理解するのに必要な技術
    • 「なぜ仕事をするのか？」という問いに、「人と働く」
  • 改訂新版 前処理大全〜SQL/pandas/Polars実践テクニック~ FL#59
    • 先日購入した書籍のリリースイベント
    • PandasでできることはPolarsで実装可能
    • 大規模データを使用する場合、これからはPolarsで記述する方がベター
    • そのうちpolarsの記事でも書こうかなぁ
  • Work in progress
    • #108~101
  • 聴くエンジニアType
    • #72~74 fukabori.fmのiwashiさんゲストの回。
    • 仕事のしすぎで瞼がぴくぴくなっていたという話をしていたが、私も同じ現象が起きるので笑い事ではないな
    • 「こいつは好きなことをやらせないと辞めてしまうぞ」というポジションに立つというのはいい考えだと思った。

Insights

  • 学習の際によく分析系のポッドキャストを聴いているが、BGMを聴いている時と比べ集中力がもたないことに気づいた。特に技術学習のような集中力を要する作業を行う場合は極力lofi hiphopのような邪魔しない音楽を聴くことを心がけよう
  • VSCodeでZennの記事を書く場合、Markdown All In Oneの拡張機能を使用している、初期設定だとインデントがズレるので、インデント幅を4行に変更したい場合、Markdown All In Oneの「拡張機能の設定」からMarkdown › Extension › List: Indentation Sizeでadaptive⇨inheritに変更すると良い。
  • ブログを始めたことによって以前より学んだ内容が定着してきている気がする。もっと早く始めておけばよかった。ただ、今まで様々な記事でアウトプットは重要だと聞いていたけど、何かと理由付けしてやってなかったので自分の固い価値観が悪いんだな。改めて、複数の場所でおすすめされているライフハックのようなものは、ごちゃごちゃ言い訳せずにやってみることを心がけよう。

Life

  • 新たに書籍を購入した
    • Amazon Bedrock 生成AIアプリ開発入門
      生成AI領域は開発寄りな技術だと思っているので、AWSと親和性が高いような気がしている。包括的に学べるということなので購入してみた
    • 欠測データ処理: Rによる単一代入法と多重代入法
      改めて欠損データの処理について学習してみようと思い購入。統計的検証などを行う際に有用な知見となればいいな
    • サンプルサイズの決め方
      A/Bテストのような効果検証の書籍は学習しているが、実験計画を行う上でサンプルサイズをどうするのかという議論はあまり扱われていない。統計検定で検出力の算出の際にサンプルサイズを計算する問題を解いたことはあるが、その程度の知識に留まるので、一度しっかり学んでおこうと思い購入。
    • AWSで始めるクラウド開発入門
      • 前回の週報で紹介したブログ記事に触発され、書籍版を購入。無料版より厚みを持たせて説明されているためわかりやすい。
  • 母方の祖父が他界した。休日は葬儀関係の対応に追われていた。寡黙な祖父で、残念ながらあまり印象的な思い出がないが、晩年はよく応援してくれていて優しい祖父であった。決して裕福ではないが、幸せな家庭を築いたことは素直に尊敬できる。私も長く健康で、ストレスの少ない幸せな家庭を築くために今必死に頑張ろうと思う。今までありがとうございました。

Task

Discussion