re:Invent 2024: ICEYEが衛星データとAIで洪水対応を加速
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - How ICEYE uses satellite data & generative AI to speed flood response (AES305)
この動画では、衛星技術企業ICEYEが、AWSのクラウド機能とGenerative AIを組み合わせて自然災害の監視・分析を行うソリューションについて解説しています。ICEYEは世界最大のSynthetic Aperture Radar衛星コンステレーションを運用し、雲や煙を透過して地上の状況を観測できる技術を持ちます。AWS Ground StationやAmazon EKS、Amazon Bedrockなどを活用し、衛星データの取得から分析、レポート生成までを24時間以内に実現。特にHurricane Ianの際には30万以上の建物の被害状況を把握し、ハワイLahainaの火災では14時間以内に1,500棟以上の建物の焼失状況を報告するなど、具体的な成果を上げています。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
衛星技術とAWSの融合：自然災害対応の革新
皆様、本日のセッションへようこそ。本日は、先進的な衛星技術、AWSのクラウド機能、そしてGenerative AIの融合について探求し、この強力な組み合わせが宇宙から自然災害に関するデータギャップを埋め、生命を救い、コミュニティを守るための客観的なデータ駆動型の意思決定を可能にする方法についてお話しします。宇宙は私たちの地球を監視する特権的な視点です。衛星データをリアルタイムに近い形で大規模に取得・処理し、自然災害の早期発見、モニタリング、被害軽減を実現できる世界を想像してみてください。これはもはや単なるビジョンではありません - ICEYEはすでにAWSを使用してこれを顧客に提供しています。さらにGenerative AIを使用してこれらの機能を強化できたらどうでしょうか？私たちは自動化を促進し、エンジニアリングチームの能力を向上させ、自然災害に関するより質の高い洞察をさらに迅速に提供することができます。
私はAWSのAerospace and Satelliteチームのシニアソリューションアーキテクトを務めるNereida Agüera Lópezです。本日は、ICEYEのGlobal Vice President of Government SolutionsであるAndy Read氏と、AWS SpaceチームのSenior Software Development ManagerであるSteve Algieri氏にご登壇いただきます。 セッションのアジェンダはこちらです：まず、Andy氏がICEYEの紹介と、自然災害のモニタリングと対応をどのように革新しているかについてお話しします。次に私が、ICEYEがAWSサービスを活用してクラウドベースのワークロードとソリューションを設計し、AWSでエンドツーエンドのワークフローを実装して遅延を削減する方法について説明します。最後に、Steve氏が、AWS SpaceチームがAmazon Bedrockを通じて利用可能なGenerative AIモデルを使用して、ICEYEの自然災害ソリューションの効率性と自動化をどのように向上させているかについて説明します。
ICEYEの革新的なSAR技術と自然災害ソリューション
それでは、Andy氏にICEYEについて詳しくお話しいただきます。ありがとうございます、Nereida。私はICEYEのGlobal Government SolutionsのVPを務めるAndy Readです。ICEYEは革新的な宇宙技術企業で、私は世界中の政府機関に地理空間ソリューションを提供するビジネスの部門を率いています。私たちは世界最大のSynthetic Aperture Radar（SAR）衛星のコンステレーションを所有・運営しており、SARの小型化に成功した最初の企業です。 2018年以降、38基以上の衛星を打ち上げ、非常に大規模なコンステレーションを維持しています。2024年と2025年には、そのコンステレーションの規模を2倍以上に拡大する予定です。これにより、地球上のどの場所でも1日に6〜10回、場所によってはそれ以上の頻度で、高解像度の観測が可能になります。
SARは以前からある技術です。従来のアプローチでは、非常に複雑で大型の衛星を建造する必要があり、運用に多大な電力を必要とし、製造に数十億ドルのコストと数年の時間がかかっていました。これらは大規模な10メートル以下の解像度を提供し、グローバルな場面である程度の価値を提供しましたが、非常に高価でコストがかかり、建造にかかる時間も大きな課題でした。そのため、この技術にアクセスできたのは政府や大企業だけでした。ICEYEのイノベーションは、小型衛星を建造し、SARシステムを小型化することで、より迅速に、かつ大幅に低コストで衛星を製造できるようにしたことです。私たちの衛星は食洗機ほどの大きさで、2ヶ月で1基を製造することができます。
SARについてご存じない方のために説明しますと、SARは雲、煙、火山灰を透過して、地上で何が起きているかを精密な解像度で示すことができるレーダーイメージング技術です。このスライドの右側で見られるように、光学画像やセンサーでは雲に遮られてしまいますが、左側では、私たちの画像が雲を直接透過して地上で何が起きているかを示しています。これがレーダー画像です。
基本的に、複数の画像を重ね合わせることで、ミリメートル単位の洞察を得ることができます。これは防衛・インテリジェンスコミュニティにとって非常に有用であり、また自然災害時の雲を通した監視や、時間の経過に伴う地球の特定の変化を理解する上でも重要です。
ICEYEでは、3つのセグメントに分かれています。Mission セグメントでは、主に防衛・インテリジェンスのユースケースや民間セキュリティのユースケースに焦点を当て、衛星の販売、製造、運用を行っています。Satellite Data セグメントでは、世界中の高度なレーダー画像ユーザーに画像を販売しており、こちらも主に防衛・インテリジェンスのユースケースに重点を置いています。ICEYEの特徴的な点は、Solutions ビジネスにあります。地理空間技術などの分野で75名以上のエキスパートを擁する分析チームに投資し、自社の衛星群のユーザーとなっています。世界中のさまざまな現象を同時に収集・撮影し、洪水や山火事などの際に、サードパーティのデータや分析も取り入れて、すべてを融合させ、何が起きているのかを説明する実用的な地理空間データをクライアントに提供しています。
このSolutions ビジネスを開発したのは、データを民主化し、より多くの人々に届け、グローバルな課題に対処するためです。地球規模の気候危機はその良い例です。2023年には、災害による経済損失が2,910億ドルに達しました。そのうち1,740億ドルが保険でカバーされておらず、これらの損失は政府、コミュニティ、個々の被災者、あるいは非営利団体が負担することになりました。これは10年平均と比べて大幅な増加であり、時間の経過とともに、より多くの人々が深刻な災害による苦難に見舞われることを示しています。 米国だけでも今年、24件以上の10億ドル規模の災害が発生しましたが、これはグローバルな課題です。この保護ギャップは、世界中の多くの人々に影響を及ぼしています。
私たちの目標は、災害対応能力を変革し、同時にレジリエンスを高めることです。 そこで、Solutions ビジネスのビジョンとして、イベントの前、最中、そして後の影響を世界中のクライアントが理解できるような製品スイートを構築することにしました。 まず自然災害に関する一連のソリューションから始めました。現在市場に出ている4つの製品は、本日詳しくお話しする洪水ソリューション、山火事被害評価ソリューション、火山監視ソリューション、そしてベータ版の変化検知製品を活用した風害評価です。地震、津波、地滑り、森林破壊、その他の重要インフラの継続的監視など、さらに多くのソリューションを開発中ですが、現在の自然災害ソリューションは、世界中の保険市場や政府機関で使用されています。
後ほど詳しく説明する洪水ソリューションについて簡単にご紹介します。ハリケーンの影響、水深、浸水範囲を雲を通して追跡できることを想像してみてください。Hurricane Ianがフロリダを通過し、その後カロライナ州やその他の地域に入った際、私たちはその影響を追跡し、30万以上の建物が被害を受け、その被害の具体的な深さを地図化することができました。これは今までにない画期的な技術であり、こうしたイベントの最中に何が起きているのかを実際に把握することができます。
私たちの山火事被害評価ソリューションは、煙を透過して建物の焼失状況や残存状況を把握することができます。2023年にハワイ・Lahainaで発生した火災では、発生から3時間以内に画像収集を開始し、14時間以内にクライアントに対して1,500棟以上の建物が焼失したという状況を報告することができました。 現在、ブラジルのクライアント向けに、Amazoniaの雲に覆われた地域における森林破壊の状況を監視・把握するための画期的な製品を開発しています。私たちのDwellモードを使用することで、樹木の間から新たな居住地の開発の兆候を発見・捕捉することができます。 さらに、他の観測データを使用することで、道路や滑走路、その他のインフラ整備の状況を把握することができます。
これは、新しい居住地の開発が始まりつつある段階で発見できれば、その後に起こりうる森林劣化活動や違法採掘、森林破壊を防止または軽減できる可能性があることを意味します。森林破壊活動のほんの一部でも軽減できれば、気候に非常にポジティブな影響をもたらすことは明らかです。
Flood Insightsは観測データに基づく分析エンジンです。洪水イベントの全期間を通じて、私たちの衛星コンステレーションの能力を最大限に活用し、できるだけ多くの画像を収集します。そして、それを幅広い追加データソースと組み合わせることで、洪水が収まる前にクライアントに被害の深刻度と範囲を提供します。まず、運用予報チームが活動を開始します。図の左側にあるように、彼らは世界中の気象状況を常時監視し、社内プラットフォームを通じて、独自のモデルとオープンソースモデル、そして世界中の50,000以上の潮位・河川水位計のデータを組み合わせて、適切なタイミングで観測を行うべき場所を特定します。
このプラットフォームにより、大規模な災害が発生している最中でも、数百枚、時には1,000枚もの画像を捕捉することができます。同時に、分析チームはソーシャルメディア、ニュース報道、航空写真など、あらゆる情報源からの証拠を収集し、分析のキャリブレーションポイントとして活用できるものを集めています。これにより、数千もの追加データポイントがプラットフォームに取り込まれ、分析されます。これらすべてがデジタル標高モデル上で描画され、リアルタイムで洪水の深さと範囲が出力されます。このシステムはAWSアーキテクチャ上に構築され、AIによって動作しています。これについては、この後のプレゼンテーションでNereidaとSteveが詳しく説明します。分析の最初のバージョンは、アクティベーションから24時間以内にクライアントに提供されます。洪水のピーク直後には、洪水の深さと範囲を示すことができ、その後も24時間ごとに分析結果を更新し続けます。
Hurricane Heleneでは、フロリダ内陸部に上陸して豪雨をもたらした嵐の影響を夜間も追跡することができました。この豪雨は、すでに先行降雨で飽和状態にあったノースカロライナ、テネシー、ジョージアなどの州にも影響を及ぼしました。これらの地域は、イベント発生後6日間にわたって曇天が続きました。航空機やドローンといった従来の手段では、対応者たちは実質的に手探り状態でした。私たちはFEMAや複数の州機関、地方機関と協力し、雲や夜間の暗闇に関係なく、イベントの進行中にインサイトを提供することができました。パートナーであるEsriは、非営利団体のSamaritan's Purseにデータを提供し、彼らはイベント発生後72時間以内に60回以上のヘリコプターミッションを実施して、必要な人々に重要な物資を届けることができました。
オーストラリアでは、政府全体との関係を築いています。National Emergency Management AgencyとGeoscience Australiaを通じて、50以上の機関がデフォルトの対応メカニズムとしてFlood Insightsにアクセスできます。ある機関のアナリティクス部門のディレクターが昨年の訪問時に私のために描いた図によると、従来は災害発生時に状況の5-10%程度しか把握できていませんでした。その後、従来の情報収集方法では、数ヶ月かけて90-95%の理解度に到達できます。ICEYEとFlood Insight Solutionを使用することで、発生直後から80%の理解度で開始し、より迅速に90-95%まで到達できるようになりました。これは状況認識能力が16倍に向上したことを意味し、被災したコミュニティや個々の被災者の復興の軌道を大きく変えることができます。
ソリューションビジネスを開始して以来、世界中で250以上の洪水、270以上の山火事、そして数多くの火山噴火やその他のイベントを捉えてきました。現在は風害イベントの観測も行っています。私たちの目標は、災害対応のライフサイクル全体に役立つ、ハザード影響情報のライブラリを構築することです。私たちは、地球で起きていることをより良く理解し、災害を軽減するための、グローバルな信頼できる情報源を作ることを目指しています。例えば、オーストラリアにおける建物レベルの被害情報を含む何百もの洪水イベントのライブラリは、モデルの改善に役立ちます。
また、地上で発生しているリスクの傾向や変化を特定することもできます。さらに、被害軽減やリスク削減の意思決定にも役立ちます。ここで、Flood Insight Solutionに話を戻し、衛星データをアクションにつながるインサイトに変換する方法について、Nereidaに説明を引き継ぎたいと思います。
AWSを活用したICEYEのデータ処理ワークフロー
ありがとうございます、Andy。ご覧の通り、ICEYEは衛星データを収集し、顧客価値を提供しています。中心にあるのが、ICEYEの衛星データバリューチェーンです。これから、ICEYE衛星センサーからの生データがどのように取得され、処理され、そしてこれらの非常にインパクトの大きいNatCatソリューションの構築に使用されるのかについて、より詳しく説明していきます。もちろん、このワークフロー全体がAWSでどのように実装されているかについても説明します。
すべては、ICEYE Synthetic Aperture Radarセンサーが衛星上でデータを取得し、地球上の複数の場所にある地上局端末にダウンリンクすることから始まります。この時点で、ICEYEはペイロードデータに加えて、通信ヘッダーやその他の必要なアーティファクトを含むデータパケットの形で生データを受信しています。 このデータから価値を引き出すためには、複雑で計算負荷の高い処理が必要です。地球観測業界では、通常、処理の度合いを示すために一連のレベルを使用しています。レベルゼロプロダクトは、再構成された未処理の機器およびペイロードデータに相当し、生データに最も近いものです。レベル1プロダクトには、センサーが光や放射線を捉える方法を調整し、各ピクセルに正確な位置データを追加するための、幾何補正と放射測定補正係数、および地理参照パラメータが組み込まれています。レベル2プロダクトは、温度や土壌水分などの関心のある地球物理学的変数に相当します。もちろん、このワークフロー全体を通じて、初期、中間、および最終プロダクトの保存が必要です。
スライドでご覧いただけるように、この処理の出力結果は、私たちが一般的に想像する衛星画像や地球観測のイメージにかなり近いものとなっています。しかし、ICEYEは単なる衛星画像プロバイダーではありません。自然災害に焦点を当てたグローバルソリューションプロバイダーなのです。そして、ピクセルから実用的なソリューションを生み出すためには、 衛星データと他の多様なソースからのデータを融合し、そこから意味のある洞察を抽出するための、高度なデータ分析とAIワークロードが必要となります。 もちろん、このワークフロー全体には時間がかかります。特に今回のような、進行中の自然災害から洞察を得るというアプリケーションでは、時間が非常に重要です。そのため、Ground Stationのアンテナからデータを処理できる場所までの転送時間を含め、ワークフローの各ステップにかかる時間を短縮し、処理時間と洞察抽出の時間を最小限に抑えることが不可欠です。
では、ICEYEがAWSでこのワークフローをどのように実装し、低レイテンシーの要件がアーキテクチャ設計とAWSサービスの選択にどのような影響を与えたのかを見ていきましょう。まず、センサーデータの取得から始まります。ICEYEはAWS Ground Stationを使用してデータをダウンリンクしています。AWS Ground Stationを利用することで、ICEYEは衛星からのテレメトリーデータとペイロードデータを直接AWS環境にダウンリンクし、AWS環境から衛星に直接テレコマンドをアップリンクすることができます。世界中に配置された12のAWS Ground Stationサイトとの通信予約は、AWS Ground StationコンソールやAWS CLI、AWS SDKを使用して行うことができます。このサービスはアンテナの使用時間に応じた従量課金制で、お客様が独自のGround Stationサイトを購入、リース、または構築する必要性を排除します。 AWS Ground Stationでは、データは直接S3バケットに配信されるか、お客様の環境のEC2インスタンスにストリーミングされます。AWS Global Networkの活用により、転送時間は大幅に短縮されています。
ICEYEのデータ配信では、Ground StationのアンテナからICEYEまでの時間は200ミリ秒未満です。このRawデータを取得すると、すぐに処理を開始できます。AWSサービスの豊富さにより、 ニーズに最も適したソリューションを柔軟に選択できます。ICEYEは主にAmazon EKSとAmazon EC2を活用しています。Amazon EKSは、Kubernetesクラスターを大規模に実行するのを支援する管理サービスで、完全に管理された高可用性のKubernetesコントロールプレーンを提供することで運用のオーバーヘッドを最小限に抑えます。また、Amazon EKSは、AWS管理からお客様管理のインフラストラクチャまで、さまざまなデプロイメントオプションを提供し、企業がエンドユーザーの要件に応じて適応できるようにしています。
地球観測にAWSを使用することで、ICEYEはコンピューティングリソースをオンデマンドでスケールする柔軟性を持ち、SARデータの処理に必要な複雑で計算負荷の高いアルゴリズムを、スケーラブルでコスト最適化された方法で実行できるようになりました。 ストレージ層に関しては、ICEYEはAmazon S3を使用してペタバイト規模のデータを耐久性があり、コスト効率の良い方法で保存しています。Amazon RDSとAmazon Auroraは、PostgreSQLデータベースエンジンとPostGISなどの拡張機能をサポートしているため、メタデータの保存に使用されています。PostGISは、PostgreSQLリレーショナルデータベースの機能を拡張し、地理空間データの保存、クエリ、インデックス作成をサポートします。これには、2Dおよび3Dでの点、線、ポリゴン、マルチジオメトリなどの様々な種類の空間データの保存サポートが含まれます。その他にも、空間インデックス作成や、距離や面積の測定、ジオコーディング、逆ジオコーディングなどの空間機能もサポートされています。
アーキテクチャに話を戻すと、この処理された画像を得た後の次のステップは、それをNatCatソリューションで活用することです。 これには、データ分析とAIワークロードの開発と実装が必要です。Amazon SageMakerは、洪水セグメンテーション（SAR画像から洪水イベントの影響を受けた領域を検出すること）を実行できるモデルの構築、トレーニング、デプロイを支援します。ICEYEは1つの場所での1つの自然災害だけをカバーしているわけではありません。洞察を得るまでの時間を損なうことなく、複数の地域で同時に発生する複数の自然災害をカバーする必要があります。そのため、スケーラビリティが重要となり、適切なインフラストラクチャを整備し、必要な手作業や人的関与を削減できることなど、いくつかの要素があります。後ほど見ていくように、AIベースの自動化はここで大きな味方となります。
これは高レベルでのICEYEのエンドツーエンドのアーキテクチャです。もちろん、技術面でも、人材やプロセスの面でも、これらの要素それぞれに多くの細かな点や複雑さがあります。 そのため、次のスライドでは、NatCat Solutionsのアーキテクチャについてより詳しく掘り下げ、彼らが使用している様々なデータソースや、NatCat Solutionsのアウトプットが実際に衛星データの取得のタイミングと場所にどのように影響を与えているかについてお話ししたいと思います。
Flood Insightsソリューションの課題と自動化への取り組み
NatCat Solutionsに関して、すべては事象の特定とその影響評価から始まります。ICEYEには気象予報チームがあり、常時イベントを追跡し、大規模な自然災害がいつどこで発生するかを把握しています。彼らの調査結果に基づいて、イベントが特定されると、これらのアナリストがデータリクエストを送信し、 対象地域の衛星データ取得を指示するとともに、ソーシャルメディア、気象データ、河川水位計などの地上センサーといった他のソースからのデータ収集もトリガーします。ここで特に興味深いデータソースの一つがソーシャルメディアです。ICEYEには専門チームがあり、特に画像や動画などのマルチメディアデータを継続的にスキャンしています。彼らはこれらのデータポイントの妥当性を検証し、位置情報を特定し、洪水の影響を受けた地域の特定の通りにおける特定の時点での浸水深などの情報を抽出します。
これらの情報はすべて、 ICEYEのデータ処理・保存プラットフォームに取り込まれ、最終的にAmazon EKSクラスター上でホストされているICEYE Solutions Platformで利用されます。
最終的な集計、品質評価、レポート生成は、集計アナリストチームによって行われ、政府や保険会社向けにイベントの影響を理解するための最終プロダクトを生成します。これらのアウトプットは、ICEYEの評価や予測がどの程度正確だったかという事後のフィードバックとともに、さらなる改善のためにソリューションにフィードバックされます。もちろん、アルゴリズムやML モデルの開発は、ICEYEの大規模なData Scientist、ML Engineer、地理空間の専門家チームによって継続的に行われています。この点で、Amazon SageMakerは、異なる役割や担当者が協力し合い、本番環境で直接モデルを構築、トレーニング、デプロイできる共同作業環境を提供しています。
SageMakerは、MLワークフロー全体をカバーする豊富なツールと機能を提供し、SageMaker Pipelinesなどの機能により、堅牢な開発環境の実装も容易にします。SageMakerでは、組み込みアルゴリズムを使用できるだけでなく、独自のスクリプトや、Amazon ECRに保存されている対応イメージを指定するだけで独自のカスタムコンテナを持ち込むこともできます。さらに、アプリケーションですぐにデプロイして使用できる数百の事前トレーニング済みMLモデルへのアクセスも提供します。では次に、ICEYEのNatCat Solutionsの一つであるFlood Insightsについて見ていきましょう。
私たちは先ほど、ICEYE Flood Insightsにとって顧客価値の提供までの時間が非常に重要であることを確認しました。洪水が発生してから24時間以内に、高精度で高解像度の水深と浸水範囲のマップを顧客に提供します。そして、状況が変化するにつれて、この情報を更新し続けます。顧客やコミュニティにより多くの情報をより迅速に提供できれば、それだけ早く対応や行動を取ることができます。そのため、ICEYEは早期検知から最終レポート生成まで、スライドに示されている各活動にかかる時間を短縮する方法を継続的に探っています。
彼らが特定したのは、適切なAWSインフラを整備していても、この24時間の大部分がプロセスの様々な段階での手作業に費やされているということでした。例えば、タスキングアナリストは、洪水の脅威と影響を理解するために複数のデータソースを手作業で確認し、それに基づいていつどこでデータ収集を行うかを決定します。ソーシャルメディアアナリストは、タスクを受けると、イベントに関連する画像や動画をソーシャルメディアで検索します。しかし、このデータを手作業で見つけ、検証し、位置情報を特定する作業は、時間と労力を要します。
最後に、集計アナリストが顧客レポートを作成し検証します。しかし、この情報の解釈、評価、要約にも相当な時間がかかります。効率を改善し洪水対応を迅速化するため、ICEYEはAWS PACEチームと協力して、この手作業の一部を自動化できるAIベースのソリューションを構築してきました。これによりアナリストの作業をスケールアップし、最終的に顧客価値の提供までの時間を短縮することができます。セッションの次のパートでは、SteveがAWS PACEチームが構築したソリューションと、そのプロセスで得られた貴重な教訓について説明します。
Generative AIを活用したFlood Insightsの改善
ありがとう、Nereida。AWSのプロトタイピングチームとして、ICEYEが過去10年間AWSで成長してきた様子を見られたことは素晴らしい経験でした。特に印象的なのは、Synthetic Aperture Radarのような最先端技術を含め、彼らが日常的に活用しているAWSの範囲の広さです。
Synthetic Aperture Radarは、雲や煙を透過して見ることができ、緊急対応チームが適切な支援を適切な場所に適切なタイミングで届けることを可能にします。私はSteve Algieriで、Public Sector Prototyping and Customer Engineeringの責任者を務めています。私たちは、顧客と直接協力して「実現可能性の実証」となるプロトタイプを提供する専任のAWSエンジニアリングチームで、顧客が直面する最も困難な課題を解決し、前進を支援することを目指しています。
ICEYEが私たちに提示した課題は、彼らのスペシャリストに関するものでした。ICEYEのソーシャルメディア専門家たちは、毎時間ソーシャルメディアを調査して、確認が必要な証拠を探しています。ICEYEのアナリストたちがそのデータを分析して浸水深を推定し、最後にレポーティング専門家たちが、顧客に必要なインサイトを提供するためにそれらのデータを取りまとめています。ICEYEがPACEに課した課題は、Generative AIを使って浸水範囲を自動的に評価する方法、顧客が求める24時間以内という制限時間内に最初のレポートを迅速に作成する方法、そして最後に、生成されたデータの信頼性と正確性を証明するために、分析結果を説明できるかということでした。
具体的な内容に入る前に、ロードマップを見てみましょう。最初に検討する必要があるのは、ETLパイプライン、つまりExtract（抽出）、Transform（変換）、Load（読み込み）です。これは、ソーシャルメディアのデータを取り込み、最初の処理を行うことです。次に、Generative AIの活用について検討します。ソーシャルメディアから収集したメタデータと画像から浸水深を検出できるでしょうか？また、他のモデルを使用して、最初の位置情報特定を行うことができるでしょうか？そして最後に、Generative AIを通じてそれらのデータをすべてレポートにまとめることができるでしょうか？
これが設定された課題でした。この課題を解決するためにLLMをどのように組み合わせることができるのか、アーキテクチャに深く踏み込んで詳しく見ていきましょう。まずは高レベルのアーキテクチャから始めましょう。これらは、このプロトタイプの一部として組み合わせたすべてのシステムで、この実現可能性を証明しようとしたものです。まず、これらを2つの異なる領域にグループ分けします：ソーシャルメディアデータの取り込みと、セキュアな製品アクセスです。
まずはソーシャルメディアについて見ていきましょう。最初のステップでは、ICEYEのソーシャルメディア専門家たちがすべてのデータをAmazon S3に取り込みます。S3はこの用途に最適な選択でした - スケーラブルで堅牢、そして非常に大きなファイルを扱うことができます。また、Amazon EventBridgeを活用することで自動化の起点にもなります。S3にファイルが配信されると自動的にEventBridgeがトリガーされ、それによってAWS Glueジョブが起動します。このGlueジョブが私たちのワークフローとなり、Generative AI用のAmazon BedrockとGeolocaionモデル用のAmazon SageMakerの両方を呼び出すことを可能にします。これらの要素がすべてトリガーされ、LLMのレスポンスとGeolocationのレスポンスを得た後、そのデータはすべてS3に戻されます。実質的に、元のファイルと生成されたデータの両方について、単一の信頼できる情報源を持つことになります。
このケースでLarge Language Modelがどのように機能するか、簡単に詳しく見てみましょう。2つの洪水の例を見てみましょう。最初に必要なのはプロンプトの定義です。プロンプトは、LLMが応答する方法、実行すべきタスク、そして応答のフォーマットを理解するためのコンテキストと理解を設定します。このプロンプトを用意し、プロンプトと画像の両方をテキストと画像の両方を扱えるマルチモーダルモデルである私たちのLLMに渡すと、レスポンスが返ってきます。この場合、浸水深をセンチメートル単位で求めていますが、より重要なのは、後のレポートの説明可能性のために、LLMが画像とメタデータに基づいてどのようにしてその深さを推定したかを説明してくれることです。
次のパートですが、画像に戻ってこれを文脈に戻して考えてみましょう。次のパートは、ICEYEの既存インフラストラクチャーにそのデータへのアクセスを提供することです。まず最初に、Web Application Firewallを通じてアクセスを提供します。
これによって、DDoS攻撃やその他のインターネット上の脅威から保護し、AWS Amazon API Gatewayへと通過させます。Gatewayはデータへの単一の入口点として機能し、今回はプロトタイプなのでAmazon Cognitoを活用して専用アカウントを使用します。Cognitoを使用する利点は、シングルサインオンなどの他の認証方式にも後から拡張でき、既存のシステムに統合できることです。API Gatewayは、Lambdaインフラストラクチャー、つまりサーバーレスインフラを活用してデータにアクセスし、それ自体がAmazon Athenaにアクセスします。Athenaの選択は、すべてのデータをS3に保持することを基準にしました。Athenaを使用することで、別途RDSやその他のインスタンスを必要とせずに、データと生成されたデータをその場で照会することができます。
すべてがまとまったところで、メインのアーキテクチャに戻りましょう。最後にすることは、AthenaインスタンスをS3バケットに接続することで、これで完了です。これで、ソーシャルメディアデータのための安全なパイプラインが完成し、Bedrock及びSageMakerインスタンスがそのデータ上で自動的に同時に実行されます。データが入力されるとすぐに、データ共有の準備が整った時点で他のAWSのData Lakeにも拡張可能な、セキュアなプロダクトアクセスが得られます。
よく質問される内容の1つを見てみましょう：Generative AIを製品スイートに導入するのはどれくらい簡単なのでしょうか？ありがたいことに、Bedrockを通じて複雑なプロセスをできる限り簡単にしました。ソーシャルメディアプラットフォームを例に取ってみましょう。最初に必要なのは、BedrockとS3データの両方へのアクセスを提供して、それらが連携してデータを共有できるようにすることです。これは、この場合CDK Constructを定義し、使用したいモデルを単純に定義するだけです。今回の場合、AnthropicのClaude 3を使用し、そのモデルの使用をS3ワークフローへのInvokeコマンドとして定義します。これだけで、S3とBedrockが連携できるようになります。
次のステージは、どのようにプロンプトを設定するかです。先ほど話したように、コンテキスト、タスク、フォーマットを設定します。そして次のステージは実行することです。標準的なAWSランタイムを定義し、単一のコマンドでBedrockのInvokeメソッドを呼び出して、LLMに処理させたいプロンプトと画像を提供するだけです。そのコマンドだけで、レスポンスを得ることができます。10行未満のコードで、BedrockとS3へのアクセスを定義し、プロンプトを定義し、実行して結果を得ることができるのです。
パブリックセクターのPACEプロトタイピングおよびカスタマーエンジニアリングチームとして、私たちはこれらの非常に困難な課題に取り組んでいます。お客様が解決したい課題を理解し、その課題を解決するための実用的なプロトタイプコードを提供しています。もしお客様向けチームとして、サポートが必要な課題をお持ちでしたら、AWSのエンジニアリングチームにアクセスしていただけます。
AWSとEarth Observation企業の相乗効果
Earth Observation企業は、多面的な課題に直面しています。衛星コンステレーションの構築と管理という複雑な技術的問題だけでなく、膨大なデータを処理し、品質を損なうことなく、可能な限り迅速に世界中の顧客に最終製品を届ける必要があります。AWSは、これらの企業がエンドツーエンドのワークフローをカバーする統合アーキテクチャを実装できるようにしています。特筆すべきは、AWSがこれらのユースケース向けに特別に開発した機能やサービスを提供していることです。AWS Ground Stationはその代表例で、ICEYEが自社の環境に直接データをダウンリンクし、AWSのグローバルバックボーンを活用することでデータ転送時間を短縮することを可能にしています。
クラウドネイティブなアプローチにより、企業はITインフラの管理ではなく、製品のイノベーションにより多くの時間を費やすことができ、Generative AIなどの新しいテクノロジーを登場と同時に取り入れることができます。特にICEYEは、衛星画像の取得と販売にとどまらず、AWSでデータ分析とAIを活用して、実際の困難な問題を解決しています。これは、Earth Observationが世界にポジティブで具体的な影響を与えることができる素晴らしい例です。
ICEYEにとって、AWSとの歩みは素晴らしいものでした。そして、クラウド中心のアプローチは彼らの事業に大きな影響を与えています。画像やその他の収集情報など、膨大なデータを扱う彼らにとって、インサイトを得るまでの時間は非常に重要です。ノイズを取り除き、インサイトを得るまでの時間を短縮できることは、絶対に不可欠でした。彼らが持つAWSアーキテクチャは、現在のソリューションだけでなく、より多くのリスク、より多くの衛星、そしてこのような方法で世界を調査するために取り込む第三者のデータセットを考慮した将来にとっても重要です。このアーキテクチャを継続的に発展させていくことは、彼らにとって極めて重要になるでしょう。
ICEYEのAWSでの進展についてお話しできて良かったです。皆様、ご参加ありがとうございました。このセッションに関するフィードバックをいただければ幸いです。皆様からのフィードバックは、次回さらに興味深いセッションをお届けするための改善に役立ちます。セッション後も、本日の内容について話し合いたい方がいらっしゃいましたら、お声がけください。それでは、ご清聴ありがとうございました。また皆様とお話しできることを楽しみにしています。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion