re:Invent 2025: AWS DataSyncとTransfer Familyで実現する大規模ファイル転送の自動化と最新化
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
re:Invent 2025 の書き起こし記事については、こちらの Spreadsheet に情報をまとめています。合わせてご確認ください
📖 AWS re:Invent 2025 - Beyond SFTP and NFS: Automate enterprise file transfers at scale (STG361)
この動画では、AWS DataSyncとTransfer Familyを活用した管理ファイル転送の最新化について解説しています。DataSyncは、オンプレミスからAWSへのマイグレーション、定期的なバックアップ、AI/MLデータパイプラインの構築に活用され、enhanced modeにより最大8倍高速化を実現します。London Stock Exchange Groupは30ペタバイトを3ヶ月で移行し、ストレージコストを80%削減しました。Transfer FamilyはSFTP、AS2などの業界標準プロトコルをサポートし、Web Appsによりエンドユーザーが簡単にS3データにアクセス可能です。AWS B2B Data InterchangeはEDIドキュメントの検証と変換を自動化し、生成AIでマッピングコードを生成します。FICOやTrustwellなどの企業が、レガシーMFTソリューションからの移行により、TCO削減と運用効率化を達成した事例が紹介されています。
※ こちらは既存の講演の内容を最大限維持しつつ自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますのでご留意下さい。
本編
re:Invent 2018で始まった管理ファイル転送の最新化への取り組み
おはようございます。Reinvent へようこそ。皆さんと一緒にいられて嬉しいです。今週が素晴らしい一週間になることを願っています。もし Reinvent が初めてでしたら、これはマラソンのようなものなので、ペースを調整してください。木曜日までに疲れ果てるかもしれませんが、皆さんにとって素晴らしい一週間になることを願っています。私の名前は Jeff Bartley で、DataSync チームのプリンシパルプロダクトマネージャーです。本日は Smitha Sriram が参加してくれます。彼女は Transfer Family を含むいくつかのサービスのプロダクト管理を担当しており、そちらについても説明してくれます。改めて、皆さんとご一緒できて嬉しいです。
このセッションでは、AWS が提供するサービスがどのようにして管理ファイル転送の最新化を支援できるかをお見せしたいと思います。管理ファイル転送について話すとき、私たちは大規模なファイル移動の能力について話しています。それは、マイグレーション、同期、またはビジネスプロセスの一部であるかどうかに関わらず、大規模にファイルを移動する能力です。私たちは、ファイルを大規模に、迅速に、安全に、そして確実に移動できるようにしています。私たちのサービスをビジネスワークフローに統合することを簡単にするために、多くの努力を重ねてきました。このセッションを終えるときに、ファイル転送ニーズのために AWS をより活用する方法についてのアイデアを持ち帰っていただきたいと思います。
このセッションでは、まず管理ファイル転送に関して顧客が今日経験している課題、彼らが対処しようとしている主なユースケース、そして各ユースケースで顧客にとって簡単にするための私たちのアプローチについて話します。進めていく中で、実際の顧客事例をいくつか紹介し、アーキテクチャについて説明し、DataSync と Transfer Family ウェブアプリの 2 つのサービスを一緒に使用するデモをお見せします。これにより、これらがどのように相互に統合できるかを確認できます。その後、AWS 環境で試してみるためのリソースを提供して、セッションを締めくくります。
非構造化データの急増とレガシーMFTソリューションが抱える課題
管理ファイル転送は、金融サービス、ヘルスケア、ライフサイエンス、製造業など、多くのビジネス、組織、業界にわたるさまざまなユースケースに不可欠です。非構造化データについて話すとき、私たちはスプレッドシート、機械生成データ、AI モデル、レポート、画像、ビデオなどのファイルのようなものを指しています。それはいたるところにあります。あらゆる種類のストレージを管理している場合、このデータの急増についてはおそらくよくご存じでしょう。膨大な量のデータが存在します。顧客がこのデータを迅速かつ確実に移動できるようにすることは、管理ファイル転送の鍵です。
データのサイズと量が増加し、多くの組織がグローバルに分散している中で、このデータを迅速かつ確実に交換することはこれまで以上に重要になっています。
お客様と話をしていると、特にファイル転送に関して、レガシーなファイル転送ソリューションで直面している課題について、一貫して聞くことがあります。もしかしたら皆さんも同じような課題に直面しているかもしれません。これらの課題には、ハードウェアやソフトウェアの更新管理、あるいはセキュリティの問題への対応など、非常に多くの時間と労力がかかるものが含まれています。また、お客様からは、これらのレガシーソリューションに精通した人材を見つけることがいかに難しいかについても、ますます聞くようになっています。これらのソリューションを効果的に管理する必要がありますが、適切な経験を持つ人材を見つけることが難しくなってきています。つまり、レガシーな MFT ソリューションの管理に関して、お客様が直面している課題は様々なものがあるということです。
過去 7 年間、私たちはこれらの課題に対処するのをお客様にお手伝いしてきました。レガシーな MFT ソリューションを AWS に移行するのを支援し、多くの差別化されていない重い作業を取り除くことで、お客様がビジネスのコア・コンピテンシーに集中できるようにしてきました。DataSync と Transfer Family は、ちょうど 7 年前の Reinvent 2018 で立ち上げられました。その目標は、データがどこに位置していようとも、お客様にとってデータ移動を簡単にすることでした。長年にわたって、皆さんのようなお客様と話をしてきた中で、より多くのデータタイプ、より多くのプロトコル、そしてより迅速かつ安全にデータを移動させるより多くの方法をサポートするように、私たちの機能を拡張してきました。
私たちの機能の大きな拡張は、B2B Data Interchange、つまり B2BI の立ち上げとともに実現しました。これにより、お客様は取引先との EDI ドキュメントの交換と処理を自動化することができるようになりました。EDI はマネージドファイル転送に依存する多くのワークフローの中核であり、B2BI はこの領域における自動化とドキュメント翻訳に関する主要な課題に対処しています。Smitha がこのセッションの後半でそれについて少し話をします。
セキュリティと自動化を重視したAWSのアプローチとパートナーの活用事例
MFT の課題に取り組むための私たちのアプローチは、これらの主要な原則に焦点を当てています。私たちのサービスは、転送中と保存中のデータを暗号化し、チェックサムを使用してすべてのデータがネットワーク上でバイト単位で正確に移動されたことを検証します。自動化は MFT ワークフローの鍵です。皆さんの中には独自に構築した人もいるかもしれませんが、私たちのソリューションは Step Functions、Lambda、EventBridge などの他の AWS サービスとシームレスに統合されるため、これらの自動化されたワークフローを構築することができます。
また、ファイル転送のレポート生成は規制とコンプライアンスのニーズを満たすために重要であることを私たちは知っており、私たちのサービスはこれらのニーズを満たすのに役立つ広範なログを提供しています。
このようにお客様の課題に対応することに注力しているからこそ、世界中の数万のお客様が MFT 分野でのサービスから恩恵を受けており、様々な業界にわたるお客様の一部をご覧いただけます。MFT ワークフローは、ビジネス固有の課題の広い範囲をカバーすることができるため、多くの場合、お客様の特定のビジネスニーズを満たすために高度なカスタマイズが必要になります。ここでパートナーが本当に役に立つことができ、多くのお客様から、パートナーと協力することで、レガシー MFT ソリューションを AWS に移行するプロセスを合理化し、加速させるのに本当に役に立ったと聞いています。Transfer Family や DataSync などのサービスを活用して、パートナーはこれらのソリューションをカスタマイズし、カスタマイズと自動化を提供し、自動化を私が言及した他のサービスと統合して、お客様の特定のビジネスニーズを本当に満たすことができます。
例えば、これらは AWS Transfer Family でベストプラクティスに従うことが検証されたパートナーの数です。右下隅にある Scale Capacity は、ロサンゼルス市と協力しており、従業員が財務記録をダウンロードしたり、パートナーがこれらの記録にアクセスできるようにする必要があったファイル転送システムに取り組んでいました。彼らは最初、オンプレミスで実行するソリューションを探していて、それが年間数十万ドルのコストがかかることに気づきました。Scale Capacity と協力することで、AWS Transfer Family を活用したクラウドネイティブソリューションを実装することができ、年間数千ドルの大幅な節約を実現しました。ロサンゼルスの市民として、私の街が税金を効率的に使用しているのを見るのはいつも素晴らしいことです。これは LA 市にとって素晴らしい成功事例であり、この仕事を完成させるために特にパートナーを活用しました。
DataSyncによるマイグレーション加速：enhanced modeと段階的転送の実践
ですから、先ほど述べたように、いくつかのユースケースをカバーしていきます。最初のものはマイグレーションなので、それに深く入り込み、AWS DataSync について話すことから始めます。DataSync は、お客様が AWS へのマイグレーションを合理化するために本当に構築されました。DataSync はデータを素早く移動するために構築されました。カスタムで社内開発されたプロトコルを使用して、ネットワーク上でデータを並列方式で移動させ、非常に高速で大規模にデータを移動させることができます。セキュアで信頼性の高いものとして構築されています。すべてのデータは TLS を使用して転送中に暗号化され、ソースからの読み取りから宛先への書き込みまで、すべての転送されたバイトをチェックサムで検証しています。データが安全かつ確実に転送されることを確認するために、すべての方法でチェックサムを検証しています。
DataSync は膨大なサイズにスケールできます。DataSync を使用してペタバイト単位のデータ、数十億のファイルを移動させているお客様がいます。非常に大規模なデータセットです。DataSync はそれにスケールでき、使いやすいように設計されているため、組み込みのフィルタリング、スケジューリング、監査ログを備えており、これは多くの MFT ユースケースにとって重要です。DataSync は本当に 3 つの領域でデータを移動することに焦点を当てており、最初のものはオンプレミス転送を有効にすることです。DataSync は様々なプロトコルで通信できるシステムをサポートしています。これは NFS または SMB プロトコルで通信できる NAS ファイルサーバーのようなものかもしれません。S3 プロトコルを使用するオンプレミスオブジェクトストレージシステムをサポートし、Hadoop クラスターもサポートしています。ですから、Hadoop からクラウドへのデータ転送または移行を行う場合、DataSync を使用できます。
反対側では、DataSync は AWS の様々なストレージサービスとネイティブに連携し、Amazon S3、FSX を含み、FSX のすべてのファイルシステムタイプと Amazon EFS もサポートしています。ですから、DataSync を使用してこれらの様々な場所との間でデータをコピーできます。DataSync は他のクラウドと AWS の間でのデータ移動もサポートしています。Google Cloud、Azure Blob、Oracle を含む多くのクラウドをサポートしています。基本的に、クラウドが S3 プロトコルをサポートするクラウドストレージを持っていれば、通常は通信できます。
DataSync を使用して、他のクラウドと AWS の間でデータを移動できます。また、AWS 内のストレージサービス間でデータを移動するために DataSync を使用している顧客も多くいます。これはバックアップ目的の場合もあれば、リージョン間でデータを移動する場合もあります。DataSync を使用すれば、ここに示されているあらゆる組み合わせで移動できます。S3 から FSX へ、EFS から S3 へ、あらゆる組み合わせが可能です。私たちは同一リージョン内、クロスリージョン、クロスアカウント転送をサポートしています。DataSync で転送されるすべてのデータは暗号化され、AWS ネットワーク上で書き込まれます。この場合、データは AWS ネットワークから一切外に出ることはありません。
顧客のマイグレーションを効率化するために、私たちは enhanced mode をリリースしました。これにより、顧客はほぼ無制限の数のファイルを含むデータセットを、基本モードより最大 8 倍高速で移動できます。Enhanced mode は、データ転送プロセス全体を通じてファイルを追跡するのに役立つ詳細なメトリクスを提供します。また、クラウド間転送を効率化し、インフラストラクチャをデプロイすることなくクラウド間でデータを移動できます。多くの顧客がこの機能を活用しており、インフラストラクチャをデプロイせずに、完全に API 駆動でクラウド間でデータを移動できる能力を本当に気に入っています。
DataSync がマイグレーション加速にどのように役立つかについて、もう少し詳しく見てみましょう。過去にデータマイグレーションを実行したことがあれば、このようなパターンに見覚えがあるでしょう。ほとんどのマイグレーションはこのような流れで進みます。初期データ転送から始まります。つまり、宛先にコピーする必要がある大量のデータです。その後、通常は固定期間、おそらく毎日または数日ごとに、一連の増分転送を実行します。これはカットオーバーの準備ができるまで続きます。カットオーバーとは、アプリケーションが初期データセットから移行したデータセットに移行する時点です。
DataSync はこれらの各段階を支援するために構築されているため、マイグレーションをシンプルで効率的にするのに役立つ多くの主要な機能があります。データとメタデータの両方を転送します。これはファイルシステムのアクセス許可などを維持したい場合に重要です。また、実際に移行する必要があるデータのみが移行されるようにするのに役立つフィルターも提供します。ネットワーク帯域幅を最大化するためにスケールアップでき、先ほど説明した enhanced mode のメトリクスを使用して、データの範囲と移動内容を理解するのに本当に役立ちます。
DataSync が初期転送で実行されている様子の簡単なビデオをご紹介します。ここで enhanced mode を使用しているのが見えます。これらのメトリクスは、正確に何が移動されているかを理解するのに役立ちます。これは約 200,000 ファイルのデータセットです。DataSync が進むにつれて、リスティング、準備、転送、検証を行っているのが見えます。Enhanced mode の利点の 1 つは、これらすべてを並列で実行していることです。進むにつれて、転送と検証を行っているのが見えます。約 600 メガバイト/秒に近いスループット速度に達しているのが見えます。ただし、これは初期転送に本当に適しています。ソースで実際に見つかったすべてのデータが実際に最後まで転送され、最終的に良好なスループットで検証されたことを確認するのに役立ちます。30 分以内に、約 1 テラバイトのデータを転送しました。
これが初期転送でした。段階的な転送に進むと、DataSync にはさらに追加の機能があります。 初期転送の後、DataSync をスケジュールで実行するように設定できるので、カットオーバーの時期まで段階的な転送を実行できます。スケジュールで転送を実行することは本当に重要です。なぜなら、カットオーバーにどのくらいの時間がかかるかを見積もるのに役立つからです。これは私たちと一緒に仕事をしている顧客からよくある質問です。彼らは「いつカットオーバーしなければならないのか？カットオーバーはダウンタイムを伴うので、そのカットオーバーにはどのくらいの時間がかかるのか？」と聞きます。DataSync でその段階的な転送を実行すると、カットオーバー期間にどのくらいの時間が必要かを大まかに見積もるのに役立ちます。
同じデータセットを使用した段階的な転送の例を示します。 この場合、DataSync はまだすべてのファイルをリストアップして見つけています。しかし準備フェーズでは、 それらのファイルを宛先と比較しています。この場合、実際に変更されたファイルは 581 ファイルだけでした。これはかなり一般的です。段階的な転送を行う場合、ほとんどのデータは静的で変更されていないことがわかります。それらはすべてスキップとしてマークされています。つまり、転送または検証する必要がなかったということです。この場合、3 分未満で完了したので、かなり短い時間で済みました。これがファイルの変更率の典型的なものであれば、おそらく 5 分のカットオーバーを見積もるでしょう。
データがもっと多かったり、変更率がもっと高かったりすれば、もう少し時間がかかる可能性がありますが、これは DataSync でマイグレーションを実行する際にカットオーバー期間にどのくらいの時間が必要かを見積もるための良い方法です。その後、ネットワーク帯域幅を本当に最大化したいと考えている多くの顧客が使用するパターンがあります。 彼らは数十ギガバイト、または数十ギガビット毎秒のネットワーク帯域幅を持っているかもしれません。そして、単一の DataSync タスクではそのパイプラインを完全に埋めるのに十分ではないかもしれません。
ですから、彼らはこのパターンを活用できます。基本的には、データセットを複数のデータサブセットに分割してから、個別のタスクを実行してそのデータを並列に移動させるというものです。私たちは顧客がこれを使用して 1 日に数ペタバイトのデータを移動させるのを見てきました。そのパターンについてもっと知りたい場合は、ぜひそこの QR コードをチェックしてください。それは、この会場にいる私たちのソリューションアーキテクトの 1 人によって書かれたストレージブログでした。
実際、London Stock Exchange Group という顧客がいました。彼らは別のクラウドから AWS への約 30 ペタバイトの過去の市場データの大規模なマイグレーションを行う必要がありました。 彼らはこのマイグレーションをスケールアウトするのに役立つパートナーの Data Art を活用しました。彼らは約 3 ヶ月で 30 ペタバイトを移動させました。彼らがこれを行っていた時のことを覚えていますが、彼らは 1 日に約 1 ペタバイトのデータを移動させていました。それは移動させるべき大量のデータですが、DataSync はスケールでき、彼らは目標をはるかに下回るタイムラインを達成しました。
彼らにとってのもう一つの成果は、別のクラウドから AWS、特に Amazon S3 と S3 Glacier に移行することで、ストレージコストの大幅な削減を実現できたということです。この場合、約 80 パーセントのコスト削減を達成しました。つまり、大きな成果ですね。彼らは移行のタイムラインを達成できただけでなく、ストレージコストでも大きな金額を節約することができました。
定期的なデータ転送とAIトレーニング、機械生成データへの対応
では、移行についての話はここまでにして、次のユースケースである定期的なデータ転送についてお話しします。移行は通常、プロジェクトベースの、あるいは一度限りのデータ移動プロジェクトですが、データが定期的に移動される他のユースケースもあります。このセクションを通じて、顧客の事例を交えながら、これらのいくつかをカバーしていきます。
多くのお客様は、アプリケーションをまだ移行していないか、あるいはアプリケーションを移動できず、無期限にオンプレミスで実行し続ける必要があるため、オンプレミスのストレージにデータを保持し続けています。しかし、それでもデータを保護するために、そのデータの 2 番目のコピーを作成したいと考えています。そこで、彼らはこのパターンで DataSync を活用することが多いのです。オンプレミス環境に DataSync エージェントをセットアップして、DataSync をスケジュールで実行するように設定し、定期的に実行するだけです。これにより、彼らはデータ保護の目標を達成できます。
DataSync はスケジュールに従って自動的に実行され、必要な場所にデータを安全かつセキュアに移動させます。多くのお客様は、これを使用して S3 にデータの 2 番目のコピーを作成し、その低コストのストレージを活用しています。これは素晴らしいパターンです。実は、Santos というお客様がこれと同様のことをする必要がありました。彼らは毎日テラバイト単位のバックアップファイルを生成しており、内部のコンプライアンス要件を満たすために、そのデータの 2 番目のコピーを作成する必要がありました。
このお客様は、多くのお客様がそうするように、最初は独自のソリューションを書こうとしていました。しかし、すぐに DataSync が対処するために設計された多くの問題に直面しました。スクリプトの管理とデプロイのオーバーヘッド、エラーへの対処、そしてその過程でのデータ検証など、様々な課題がありました。DataSync について学んだ後、彼らはそれを素早く立ち上げることができ、プロセスを大幅に簡素化することができました。これにより、彼らはより重要なビジネス上の課題に焦点を当てることができ、自分たちで構築するソリューションから脱却することができました。
現在、生成AIの使用が爆発的に増えていることは、皆さんもよくご存知だと思います。そして DataSync がお客様のデータパイプラインにおいて、特に AI トレーニングと推論の目的で AWS 上にデータレイクを構築する際に、ますます重要になってきているのを目にしています。これらのデータセットは、数十億のファイルとペタバイト単位のデータで構成されることが多いです。DataSync は、お客様がそのデータを FSX for Lustre や Amazon S3 といった AWS ストレージサービスに取り込むのを支援でき、これらのサービスはスケールアウトするために構築されており、多くの生成AI ワークフローに必要なレベルのデータ移動を実現できます。
もう一つの領域として、 DataSync がお客様を支援しているのは、定期的な転送、特に機械生成データです。オンプレミス環境で実行されているすべてのマシンを考えてみてください。それらは膨大な量のデータを生成しています。
これには、ゲノムシーケンサー、製造システム、そして病院のラボ機器が含まれます。お客様は、すべてのそのデータをクラウドに取り込んで、オンプレミスにコンピュートシステムを構築することなく、処理と分析ができるようにしたいと考えています。DataSync は、お客様がこれらのデータパイプラインを効率化し、データから結果を得るまでの時間を短縮するのに役立ちます。
これは、機械生成データを使用しているお客様で見られる一般的なソリューションの例です。データは通常、ファイルサーバーのようなオンプレミスストレージシステムで生成され、一時的に保存されます。お客様は DataSync を設定して、ラボ機器のジョブが開始されたときにジョブをトリガーしてデータをコピーし、S3 のようなサービスにデータを転送します。ジョブが完了すると、EventBridge 通知がトリガーされ、その後、オンプレミス環境のクリーンアップがトリガーされて、クラウドにすべてのデータがあるため不要になったデータが削除されます。これにより、オンプレミスで実行する必要がある新しいジョブのための領域が確保され、お客様はオンプレミスストレージをすっきりとした状態に保ち、すべての処理ニーズに対応できるようにすることができます。
Merck はライフサイエンス分野のお客様の例で、製造プロセスにおける高いレベルの不良品を削減するという課題を抱えていました。AWS と協力して、彼らは私たちが提供する AI サービスと機械学習サービスの一部がこの課題に対処するのに役立つ可能性があることに気づきました。彼らは DataSync を利用して、様々なサイト全体で収集していた多くの不良品データと欠陥画像を S3 に取り込み、Amazon SageMaker で利用できるようにしました。これらのサービスを活用することで、Merck は問題の根本原因を特定し、プロセスを最適化し、最終的に製品ライン全体で不良品を 50 パーセント削減することができました。これは、DataSync がデータを取り込んで AWS でより良く分析できるようにするという全体的なワークフローの一部であったことを示す素晴らしいストーリーです。
DataSyncとTransfer Family Web Appsを組み合わせたデモンストレーション
では、DataSync と Transfer Family のウェブアプリが一緒に動作するデモをお見せします。これは、ライフサイエンスとヘルスケア分野で見られるパターンに基づいており、機械や研究室の機器がオンプレミスでデータを生成し、顧客がそのデータをクラウドで処理する必要があるというシナリオです。多くの場合、これらのプロセスは、組織内の科学者や品質管理担当者など、オンプレミス環境のユーザーが確認する必要があるレポートを生成します。昨年の re:Invent で発表した Transfer Family のウェブアプリを使用すれば、エンドユーザーは S3 に保存されているデータ（生成されたレポートなど）に安全かつ簡単にアクセスできるようになります。Transfer Family のウェブアプリを使用すれば、ユーザーに S3 コンソールや複雑なサードパーティアプリケーションへのアクセス権を与える必要はありません。これら 2 つのサービス、DataSync とウェブアプリを一緒に使用することで、顧客は機械生成のワークフローとパイプラインを合理化し、そのデータを世界中のワークフォースで本当に利用可能にすることができます。
ウェブアプリについてもう少し詳しく説明しましょう。ウェブアプリは Transfer Family の機能で、S3 に保存されているデータへのアクセスを提供するために有効にします。AWS コンソール内で完全に実行されるウェブアプリケーションを使用し、認証には AWS Identity Center を、S3 バケット内のデータへのアクセス認可には S3 access grants を使用します。これにより、既存のメカニズムを活用できます。また、ウェブアプリを独自のブランディングでカスタマイズすることもでき、シンプルなインターフェースにより、エンドユーザーを簡単に立ち上げて実行できます。
では、デモに進みます。具体的には、DataSync を使用して NFS サーバーからデモ内のデータをコピーし、それを S3 バケットにコピーする様子をお見せします。データが S3 に入ったら、ウェブアプリを活用して S3 内のそのデータに簡単にアクセスし、エンドユーザーが利用できるようにする方法をお見せします。
デモを始めましょう。ここで NFS サーバーにログインしており、 現在のディレクトリが /mnt/nfs/demo であることが見えます。これはコピーしたいデータが含まれているフォルダです。 サーバーに /mnt/nfs で NFS エクスポートがあり、これは DataSync を設定するときに重要になります。そこに 5 つのフォルダがあります。 2 つのアーカイブフォルダを S3 バケットにコピーしたいのですが、本番環境のものはここに置いておきます。アーカイブフォルダの中身が見えます。いくつかのファイルがあります。アーカイブ 1 フォルダに MD5 サムのリストを記載したテキストファイルがあり、その後、コピーしたくない ignore.tmp ファイルがあります。 これを使用して、DataSync で除外フィルターを使用してコピーしたくないデータをコピーしないようにする方法をお見せします。
ここから AWS コンソールに移動します。これが私がデータを保存するために使用する S3 バケットです。 ここが NFS サーバーからこのバケットにデータをコピーする場所です。現在は空になっています。今のところデータは入っていませんが、jb-web-apps という名前です。少し後でここにデータを保存します。DataSync コンソールに移動して、タスクを作成します。タスクは DataSync にデータをある場所から別の場所に移動する方法を指示します。
まず、ソースロケーションを設定します。私のソースは NFS サーバーです。以前にエージェントをデプロイしました。エージェントは、オンプレミスの NFS サーバーに接続するために使用する仮想マシンです。 そのエージェントを選択して、NFS サーバーの IP アドレスまたはドメイン名とマウントパスを指定します。これが DataSync がサーバーにアクセスする方法です。 覚えていれば、以前に /mnt/nfs というマウントポイントを見せましたので、それを使用します。 次に、デスティネーションロケーションを指定します。これは S3 バケット、つまり以前に見せた jb-web-apps バケットです。 これがデスティネーションロケーションになります。
次のフェーズは DataSync タスクを設定することです。 DataSync コンソールで作業するときに認識できるように、シンプルな名前を付けます。次に、どのデータをコピーしたいかを指定します。この場合、フィルタリングを使用します。インクルードフィルターを追加します。覚えていれば、アーカイブフォルダーだけをコピーしたいので、このようなインクルードフィルターを指定します。 それから、覚えていれば、一時ファイルも除外したかったので、.tmp で終わるものはすべて除外します。 これらのファイルだけをコピーして、一時ファイルは除外します。その他はすべてそのままにしておきます。確認して、すべて問題ないようなので、先に進んでタスクを作成します。
この時点で DataSync タスクを作成しました。先に進んでそれを開始します。これにより、NFS サーバーから S3 バケットにデータをコピーするタスクを実際に実行するプロセスが開始されます。それが実行されている間に、AWS Transfer Family コンソールに移動して、既に設定した Web アプリを確認します。 既にこの Web アプリサーバーをアイデンティティプロバイダーで設定しました。上に見えるのは、以前に作成した IAM Identity Center プロバイダーで、下に Jeff というユーザーがいます。 S3 アクセスグラントを通じて Jeff に私のバケット、つまり S3 バケットへのアクセスを与えました。Web アプリエンドポイントがあります。これが、ブラウザーで Web アプリインターフェースにアクセスするために実際にアクセスするエンドポイントです。これは自動的に生成されます。これがどのように見えるかです。非常にシンプルなインターフェースです。バケットがここに入っています。 バケットをクリックすると、今のところ空です。データは入っていません。データがコピーされたら、また戻ってきて確認します。
DataSync コンソールに戻ります。データがコピーされたのが見えます。約 14 ファイル、少量のデータですが、かなり短い時間でコピーされました。データが正常にコピーされたことが確認できます。 それから S3 バケットに移動して更新すると、データが正常にコピーされたのが見えます。 2 つのアーカイブフォルダーがあります。本番環境フォルダーはコピーされませんでした。MD5 テキストファイルがあります。後で確認します。そして、DataSync で指定した除外フィルターを使用して除外されたため、一時ファイルがコピーされなかったのが見えます。
データのコピーが無事完了しました。Web Apps環境をリフレッシュすると、S3に保存されているデータがそのまま反映されているのが見えますね。これは、Web AppがS3にアクセスできるようにS3アクセスグラントを設定したからです。 ファイルをダウンロードできるのが見えますね。このMDファイルを開くと、NFS サーバーにあったものと一致しています。
ここで任意のファイルのMD5サムをチェックしたい場合に使用できます。DataSyncを使ってオンプレミスからAWSにデータをコピーし、その後Web Appsを活用してS3に保存されたデータにアクセスしたことが見えますね。Web Appsの素晴らしい点は、S3コンソールを経由する必要がないということです。シングルサインオンや現在利用可能な認証メカニズムを活用して、エンドユーザーがS3に保存されたデータに簡単にアクセスできるようにすることができます。
これはDataSyncとTransfer Family Web Appsが一緒に機能する素晴らしい例です。では、Transfer Familyとその他のユースケースについて詳しく説明するSmithaにバトンタッチします。
Transfer Familyによる業界標準プロトコルを使った安全なファイル交換
ありがとうございます、Jeff。ここで少し視点を変えてみましょう。JeffはDataSyncと少しTransfer Familyについて話しましたが、もしファイル転送の両端を制御できない場合はどうでしょうか。例えば、必要なデータを生成しているアプリケーションがあったり、ビジネスパートナーの環境など、あなたの管轄外にあるアプリケーションにデータを配信する必要がある場合があります。そういった場合にAWS Transfer Familyが活躍します。SFTPやAS2といった業界標準プロトコルを使った完全マネージド型のファイル転送を提供しています。
現在、顧客がAWS Transfer Familyを使用しているユースケースは多くあります。特に注目すべきは、PII、PHI、HIPAAなどの規制要件の対象となるドキュメント交換です。金融サービス、ヘルスケア、医薬品、石油ガスなど、多くの業界がデータを安全に交換する必要があり、そこでTransfer FamilyのMFT機能が使用されています。2番目はERP統合です。例えば、あなたがSAPを実装していて、ビジネスパートナーも同じくSAPを実装していて、この2つが相互に通信できるようにしたいとします。例えば、あなたがサプライヤーとして機能していて、メーカーやエンドカスタマーから発注書を取得する必要がある場合があります。そういった場合にMFT Transfer Familyが使用され、ビジネス境界を超えてこれら2つのアプリケーションを接続します。
コンテンツディストリビューターで、分析用、メディア用、ソフトウェア用など、付加価値のあるデータセットを作成している場合、サブスクライバーの成長に対応でき、かつあなたの収益源を保護できる MFT が必要です。Transfer Family の細粒度のアクセス制御により、ユーザーがサブスクライブしているデータだけへのアクセスを提供できます。4 つ目として、製造施設を運営していて、そのデータを S3 にキャプチャして、エラーを早期に検出したり、予防的なメンテナンスを実行したい場合、Transfer Family の SFTP はデータ取り込みパイプラインとしてよく使われています。Transfer Family が使用される用途はまだまだたくさんありますが、これらはほんの一例です。
このアーキテクチャを見ると、Transfer Family はさまざまなソースタイプからデータをキャプチャするのに役立ちます。SFTP や FTP スクリプトのような手動で書かれたスクリプトであれ、Jeff がデモで示した Transfer Family ウェブアプリのような非技術ユーザーであれ、ウェブブラウザという一般的に使われているクライアントを通じてデータを取り込みたい場合であれ対応できます。3 つ目はリモート SFTP ソースで、医療請求を処理していたり、支払い調整ワークフローの一部であったり、クリアリングハウスの SFTP サーバーと通信する必要がある場合があります。最後に、Applicability Statement 2 というプロトコルを使用していて、パートナーの AS2 実装と相互作用する必要があるとしましょう。
Transfer Family は、サーバーから Web UI、コネクタまで、さまざまなリソースを提供して、Amazon S3 バケットまたは EFS ファイルシステムにデータを取り込むことができます。その後、スライドに書かれているように、AWS 内での可能性は無限大です。後で説明する特定のサービスの 1 つは、マネージド EDI 統合用の AWS B2B Data Interchange です。MFT をイベント駆動にして、ファイル処理をエンドツーエンドで自動化できるようにするために、私たちは多くの時間を投資してきました。
このアーキテクチャを簡単に見てみましょう。ビジネスパートナーがこれらの業界標準プロトコルの 1 つを使用してファイルを送信していて、AWS Transfer Family を使用しているとします。ファイルが S3 バケットに到着するとすぐに、AWS Transfer Family はファイル転送に関するすべてのコンテキストを含む非常に具体的なファイル転送イベントを発行します。
これらの詳細なイベントには、転送が失敗したか成功したか、部分的なアップロードであったか、ユーザーのソース IP、ファイルの出所、ユーザー名、ファイル名など、ファイル転送に関するすべてのコンテキストが含まれています。Transfer Family が知っているファイル転送が成功したか失敗したかについて、多くの情報が得られます。それに加えて、Step Functions ワークフローを簡単に開始でき、そのワークフローの一部として、ファイルにタグを付けて、後で監査者のためにアーカイブすることができます。
多くのお客様がファイル形式のチェックを実行したいと考えています。例えば、トレーニングパートナーから CSV ファイルを受け取ると思っていたのに JSON が送られてきた場合、そのファイルをすぐに拒否して、ワークフローの一部として対応できるようにしたいですよね。Pretty Good Privacy 暗号化は一般的に使用されているので、トレーニングパートナーは PII データが含まれているため、ファイルを暗号化します。ファイルが到着するとすぐに、自動的にファイルを復号化できるようにしたいです。その直後、ファイルがインターネット経由で転送された場合、多くのお客様はマルウェアをスキャンしたいと考えています。マルウェアが検出された場合、そこでファイルを破棄して、クリーンなファイルだけを内部ビジネスシステムで使用できるようにしたいです。
これらすべてを Step Functions 内で実行できます。この素晴らしい点は、Amazon EventBridge と組み合わせることで、ユーザーごと、またはソースファイルごとに処理をカスタマイズできることです。 ここには、そのカスタマイズを実現するのに役立つ 2 つのコンポーネントがあります。1 つは EventBridge との統合で、もう 1 つは Amazon DynamoDB を使用して、サービスが読み取ることができる多くの情報を保存することです。サービスはご覧のように詳細なイベントを発行します。 これらのイベントを解析して、ルールベースの処理を実行できます。例えば、ファイルがこのソース IP から来た場合、これを実行したい、または、このファイルが部分的なアップロードだった場合、計算を台無しにするため、データパイプラインに取り込みたくないといったことができます。Step Functions ワークフローの一部として、これらの多くのルールを実行できます。
サービスが DynamoDB テーブルを認識するため、 ユーザー名、認証情報、アクセス可能なデータ、データにアクセスするときに予想されるソース IP、そして最も重要なことに、実行したいルールを保存するために使用できます。例えば、このトレーディングパートナーが Company X からのもので、JSON を送信した場合、どのように処理したいですか？結局のところ、AWS で実行したい処理の種類に関しては、これは非常にカスタマイズ可能です。 QR コードがあり、前のスライドで示した正確なアーキテクチャを構築して、MFT を自動化し、より大規模で柔軟に対応できるセルフペースのワークショップがあります。
FICO について話したいのですが、彼らはこの正確なアーキテクチャを構築しました。 FICO は、クレジットカード詐欺から保護することから金融包摂の改善、さらにはサプライチェーンの回復力の向上まで、世界中の約 80 か国のビジネスを支援しています。クレジットカード分析の世界的リーダーとして、FICO は MFT を使用して大量の機密データを処理しています。つまり、安全で効率的なファイル転送は彼らの業務に非常に重要です。以前は、レガシー MFT 実装を使用していて、SFTP サーバーやストレージなど、使用中かどうかに関わらず、多くのインフラストラクチャを管理する必要がありました。その結果、多くの管理オーバーヘッドとコストが発生しました。
FICO が AWS Transfer Family に切り替えると、以前管理する必要があったインフラストラクチャの多くが排除されました。インフラストラクチャをコードとして数分以内に MFT 用にグローバルにデプロイできるようになり、これは以前は不可能でした。彼らはまた総所有コストを削減しました。そして、単に TCO を削減しただけではなく、FICO 全体のさまざまなビジネスユニット間で MFT を実行するコストをより細かく、より正確に計算できるようになりました。QR コードがあり、FICO の MFT 変革の旅について詳しく説明しているので、ぜひチェックしてみてください。
規制当局への提出プロセスの効率化とTrustwellの成功事例
規制当局への提出が必要な方々にとって、もう一つの重要なユースケースについてお話しします。医薬品業界や食品業界に携わっている場合ですね。 Transfer Family を使用することで、お客様たちはこの提出プロセスを非常に効率化することができています。例えば、AWS で実行されているアプリケーションによってファイルが生成される場合、医療記録の PDF などですが、そのファイルを S3 に保存するとします。
ファイルを保存すると、Transfer Family はそのイベントをリッスンして、FDA や SEC などの規制当局がホストしているドキュメントポータルやドキュメントサーバーにファイルを送信することができます。 ファイルを受け取った後、AS2 を使用している場合は、規制当局から受領確認を受け取ることができるので、将来的な監査とアーカイブのためにその受領確認を保存できます。Transfer Family と Amazon S3 を使用してこのすべてを自動化できます。そうすることで、提出プロセス全体がビジネスの成長に合わせてスケールし、信頼性を保ちながら、これらの提出を期限内に行うことができます。
Trustwell の Food Logic プラットフォームについてお話しします。彼らは顧客がサプライチェーンとトレーサビリティの課題を管理するのを支援しており、これは食品医薬品業界で事業を展開している顧客にとって重要です。Trustwell の Food Logic プラットフォームは AS2 と SFTP を使用してサプライチェーンパートナーからメッセージを受け取ります。以前は、レガシーの MFT 実装も使用していました。ライセンスの有効期限が切れると、MFT がダウンしてしまったり、証明書の有効期限が切れた場合、それがいつ起こったのかさえ気づかないことがありました。これにより MFT がダウンし、ビジネスが数日間中断されてしまいました。
Food Logic は AWS Transfer Family を使用してすべてのファイル転送を統合しました。現在、彼らは当社のサービスを使用して AS2 と SFTP を実行しています。その結果、可用性とアップタイムが向上しました。以前よりもはるかに短い時間で新しい関係をオンボードできるようになり、マネージドサービスであるため、最新のセキュリティとコンプライアンス標準に自動的に対応しています。
AWS B2B Data InterchangeによるEDI処理の自動化と総所有コスト削減
次に、ファイル転送の一部として処理が含まれる場合についてお話しします。Electronic Data Interchange は、さまざまな業界で使用されるこのタイプの処理の主要なドライバーです。 ヘルスケア業界で請求処理を行っている場合、または運輸・物流で出荷追跡を行っている場合、または製造業で SAP 実装を使用してサプライヤーの ERP に発注書を送信している場合、これが EDI が一般的に使用される場所です。なぜなら、これは業界標準だからです。標準の中には X12、EDIFACT、そしてヘルスケアでは HL7v2 が非常に一般的です。
EDI はデータを移動させる際に使われていますが、問題は、ビジネスアプリケーションやデータレイクと内部的に互換性がないということです。例えば、AI/ML 向けのデータパイプラインを構築したいとしても対応できません。そこで私たちは re:Invent 2023 で AWS B2B Data Interchange を立ち上げました。これは X12 ドキュメントと JSON、XML 間の検証と処理を自動化するサービスです。 JSON と XML は、ビジネスシステムやデータレイクで使用できる一般的な表現形式です。このサービスは広範なログとモニタリング機能を提供します。このテクノロジーではエラーが一般的なので、ビジネス上の問題になる前に、より迅速にトラブルシューティングできることが重要です。
AWS マネージドサービスとして、このサービスは自動的にニーズに応じてスケールし、高い稼働率と可用性を備えています。このサービスについて私が最も気に入っている機能は、生成 AI を使用して X12 とカスタム形式の XML、JSON 間のマッピングコードを生成できるという点です。これにより、マッピングコードを生成するのに必要な時間と労力が大幅に削減されます。これは 1 回限りのセットアップなので、その後はドキュメントがこれらの異なる形式間で自動的に変換されます。
アーキテクチャ図を見てみましょう。 取引先と対話していて、例えば X12 850 のような発注書を受け取るとします。多くの皆さんはこれを聞いたことがあるかもしれません。AWS Transfer Family 経由で、例えば SFTP、FTPS、または AS2 でそのドキュメントを受け取ると、先ほど説明したようにイベントが発行されます。B2B Data Interchange はそのバケット内のイベントをリッスンして、自動的にそのファイルを取得し、変換し、それが良いか悪いかを判定し、確認応答を提供します。
処理されたファイルは別の S3 バケット、またはあなたのものであれば同じバケットに配置されるので、そのデータを使用してデータレイクを構築するか、SAP、輸送管理システム、または請求処理エンジンなどのアプリケーションに供給することができます。
このアーキテクチャについて、私が本当に強調したい 2 つのポイントがあります。1 つ目は、SFTP、AS2、X12 のような時間が証明した業界標準フォーマットと、イベント駆動型や生成 AI のような最新のパラダイムを組み合わせることで、スケール、柔軟性を実現し、エンドツーエンドの MFT 管理の総所有コストを削減できるということです。2 つ目は、あまり明らかではないかもしれませんが、取引先との関係をデータパイプラインに活用しているということです。取引先とあなたの取引関係は、トランザクショナルデータへのリアルタイムインサイトを得るためのデータパイプラインを提供することで、二重の役割を果たしているのです。
先週公開したビデオがあるんですが、このアーキテクチャを実際に示しているもので、ビジネスアプリケーションとして SAP を使っています。ぜひそのビデオを見てもらいたいんです。約 8 分間の動画で、SAP を ERP として使ってこのエンドツーエンドのアーキテクチャをどのように構築できるかについて説明しています。もちろん他の多くのビジネスアプリケーションでも動作しますが、このデモは主に SAP に焦点を当てています。
BisCloud Experts は IT コンサルティング企業で、顧客が自信を持ってスケールし、イノベーションを起こせるよう自動化、加速、そして支援を行っています。食品飲料業界のある顧客が BisCloud Experts にアプローチしてきました。というのも、彼らは非常に管理が難しく、極めて高額なレガシー EDI ソリューションを使用していたからです。BisCloud Experts は対応し、私たちのサービスに関する専門知識を開発し、この顧客が 100 以上のトレーディングパートナー関係と月間 250,000 件のメッセージボリュームをレガシー実装から AWS B2B Data Interchange に非常に短期間で移行するのを支援しました。
さらに、彼らはライセンスの更新を回避でき、この移行の結果として年間 100 万ドル以上のライセンスコストを削減しています。加えて、スライドでご覧いただけるように、顧客が今はプロセス全体を自分たちでコントロールできるようになったため、トレーディングパートナー関係のオンボーディングが数日で可能になり、はるかに高速化しました。BisCloud Experts に本当に感謝したいです。彼らは本当にこの顧客の困難な時期を支援してくれました。
今日はたくさんのコンセプトについて話しましたね。 簡単にまとめるために、ここで皆さんにお願いがあります。携帯電話を取り出して、その QR コードをスキャンしてください。 AWS アカウントマネージャーにメールを送って、「Jeff と Smither と一緒に STG 361 に参加しました。ファイル転送を超簡単にすることで、自分の会社のイノベーションを解き放つことができることを学びました。3 つのユースケースと各ユースケースのアーキテクチャについて学びました。コンプライアンスと規制要件を簡単に満たしたいです。今すぐ始めたいので、アカウントマネージャーからご連絡をいただけることを期待しています。皆さんをサポートするのを楽しみにしています」と言ってください。
本日の後ほど、明日、そして水曜日にもいくつかセッションがあります。そこではお話しした各サービスについて詳しく掘り下げていきますので、ぜひご参加いただき、さらに詳しく学んでいただきたいと思います。最後になりますが、本日はご参加いただきありがとうございました。このセッションのアンケートにご記入いただき、フィードバックをお寄せいただければ幸いです。そうすることで、私たちはコンテンツの改善を続けることができます。ありがとうございました。
※ こちらの記事は Amazon Bedrock を利用し、元動画の情報をできる限り維持しつつ自動で作成しています。
Discussion