re:Invent 2024: UCLAがAmazon Bedrockで募金活動を86%改善
はじめに
海外の様々な講演を日本語記事に書き起こすことで、隠れた良質な情報をもっと身近なものに。そんなコンセプトで進める本企画で今回取り上げるプレゼンテーションはこちら！
📖 AWS re:Invent 2024 - Boost fundraising with hyper-personalization powered by Amazon Bedrock (WPS201)
この動画では、UCLA Anderson School of ManagementがSlalomと協力し、Amazon BedrockとAnthropic Claude LLMを活用して同窓生向け募金活動を革新した事例を紹介します。ドナーデータとカスタマイズされたコンテンツを統合し、最適なタイミングでメール配信を行うアーキテクチャを構築した結果、寄付の成約率が86%増加し、寄付額が26%増加、募金総額は132%増加という驚異的な成果を達成しました。8週間のプロジェクトで、AIによる件名や本文の生成、パーソナライゼーション、配信タイミングの最適化など、募金プロセスの様々な要素にAIを活用し、人間による検証プロセスも組み込んだ実用的なシステムを完成させました。
※ 動画から自動生成した記事になります。誤字脱字や誤った内容が記載される可能性がありますので、正確な情報は動画本編をご覧ください。
※ 画像をクリックすると、動画中の該当シーンに遷移します。
re:Invent 2024関連の書き起こし記事については、こちらのSpreadsheet に情報をまとめています。合わせてご確認ください！
本編
UCLAの募金活動革新：Amazon Bedrockを活用したプロジェクト概要
ようこそお越しくださいました。本日はご参加いただき、ありがとうございます。私はMary Strainと申しまして、米国教育部門のArtificial IntelligenceとMachine Learning戦略を統括しております。本日は、UCLAで大きな成果を上げた非常に横断的なユースケースについての興味深いパネルディスカッションにお迎えできることを大変嬉しく思います。テーマは「Amazon Bedrockを活用したハイパーパーソナライゼーションによる募金活動の強化」です。このセッションでは、University of California, Los Angeles Anderson School of ManagementがSlalomと協力し、AWS及びAnthropic Claude LLMを活用して同窓生エンゲージメント戦略をどのように革新したかについてご紹介します。その結果、寄付の成約率が86%増加し、寄付額が26%増加、募金総額は驚異的な132%の増加を達成しました。
ドナーデータとカスタマイズされたコンテンツをシームレスに統合し、最適なタイミングでメールを配信するアーキテクチャについて学んでいきます。これにより開封率が大幅に向上し、アウトリーチの効果を最大限に高めることができました。キャンパスで働く皆様にとって、この内容が募金活動の能力向上に非常に有益であることは間違いありません。また、これはキャンパスライフのあらゆる場面におけるハイパーパーソナライゼーションにも通じる内容です。
本日は素晴らしいパネリストの方々にご参加いただいています。まず、現在UCLA Anderson School of ManagementのChief Information Officerを務めるHoward Millerです。UCLAに入る前は、Columbia Business SchoolでActing Chief Information Officerを務めていました。Howardは、技術戦略とポリシーの設計、開発、展開において専門知識を持つ優れた経営幹部であり、上級ITリーダーです。Rensselaer Polytechnic InstituteでManagement Information SystemsのMBAと、Computer Scienceの学士号を取得しています。また、PMPC、ISM、CRISCなど、複数の専門資格を保有しています。
また、James Meadowにもご参加いただいています。JamesはSlalom ConsultingでグローバルAIおよびMachine Learning部門を率い、様々な業界で変革をもたらす戦略的AIソリューションの開発を行っています。GenomicsとStatisticsの博士号を持つJamesは、教育の発展、社会的インパクトの拡大、環境の持続可能性を促進するためのData ScienceとMachine Learningの活用に情熱を注いでいます。
最後のプレゼンターは、私の同僚のPatrick Frontieraです。PatrickはAmazon Web ServicesでキャンパスおよびIT運用ポートフォリオを統括しています。この役割において、Patrickは各大学がAWSを活用して組織を維持し、差別化を図れるよう支援する責任を担っています。AWS入社前は、Loyola Marymount UniversityのCIOとして、アカデミックテクノロジー、管理系コンピューティング、インフラ技術、ユーザーサポートの各チームがLMUのミッション実現を支援するサービスを提供できるよう統括していました。高等教育に携わる前は、Santa Barbaraのスタートアップ企業でソフトウェア開発ディレクターを、また、PeopleSoftでアプリケーション開発者を務めていました。
高等教育におけるAWSの役割とAdvancement部門の重要性
Mary、ご紹介ありがとうございます。本日のプレゼンテーションはL200レベルであり、議論の大部分は技術的な内容になることをまずお伝えしたいと思います。JamesがUCLA Andersonの募金活動を実現するための技術アーキテクチャと実装アプローチについて説明していきます。最初に、高等教育におけるAWSの現状について、特に大学がミッションをサポートするためにGenerative AI機能を採用し始めている状況についてお話ししたいと思います。
高等教育におけるAWSのミッションは、レジリエンスを構築しイノベーションを推進することで、高等教育が発展できる環境を作ることです。この文脈でのレジリエンスとは、レジリエントなアプリケーションを構築することだけではありません。それ以上に、不確実な現在と将来に対応するために高等教育機関を支援する新しいビジネスモデルを再構築するような大きな取り組みも含まれます。私たちは、高等教育機関のレジリエンス向上のために、大小様々な取り組みを行っています。
これは野心的なミッションです。では、どのように実現するのでしょうか？私たちは4つの領域に焦点を当てて取り組んでいます。Maryが言及したように、私はIT部門とキャンパス運営のポートフォリオを担当しています。
そのため、私の役割は、大学がITだけでなく組織全体にわたってデータとテクノロジーの強固なDigital Foundationを構築し、他の3つの重点領域を実現できるようにすることです。
その3つの領域の1つ目は、Student Experienceです。大学との対話において、学生が授業でより良く学べることはもちろん重要ですが、残念ながら大学が学生に提供している煩雑な管理システムをうまく活用できるようにすることも重要です。2つ目の領域はResearch and Scholarshipです。私たちは、AWSを使用して研究ポートフォリオをサポートするだけでなく、研究アジェンダを開始するためのポートフォリオを取り巻く研究管理もサポートしています。そして最後の4つ目の領域がCommunity Engagementです。ここでは高等教育機関の能力を本当の意味で強化することに取り組んでいます。これには大学の体育学部やAdvancement Officeも含まれます。
本日の議論の焦点は、この1年間で実際に導入されているAmazon Bedrockを活用した戦略についてです。主に2つの分野に分かれており、1つは学生の成功です。Generative AIを活用して、教室内での学習体験や大学生活全般における学生の体験をどのように向上させるかということです。大学にとって、学生の定着率や4年・6年卒業率などの成果を改善することは非常に重要です。そこで、私たちはGenerative AIを活用して、大学がこれらの課題を解決できるよう支援しています。
もう1つの注目分野は組織の成功であり、これは先ほどの2つのテーマと重複する部分があります。組織の成功については、大学がより効率的かつ効果的になるためのサポートに重点を置いています。今日はこちらに焦点を当てていきます。なぜなら、UCLA Andersonが実施したAdvancementプロジェクトは、まさに組織の効率性を向上させることが目的だからです。それでは、なぜAdvancementが重要なのかについて掘り下げていきましょう。これは、Community Engagementの重点分野の一部です。
このグラフは2022年のNational Center for Education Statisticsのデータで、機関の管理タイプ別の収入源を示しています。黄色のバーは、各機関が投資からの収益として使用している収入を表しています。これらの投資は、Advancement部門の活動によって生み出されています。また、グラフのマルーン色の部分は、寄付金を表しており、これは基金には組み込まれずに運営コストを相殺するために使用されます。
大学のAdvancement部門の基本的な使命は、短期的な運営コストを賄い、長期的な機関の安定性を向上させるために、寄付を増やすことです。これは、当然ながら機関の成功に強い関心を持つAlumniや、機関のミッションに共感し情熱を持って支援してくれる見込み支援者、そして企業や財団にアプローチすることで実現します。これがAdvancement部門のコンテキストであり、資金調達能力とAWSによる高等教育支援が重要視される理由です。詳しく知りたい方は、Industries PavilionのEducationブースにお立ち寄りください。
UCLA Andersonの課題：革新的な募金アプローチの必要性
それでは、UCLAの課題についてお話しいただくために、Howardにバトンを渡したいと思います。UCLA Andersonのハワード・ミラーです。私たちがなぜここにいるのか、その経緯についてお話しできることを嬉しく思います。今日の準備をしている際に受け取ったメールを見ていて面白いと感じたのですが、Giving Tuesdayに資金調達について話をすることになりました。これが皮肉なのか、偶然なのか、運命なのかはわかりませんが、少なくとも良い話のネタにはなりますね。では、私たちがなぜこれを行ったのか、何に関心があったのかについて - Giving Tuesdayの精神に則って、それはすべて機関により多くの資金を集めることについてです。
前のスライドでPatrick Frontieraが示したように、資金調達の拡大は常に重要です。資金調達のもう一つの要素は、卒業生の積極的な参加に関するものです。UCLA Andersonには約45,000人の卒業生がいます。彼らの注目を再び集めるのは難しいものです。今日がGiving Tuesdayであることに話を戻すと、皆さんは件名を見ただけで「興味ない」とか「どうでもいい」と思うようなメールを何通受け取ったでしょうか？このように、より多くの資金を集め、卒業生の注目を集め、より深く関与してもらうにはどうすればよいか、というのが今回の取り組みを行った理由の一つです。
同様に重要なのは、真ん中の項目にある革新を受け入れるという点です。Slalom Consultingの人々が私のところに来て、革新的なことをしたいと言い、私たちも革新的なことをしたいと聞いていると言いました。彼らは、一緒に何か革新できることはないかと尋ね、Generative AIというものがあるけれど、それを活用できる使用例を見つけられたら面白いのではないかと提案してきました。そして、そこから私たちの取り組みが始まったのです。この事例で私が最も誇りに思っているのは、そのアプローチ全体です。スライドを見ていただくと分かりますが、UCLA Andersonのアプローチとは書かれておらず、単にUCLAのアプローチと書かれています。このストーリーが私の心に響くのは、これが完全なコミュニティの構築だったからです。
外部から始めると、まずAWSからのサポートがありました。Slalomはコンサルティングパートナーで、AWSとSlalomのどちらがなくても、これは実現できませんでした。内部的には、UCLAについてどの程度ご存知か分かりませんが、Andersonはキャンパス内で最大規模のIT分散ユニットの一つです。UCLA Andersonの卒業生であれば、UCLAの卒業生でもあるため、Andersonはその関係性を技術的には所有しておらず、メインキャンパスのIT External Affairsに属しています。AndersonのIT部門だけでなく、ビジネスステークホルダーの関与やIT External Affairsの関与もありました。これらすべてを総合すると、この期間内でこれを実現するには、すべての部分が協力して素晴らしいソリューションを生み出す必要がありました。
私の話を聞いたことがある方なら、私がよく「可能性の芸術」について話すのをご存知でしょう。これは革新を受け入れることに関連していますし、また今日早くに受け取ったすべてのメールにも関連します。ここで私たちが行っていることで特に興味深かったのは、より良い件名を作り、卒業生のエンゲージメントを高める方法です。これらの例をすべて見ると、メールの件名で多くの実験ができます。堅苦しすぎて関わりたくないと思われる形式的なものから、興味を引く可能性のある中立的なもの、あるいはあなたの寄付がAndersonを変革できるという提案、さらには「Andersonを笑いが止まらないほど豊かに」というようなクリックベイトまで。最後の例をクリックするかどうかは分かりませんが、少なくとも注目を集めることはできます。これがGenerative AIにおける可能性の芸術についてのポイントです。
Generative AIは寄付の提案とも上手く連携し、次のスライドでこのモデルのトレーニングに使用されたデータについて見ていきます。メールの本文全体を生成することに加えて（ここでは黒く塗りつぶされています）、Generative AIはモデルのトレーニング方法とあなたに関する知識に基づいて、それらの推奨寄付額を算出することが非常に得意です。これは、Patrickが指摘したパーソナライゼーションに関連します。比較的短いタイムラインで、Jamesがここで私たちが行ったことのタイムラインと詳細について説明します。
このモデルのトレーニングに使用された主要な属性について説明しますと、名前、メール、寄付履歴などが挙げられます。これは、寄付額や所属プログラム、卒業年度などの情報に基づいてメールをパーソナライズできるという点に関連しています。スケジュールが限られていたため、望んでいたほどのデータ量は得られませんでした。右側の列にある潜在的なデータを見ると、居住地域の情報なども活用できたはずです。特定の地域に住んでいる人の方が、寄付をする意欲や能力が高い可能性があるからです。特に過去の寄付先についても - Dean's Fundに寄付したのか、マイノリティ学生支援基金に寄付したのかといった情報も重要です。より多くの、より質の高いデータがあれば、それだけモデルの性能も向上します。
では、現時点での成果をまとめましょう。UCLA全体にとってのメリットとして、実用的なアプリケーションが完成したということが挙げられます。5万人の卒業生全員を対象としたわけではありませんが、冒頭でお伝えした素晴らしい統計結果を得られるだけのサンプル数はありました。私たちは非常に満足しており、このシステムが機能することは確認できています。これがMaryが先ほど明かしたスポイラーです。
Maryは多くの秘密を明かしてしまいましたが、Jamesが最後にそれをまとめてくれるでしょう。私たちは非常に説得力のあるビジネスケースを構築しました。これは、Generative AIの活用方法や、さらにはGenerative AIを超えた可能性についても道を開くものです。Generative AIが機能することは分かっていますが、Machine Learningや AIの分野にはまだどんな可能性があるのか、パーソナライゼーションでは他に何ができるのでしょうか。
最後の点が恐らく最も重要です。良質なデータなしには良質なAIは実現できません。これは何百回も聞いた話かもしれませんが、組織としてより良いデータ hygieneとガバナンスを確立するための基盤作りに本当に役立ちます。それでは、Jamesにバトンを渡したいと思います。ありがとうございました。
AIを活用した募金メール生成プロセスの詳細
プロジェクトの各フェーズについてお話しします。これは8週間のプロジェクトでした。最近試している多くのAIプロジェクトと同様です。時間をかけすぎずに、結果を出して大規模な投資に値するかどうかを理解したいと考えています。8週間で実施し、短く感じましたが、その期間で多くのことを達成できました。本日は主に第3週と第4〜5週について、特にLLMの動作を制御することに焦点を当ててお話しします。LLMは最初から望み通りには動作せず、その調整に多くの時間を費やしました。特にその後の人間による検証にも時間をかけました。
このプロジェクトについて重要な点は、これがある種のPOCであり、テストだったということです。私たちは、これが将来的な投資や他のクライアントへの展開に値するほど上手く機能するかを確認したかったのです。しかし、実際の人々に本物のメールを送信していたため、結果が確実なものであることを絶対に確認する必要がありました。途中で評判を損なうリスクを冒さないよう、送信する内容について100%の確信を持っていました。これが、私たちを本当に安心させ、ソリューションに自信を持たせた人間による検証の部分です。
少し戻って、私たちが取り組んでいる問題を理解しましょう - これは私が必ずスパムに送るタイプのメールです。良い習慣ではありませんが、ほとんどの人がそうしています。募金活動の数字を見ると、成功率は本当に低いのです。たくさんのメールを送信して、組織を維持するのに十分な反応を期待する、という状況です。ご覧の通り、これは全く個人的な内容ではありません。変数を挿入することもありますが、時にはその変数さえも正しく挿入されていないメールを受け取ることがあります。ここには改善の余地が多くあり、私たちはこのプロセスを改善し、最終的に寄付を増やすためにAIをどのように活用できるか、あらゆる角度から検討したいと考えました。
最初の疑問は、AIが今これを実現できるのかということです。これは興味深いビジネス上の課題に直面するたびに、私たち全員が自問していることです。 私は自分の情報を少しClaudeに送信してみました。これは、このようなプロジェクトで得られるであろうデータの一例です：説得力のある募金メールを書けますか？結果として、最初から - はい、問題ありません。これは良い募金メールに見えますが、冗長で非常に長いです。これはAIによくある問題で、後ほど詳しく説明します。印象的なことに、かなりパーソナライズされています。内容を読んでみると、多くの点で適切に書けていますが、AIによって書かれたことが明らかです。最近のAIツールから返ってくるメッセージには、このような特徴が見られます。そのため、この結果を改善するためにやるべきことがたくさんあります。
最初のテストとして、AIは現時点でこのタスクに十分対応できることがわかり、そこから追加の要件をいくつか検討しました。第一に、読者にメールを開いてもらうための思慮深い件名が必要です - これが最初に計測したい指標です。第二に、平凡にならないようパーソナライズする必要があります。実際に読んでもらい、寄付のクリックまで到達してもらえるよう、読者に語りかけるような内容にしたいのです。適切な人間らしい口調も必要です。これは私たち全員がLLMの苦手な点として気付いていることの一つです。時々LLMらしい口調が見分けられてしまうので、それを少し調整したいと考えました。
パーソナライズされた寄付オプションも必要で、過去に少額の寄付しかしていない人に大きな寄付を求めたり、その逆になったりしないよう注意が必要です。ユーモアも少し試してみたいと考えています。これはこのような種類のメールでは非常に効果的ですが、LLMがそれを適切に扱えるかどうかは不明確です。そのため、これは少しチャレンジングな目標となります。最も重要なのは、このプロジェクトで行うすべてのことを測定することです。8週間という期間と限られた予算の中で、この最初のテストで予算をオーバーしたくありません。そのため、適切な判断ができるよう、できる限りのデータを収集しましょう。
まず最初に、私たちはモデルの検討に少し時間を費やしました。このプロジェクトが進行していた時期は、Claude 3がリリースされたばかりでした。私たちは、利用可能な複数のモデルを検討しました。
Amazon Bedrock を通じて、Claude 3が一貫して人間らしい自然な口調と、毎回安定した良質な回答を提供してくれることがわかりました。これらの要素はすべて調整が必要でした。最初から完璧なものはありませんでしたが、Claude 3で前に進めることは明確でした。私たちは主要なパラメータの調整により多くの時間を費やしました。入力したデータに忠実で、あまり自由な解釈をしないようにしたかったので、望ましい口調が得られるまでTemperatureなどのパラメータを調整しました。
ソリューションに関して、これはAWS内で比較的小規模なフットプリントを持つPOCで、迅速な展開を目指していました。このような種類のプロジェクトでは、通常、SalesforceなどにあるCustomerデータやAlumniデータと連携させたいところです。私たちは適切な数のAlumniデータを抽出し、モデルで使用するためにAmazon S3に格納しました。データを取り込んで処理し、数千件のメールを処理できるようにキューに入れ、LLMに送信し、それらを下部で結合し、その出力をSalesforceに送り返して、Marketing Cloudの機能で最後のパラメータを注入できるようにしました。
右端では、ランダムなサンプリングを実施しました。これは5年周年のキャンペーンだったので、5年ごとのAlumniを対象としています。効果を適切に測定できるよう、それぞれのグループで1500通のAI生成メールと1500通の標準プロセスメールを層別化して送信しました。中央の生成ブロックについて見てみると、これらはデータを受け取るためのPythonコードで書かれたLambda関数です。これについてはすぐ後で詳しく説明しますが、データを受け取り、プロンプトに注入し、LLM（この場合はClaude 3）に送信し、結果を取得し、検証を行い、それらの結果をマージします。
小さなタスクに分割すると非常にうまく機能することがわかりました。例えば、メールの2つの段落を対象とする場合、すべてを1回の実行で処理する必要はありません。時間とともに結果が劣化することがあります。しかし、非常に狭い範囲に分割して - 1つの段落でこれを行い、それを渡し、別の段落で別の特定のことを行う別の呼び出しをする - というように異なるステップで処理すると、非常にうまく機能することがわかりました。
LLMの制約と人間による検証の重要性
このようなプロジェクトでは、LLMに与えるスコープを明確に定義することが非常に重要です。現在のLLMでできることを振り返ってみると、これは実際にはRAGではありません。なぜなら、バックグラウンドでナレッジベースにアクセスしているわけではなく、データを入力して予測的なレスポンスを得ているだけだからです。また、自律的なタスクをあまり与えていないので、厳密にはエージェントシステムでもありません。これは、長年使用してきた予測モデルと同じような使い方をしているLLMなのです：データを入力して、最終的に予測的なレスポンスを得る、というものです。
スコープを適切に定義する必要があります。最上位のオプションとしては、件名、本文、パーソナライゼーション、下部のオプションなど、すべてをAIに書かせる方法があります。これがパーソナライゼーションのない一般的なレスポンスとなります。私たちが望んでいるのは、より良い募金メールの書き方をAIに教えてもらうことです。私たちが注力したのは本文のみのオプションで、パーソナライズされたデータが大きな影響を与えられると考える最も重要な段落を選びました。
周辺部分では、Claude 2を使用して効果的な件名の提案をしてもらい、人間がそれらを確認して選択できるようにしました。また、営業時間の始めや終わりなど、メール配信のタイミングを提案することもできます - これを得意とするAIツールは多くあります。このように、募金プロセスのあらゆる場面でAIを活用する方法を探りました。 募金メールの構造について説明すると、まずトップ部分があります。先ほど述べたように、これは自動的にClaudeに任せるのではなく、私たちが好む件名を選択します。最初の段落は比較的標準的なものになるでしょう。その言葉遣いを大きく変える必要はありません。卒業年などの変数を入れることはできますが、Claudeがすべきことはあまりないので、そこにトークンを無駄遣いしたくありません。
大きな青い段落が本当に重要な部分です。そこでは、在学中の活動、在籍期間、スポーツチーム、そしてLLMに渡すことができるデータについて触れることができます。私たちはここに重点を置き、さらにAIを使って募金額の区分けも考案しました。最後に、7日間の最適なメール配信時期をAIで決定しました。これはAIの非常に賢い使い方だと思います。
ここで、LLMのレスポンスを制約することに相当な時間を費やしました。お気づきかもしれませんが、LLMは非常に饒舌です。出力を短くするように、100語以内にするように、本当に100語以内にするように、何度も指示する必要があります。また、AIは非常に押しが強く、募金メールには不適切かもしれない感嘆符を多用する傾向があります。私たちは興奮した調子で書きたいわけではなく、寄付の説得力のある理由を示したいのです。そのため、取り組んでいるタスクに正確に合うよう、トーンを調整する必要がありました。最後に、AIに与えなかったいくつかの変数をプロセスの最後でSalesforceを使って挿入することができます。
LLMを扱う際、特に自動化された方法で扱う場合、フレームワークを持つことが非常に重要です。このケースでは、プロジェクトのEngagement Leadが、私たちが必要とするすべての機能を備えた優れたフレームワークを見つけ、プロンプトを作成する際にはこれに従いました。これはKyle Balmerから得た一例です。同様の機能を持つフレームワークは多くありますが、一般的に、まずロールを宣言して何をしようとしているのかを示します。特定の要素を含む募金メールを書くという高レベルの指示を与え、その後ステップを1つずつ分解していきます。最終目標には私たちが求める成果を記述します。これは非常に重要で、時々省略してしまいがちな部分です。最後に、範囲を絞り込むということは、文字数を制限し、挨拶文などを入れないようにすることを意味します。フレームワークに従うことで、時間をかけて一貫した応答を得ることができます。私たちは、数千通のメールを可能な限り少ない検証作業で自動化したかったので、最初の段階でこれを正しく設定することが非常に重要でした。
これは非常に興味深く、とてもうまく機能する方法で、私たちはこれをよく行っています - データエンジニアリングや他のソフトウェアエンジニアリングと同じように、条件付きプロンプティングを行うのです。少量のデータや個人化要素を渡し、それをプロンプトに組み込みます。これを数千回繰り返すと、それぞれが独自のデータを持ち、少しずつ異なる反応を示します。例えば、ある人がフェローシップを受けた場合、そのことをメッセージに含め、そのフェローシップが寄付によって可能になったことを思い出させ、今度は自分が貢献できることを伝えます。フェローシップを受けていない場合は、それには触れずに先に進みます。このプロセスでは、様々なデータフラグを使用して、データを適切な方法で個人化し活用することができました。
検証には複数のアプローチがあります。1つは自動化された方法です - 1500通や3000通のメールすべてを読んで問題がないか確認したくはありません。LLMは素晴らしい検証ツールです。応答を得た後、最終結果として統合する前に、その応答を指示とデータと共に独立したLLMコールに送り返し、期待通りに機能したか、指示に従ったかを確認できます。そのプロンプトはYes/Noの回答が得られるように構造化できます。この場合、合格または不合格のフラグを得ました。LLMは時々幻覚を見て、一定の割合で奇妙な応答を返すので、それらをすべて捕捉したいと考えました。次に人による検証があります。私たちは不合格となったものすべてを検証し、何が問題だったのか、最初のプロンプトを調整してその数を減らせるかを理解しようと多くの時間を費やしました。また、合格したものの一部も人手で検証し、合格した場合のすべての出力に問題がないことを確認しました。
これは人による検証に非常に効果的だと思われる方法です。人間はLLMよりもさらに検証の一貫性が悪いものです。
フレームワークについて言えば、人間はLLMよりも検証の一貫性が悪く、特に複数の人が関わる場合、これらの各項目を評価する一貫した方法を持つことが非常に重要です。このフレームワークは私たちのプロジェクト後に公開されたものですが、人による検証で私たちが実際にうまくいったと感じた多くの要素が含まれているため、気に入っています。まず第一に品質です - これは質の高い応答でしょうか？LLMは指示に従いましたか？LLMは理解し、応答は理解可能でしょうか？スタイルは適切ですか？感嘆符が多すぎませんか？押しつけがましすぎたり、冗長すぎたりしていませんか？安全性や有害性について考慮すべき点はありますか？例えば、ユーモアを試す場合、これは非常に重要な問題となる可能性があります - 一部のジョークは広い読者層に向けて発信すべきではないかもしれません。今回のケースではそのような問題はありませんでしたが、人間として検証し、私たちの基準を満たしているかを確認することは非常に重要です。そして最後に、このソリューションを信頼してメールを送信できるかどうかを判断します。
プロジェクトの成果と今後の展望
驚くべきことに、最初のテストで非常に良い結果が出ました。これらの結果を見ていくと、注目すべき点として、最初にAIプロセスで1500通、標準プロセスで1500通の合計3000通のメールからスタートし、その数が急激に減少していきます。例えば、メールの開封率は非常に高い数字で、19%という反応は素晴らしい結果だと確信できます。最終的に132%の募金額の増加まで到達しましたが、これらは比較的小さな数字です。これは非常に小規模なテストでしたが、投資に見合う結果が得られるという確信を得るために実施し、今後より大規模に展開する価値があることを確認できました。
小規模な数字と言えば、私たちの日常生活や仕事にAIを導入し始めるにつれて、人々がAIにどのように反応するかを見るのは興味深いと思います。例えば、より大規模な研究で、私の世代が寄付に関して非常に寛大で、AIに対して本当に良い反応を示すとか、2019年の最近の卒業生はAIにしか反応しないといった結果が出るかもしれません。まだそれを裏付ける数字はありませんが、これらのツールを導入していく中で、人間がどのように反応するかを追跡するのは非常に興味深いと思います。
得られた教訓について考えると、 Amazon Bedrockと多くのAWSサービスを、既存のSalesforce Marketing Cloudのプロセスと統合することができました。既存のプロセスを取り除く必要はなく、AIをシームレスに組み込むことができました。最初のテストとして、彼らのセキュアなAWS環境内で純粋に実行することができました。これは非常に重要で機密性の高い同窓生データなので、細心の注意を払う必要がありました。最初から全員に送信することはできないため、次のステップに進むための十分な確信が得られる程度の規模を選択しましたが、この最初のテストで予算をオーバーすることはありませんでした。
このような新しいプロセスを構築する際には、トレーニングや追加のサポート要請、プロセスの導入に多くの時間を費やします。例えば、人による検証に多くの時間を要することがありますが、従来の募金メールのプロセスでは必ずしもその検証ステップは必要ありません。また、セキュアなSalesforce環境に深く立ち入ることを避け、代わりにクライアントと協力してSalesforceでの作業を直接行ってもらいましたが、これには多くの時間がかかりました。しかし、これらのシステムを統合できれば、その負担は時間とともに減少していきます。
今後の展開については、この結果は十分に有望だったため、確実に継続していきたいと考えています。このシステムで他に何ができるかを探求していきたいと思います。今回は募金プロセスのかなり狭い部分に焦点を当てましたが、これをさらに発展させられる証拠が多くあります。AIやMachine Learningを活用する新しい機会を見出し、さまざまな手法を試して、募金プロセスを加速し、より効率的にしていきたいと考えています。また、学校が長期的に発展できるよう、寄付金を継続的に増やしていくことも目指しています。セッションにご参加いただき、皆様の積極的な関与に深く感謝いたします。ありがとうございました。
※ こちらの記事は Amazon Bedrock を利用することで全て自動で作成しています。
※ 生成AI記事によるインターネット汚染の懸念を踏まえ、本記事ではセッション動画を情報量をほぼ変化させずに文字と画像に変換することで、できるだけオリジナルコンテンツそのものの価値を維持しつつ、多言語でのAccessibilityやGooglabilityを高められればと考えています。
Discussion