【JDLA Generative AI Test 対策】参考にした文献まとめ
はじめに
この記事は「JDLA Generative AI Test」のための記事です。
シラバスの用語を理解するために「参考になりそうな文献」を紹介します。
本記事の執筆時点では、試験が開催されていませんでした。
あくまで自分が勉強のために参照した記事の紹介です。ご了承ください。
JDLA Generative AI Test とは
「JDLA Generative AI Test」日本ディープラーニング協会が主催する生成AI活用知識確認のためのテストです。
第一回は、2023年6月24日(土)にオンラインで開催されます。
公式サイト
以下、「JDLA Generative AI Test 2023」のシラバスより引用します。
用語を理解するために参考となる記事を紹介
生成AIの技術
テキスト、画像、音声等の生成モデルに共通する技術的な特徴を俯瞰して理解している。
◾️確率モデル
「確率モデル」はChainerのチュートリアルでの解説が丁寧でわかりやすいです。
◾️ハルシネーション (Hallucination)
Wikipediaの説明がわかりやすかったです。
大規模言語モデルの基本構造を理解している。
◾️基盤モデル
基盤モデルの解説スライド。
初出の論文や例の説明があり、わかりやすい。
◾️言語モデル
◾️大規模言語モデル (LLM)
「言語モデル」とは、文章の並び方に確率を割り当てる確率モデルです。
大規模言語モデル（Large Language Models、LLM）とは、非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルです。
参考：大規模言語モデル
◾️トランスフォーマー (Transformer)
◾️アテンション (Attention)
わかりやすい論文解説記事
◾️GPT-3
「GPT-3」は、Generative Pre-trained Transformer 3の略。
特徴
・ファインチューニングを必要としない言語モデル
・パラメータ数は1750億個
わかりやすい解説記事。トランスフォーマーやアテンションにも言及されている。
大規模言語モデルにおけるモデルの学習方法を理解している。
◾️教師あり学習
◾️自己教師あり学習
「JDLA Generative AI Test」対策では、自己教師あり学習の代表例が「次の単語を予測する」ということを抑えておきたいです。
自己教師あり学習の解説記事
◾️事前学習
◾️ファインチューニング
「（イベントレポート）JDLA緊急企画！「生成AIの衝撃」〜ChatGPTで世界はどう変わるのか〜」の「ファインチューニング」を確認しておくのが良さそうです。
大規模言語モデルのアラインメントを理解している。
◾️アラインメント (Alignment)
アライメントとは、LLMが生成するテキストが、人間の意図や価値観に沿っているかどうかを評価し目的に適合させる手法のこと。
参考：「LLMを制御するには何をするべきか？」
◾️人間のフィードバックによる強化学習 (RLHF)
アラインメントを高めるために有効な手段が、RLHFとされている。
参考：「ざっくりわかるRLHF（人間からのフィードバックを用いた強化学習）」
◾️インストラクション・チューニング (Instruction Tuning)
「LLMをゼロからトレーニングするためのベストプラクティス」が参考になりました。
大規模言語モデルにおける生成の仕組みを理解している。
◾️コンテキスト内学習 (In-Context Learning)
"Language Models are Few-Shot Learners", 2020
https://arxiv.org/abs/2005.14165
◾️Zero-Shot, Few-Shot
「プロンプトエンジニアリングガイド」が参考になります。
◾️サンプリング手法
代表的な「top_p」について理解しておくと良いと思われます。
テキスト、画像、音声等の生成モデルの技術動向を俯瞰して理解している。
条件付き生成、拡散モデル (Diffusion Model)
参考にした記事
大規模言語モデルのオープン化の動向と原因について理解している。
オープンコミュニティ、オープン大規模言語モデル、オープンデータセット、オープンソース
この記事が参考になりました。
大規模言語モデルの性能を決める要素の動向と原因について理解している。
スケーリング則 (Scaling Laws)、データセットのサイズ、データセットの質、モデルのパラメーター数、計算資源の効率化、GPU
「JDLA緊急企画！「生成AIの衝撃」〜ChatGPTで世界はどう変わるのか〜」の「スケーリング則」を確認しておくのが良さそうです。
大規模言語モデルのマルチモーダル化の動向と原因について理解している。
マルチモーダル
参考にした記事
大規模言語モデルの外部ツール・リソースの利用の動向と原因について理解している。
学習データの時間的カットオフ、大規模言語モデルの知識、大規模言語モデルの不得意タスク
例えばChatGPTのカットオフは「2021年9月」です。
生成AIの利活用
生成AIには何ができるのかを理解している。
◾️ケイパビリティ
テスト対策の観点では、ChatGPT等のサービスで、何ができて何ができないのかを確認しておくのが良いと思われます。
生成AIをどのように使うのかを理解している。
◾️活用事例
活用事例は無数にあるので、特に有効な活用事例を確認しておくのが良いと思われます。
参考「ChatGPTなどで使える文例集」
生成AIの性能を拡張する使い方を理解している。
◾️プロンプトエンジニアリング
「プロンプトエンジニアリングガイド」で解説されています。
生成AIの新たな活用方法を生み出すためのアプローチを理解している。
◾️ハッカソン、自主的なユースケース開発、インターネット・書籍、活用の探索
自分なりにアプローチを理解していればOKだと思います。
生成AIの活用を制限する要因を理解している。
◾️生成AIの学習データ、生成AIの性能評価、生成AIの言語能力
例えば、ChatGPTの学習の流れを抑えておくのが良いと思われます。
業界に特化した生成AIの活用方法を理解している。
◾️ChatGPT・Bard
ChatGPTとBardの違いを整理しておくと良いと思われます。
◾️広告クリエイティブへの応用、ドメイン固有
EmbeddingやFine-Tuningを理解しておくと良いと思われます。
生成AIのリスク
生成AIが、技術面・倫理面・法令面・社会面などで多様なリスクを孕むことを理解している。
◾️正確性、ハルシネーション (Hallucination)
ハルシネーションについては上記に記載しました。
◾️セキュリティ、公平性、プライバシー、透明性
セキュリティについては、こちらのブログ記事が参考になりました。
公平性については、こちらのブログ記事が参考になりました
生成AIの入力（データ）と出力（生成物）について注意すべき事項を理解している。
◾️著作権、個人情報、機密情報、商用利用、利用規約
「JDLA公開 生成AIの利用ガイドライン」で言及されています。
生成AIについて、現時点では認識されていない新たなリスクの出現とそれに伴う規制化の可能性を理解している。
◾️新たなリスク、規制化、情報収集
自分なりの理解と情報収集方法を整理しておくのが良いと思われます。
生成AIの活用に伴うリスクを自主的に低減するための方法を把握している。
◾️自主対策
ユーザーとしてのリスク低減と、開発者としてのリスク低減を整理しておくのが良いと思われます。
以上です。
Discussion