Zenn
松尾研究所テックブログ
🎄

arXivから2024年のLLMトレンド追ってみた

shige
2024/12/19に公開
arXiv
LLM
tech

はじめに

こんにちは、株式会社松尾研究所 シニアデータサイエンティストの清水です。本記事は、松尾研究所 Advent Calendar 2024の記事です。

2024年も残り僅かとなりましたが、今年もLLM(Large Language Model)で大賑わいの1年となりました。そこでこの記事では今年1年の中でarXivに投稿されたLLMに関する論文を分析した結果を紹介します。

サマリー

  • 2024年(12/16現在)ではLLMに関する論文が16,503本もarXivに投稿されています
  • 音声認識や画像認識などのマルチモーダル化や、推論能力向上などモデルの広がりと深化が進んでいます
  • 一方、実社会への応用を目指した効率化も進みLLM技術のさらなる発展と取り組みが期待されています

カテゴリ分析

arXiv apiでは様々な情報が取得できます。今回はid, title, summary, categoriesを取得した上で分析をしています。
categoriesはこちらの分類を参考に[分野].[サブカテゴリ](例. cs.AI: Computer ScienceのArtificial Intelligence)のような形式で表現されます。1つの論文は複数のカテゴリーに属することも出来るため、カテゴリーの頻度順に分析しております。

今回はarXiv APIで検索する際にキーワードとしてLLMを入れて実施しています。
LLMがキーワードとして入っている論文は全体で16,503本も投稿されていました。

その中で上位5つのカテゴリは以下のようになっております。Computer Vision系も全体の10%弱ほど占めていることも特徴的かと思われます。

cs.CL(Computation and Language)                      10,368
cs.AI(Artificial Intelligence)                        8,235
cs.LG(Machine Learning)                               4,589
cs.CV(Computer Vision and Pattern Recognition)        1,409
cs.SE(Software Engineering)                           1,073

また全体としてはカテゴリの頻度はこちらのようになっております。

Computer Science以外の分野の頻度としては下記の順位で並んでいます。

eess.AS(Audio and Speech Processing): 276
I.2.7(NLP): 215
stat.ML(Machine Learning) 183
eess.SY(Systems and Control): 89
68T50(NLP): 66

こちらの結果は、音声処理や音声認識分野におけるLLMの活用が活発になっていることを示唆しております。また、統計的機械学習の観点からもLLMを研究を行っていたり、LLMを組み込んだシステム制御の話も論文投稿がされているようです。

トピック分析

続けて、論文のtitleとsummaryからトピックを抽出するためにトピックモデリングの代表的な手法であるLatent Dirichlet Allocation(LDA)を使用します。
LDAについてはscikit-learnを用いており、使い方などはこちらの公式ドキュメントを参照ください。

一般的なstopwordsに次のような語句も加えた前処理を行ったのちに、今回は8つのトピックを抽出しています。

custom_stops = {
        # 一般的なLLM関連用語
        'model', 'models', 'language', 'large', 'llm', 'llms',
        # 一般的な研究用語
        'paper', 'using', 'based', 'method', 'methods', 'approach', 
        'propose', 'proposed', 'show', 'shows', 'perform', 'performance',
        'data', 'dataset', 'datasets', 'results', 'study', 'studies',
    }

抽出したトピックはこちらです。

Topic 1:
text, visual, multimodal, understanding, image, video, tasks, semantic, speech, information, languages, images, features, mllms, detection

Topic 2:
training, learning, tasks, across, translation, parameters, however, instruction, demonstrate, tuning, experiments, task, various, time, efficient

Topic 3:
code, evaluation, safety, bias, attacks, generation, detection, prompts, test, prompt, software, across, benchmark, biases, attack

Topic 4:
knowledge, inference, memory, medical, graph, clinical, attention, quantization, decoding, efficient, compression, editing, tokens, accuracy, context

Topic 5:
potential, analysis, challenges, user, applications, development, social, future, learning, intelligence, design, users, comprehensive, insights, human

Topic 6:
generation, retrieval, information, knowledge, rag, search, queries, prompt, query, generate, context, documents, generated, relevant, however

Topic 7:
agents, human, agent, alignment, learning, feedback, preference, tasks, planning, optimization, reward, user, preferences, complex, task

Topic 8:
reasoning, tasks, knowledge, questions, evaluation, benchmark, human, capabilities, question, prompting, ability, problems, evaluate, task, complex

この結果から2024年のLLM研究の主要トピックを解釈します。

  • Topic1: マルチモーダル
    • テキスト、画像、音声、ビデオなどを統合的に扱う
    • キーワード: multimodal, image, video, speech, visual, mllms
    • (考察)言語だけでなく、音声認識や画像認識などの複数のモダリティを理解・処理できるような開発が加速される
  • Topic2: 学習・訓練方法
    • モデルの効率的な学習方法やパラメータ調整など
    • キーワード: training, learning, efficient, tuning, instruction
    • (考察)instruction tuningやモデルの学習の重要性は継続され、efficientという単語からも効率的な利用も課題となっていることが反映されている
  • Topic3: セキュリティと品質保証
    • 安全性、バイアス、攻撃に関する研究
    • キーワード: safety, bias, attacks, evaluation
    • (考察)LLMの実用化に伴い、脆弱性やデータのバイアスへの懸念が高まっていることが示唆されている
  • Topic4: 効率化と医療応用
    • 医療分野での応用と技術的効率化
    • キーワード: medical, clinical, quantization, compression
    • (考察)医療診断支援などの専門分野での実用化に向けて、高精度化と効率化の両立が進められている
  • Topic5: 社会的影響と応用
    • LLMの社会実装と影響に関する研究
    • キーワード: social, applications, users, development, design, human
    • (考察)実社会でのLLM活用に向けて、ユーザー体験の向上や社会的影響の評価が活発化
  • Topic6: RAG(Retrieval Augmented Generation
    • Retrieval Augmented Generation (RAG)関連研究
    • キーワード: retrieval, rag, search, queries
    • (考察)実装が進んでいるRAGにおいてもまだまだ効果的な活用や研究も盛んになっている
  • Topic7: AIエージェント
    • エージェント開発とアライメント
    • キーワード: agents, alignment, feedback, preference
    • (考察)人間の意図や選好を適切に理解/反映できるようなAIエージェントの開発が注目されている
  • Topic8: 推論能力向上
    • LLMの推論能力の向上と評価
    • キーワード: reasoning, capabilities, evaluation, benchmark
    • (考察)より高度な思考能力の実現と客観的な評価への取り組みがさらに進んでいくと思われる

最後に

ちょうど現在もOpenAIから毎日情報が更新されていたり、LLM・生成AIは研究も実運用もさらに進み2025年もトレンドをさらに追っていく必要があると感じています。
松尾研究所ではLLMをはじめとした生成AIの研究開発やプロダクト化も進めており、データサイエンティスト含め様々な職種を募集しています。少しでも興味持っていただけた方は下記リンクからさらに知っていただけると幸いです！

松尾研究所テックブログ
松尾研究所テックブログ

株式会社松尾研究所のテックブログです。

Discussion