はじめに
こんにちは、ナウキャストで LLM エンジニアをしている Ryotaro です。
2025 年 3 月 10 日から 3 月 14 日まで出島メッセ長崎で開催されていた、言語処理学会第 31 回年次大会（NLP2025）に参加しました。
言語処理学会は年に一回開催される学会であり、NLP 系の学会では日本では最大規模です。研究者だけでなく企業の方も参加しており、昨今の LLM の発展により学会に参加する参加障壁が低くなったこともあり、発表者は増加していて今年はなんと過去最大の 777 件の発表数だったそうです。去年が 599 件、一昨年が 579 件なので、LLM の発展により発表者が増えていることがわかりますね。
初日は招待講演やチュートリアル、企業ブースの展示がメインで、真ん中の三日間では、各分野ごとに学会に提出した論文の口頭発表やポスター発表が主に行われました。最終日にはワークショップという形でテーマを設けて研究者の方が議論するイベントも行われていました。
本記事では、学会に参加した目的や感想、記憶に残った発表について紹介します。
参加の目的
ナウキャストでは現在、LLM（大規模言語モデル）を活用したサービス開発に取り組んでいます。日々新しい技術が登場し、めまぐるしく進化する NLP 分野の中でも、特に LLM は進展が著しいため、最新の研究動向を追いかけることはサービスの品質向上に欠かせません。
LLM を実際のサービスに応用する際には、最新の研究成果を積極的に取り入れて精度を改善したり、機能を拡張したりといった試みを頻繁に行っています。そのため、学術的な成果にとどまらず、企業が実務経験を踏まえて発表するノウハウや事例も大変参考になります。
今回参加した言語処理学会の年次大会（NLP2025）では、モデル構築そのものに加えて、プロンプトの最適化やデータセット作成のノウハウといった実践的なテーマも数多く発表されており、サービス開発者として非常に有益な情報を得ることができました。
こうした最新の知見や手法を素早く現場のサービスに取り入れられるのは、LLM 分野ならではの大きな魅力だと感じています。
slack によるコミュニケーション
NLP 2025 では、参加者限定 Slack ワークスペースが用意されていました。ここに発表やオンライン参加の際に必要となる Zoom の URL，事前提出資料（口頭発表・ポスター発表の発表資料の PDF ファイル）など，参加者限定の情報が共有され、発表時には発表者とのコミュニケーションが取れるようになっており、質疑応答や議論などが活発に行うことができます。
この仕組みはとてもよくできていて、発表者とのコミュニケーションが取れるのはもちろん、発表者の方が質問に答えるときには、質問したい人が質問できるようになっています。あまり国内の他のイベントでは使われていないようなので、このようなコミュニケーションを取りやすい仕組みはとても良いですね。
発表の内容
大会のプログラムは以下の通りです。同時に異なる分野の発表が行われており、全てを聴講することは難しかったので、LLM に関する発表を中心に聴講しました。
当然と言えば当然ですが、LLM 以外の純粋な NLP の発表もありましたが、プログラムのタイトルを見ても LLM に関するものが多かった印象です。
チュートリアル: 言語モデルの内部機序：解析と解釈（T1）
発表者（敬称略）
- Benjamin Heinzerling （理化学研究所／東北大学）
- 横井 祥 （国立国語研究所／東北大学／理化学研究所）
- 小林 悟郎 （東北大学／理化学研究所）
内容
チュートリアルとして、「言語モデルの内部機序：解析と解釈」というタイトルで発表が行われていました。これは LLM の挙動の理解において、input と output を見るだけでは限界があり、その内部がどのようなパラメータ空間になっているか（内部表現）、どのような処理が行われているか（計算）、それぞれどういう意味を持っているか（意味付け）を理解することが重要であるという内容です。
内容としては非常に面白くいくつかピックアップすると、ゴールデンゲートブリッジ特徴というものがあり、一部の活性化空間を強く反応するようにすると、ゴールデンゲートブリッジの話題や画像を選択的に反応するようになるという性質があります。「あなたはどういう身体を持っているか」という質問に対し、通常は「人工知能のため身体を持っていない」と回答しますが、先の場合「我こそはゴールデンゲートブリッジなり」と回答するそうです。
ゴールデンゲートブリッジ特徴: https://speakerdeck.com/eumesy/analysis_and_interpretation_of_language_models?slide=9
また、LLM の一部のヘッドと呼ばれる部分の出力は入力テキストが「事実」か「誤り」かを判別する情報を含んでいることもわかっており、この部分をより正しいベクトルになるように調整するとハルシネーションを抑えることができるとのことです。
事実性を司る注意ヘッド: https://speakerdeck.com/eumesy/analysis_and_interpretation_of_language_models?slide=101
感想
LLM の内部構造についてのとても興味深い内容が満載でした。有名大学の教授の方ということもあり説明が分かりやすく、全体像としては非常に理解が深まりました。
Large vision language model を用いた非構造化データの抽出（C3-3）
発表者（敬称略）
- 株式会社リクルート
- 株式会社ビーンズラボ
- 江上 尚志, 中田 百科, 福地 鈴佳, 久保田 茉莉花, 山根 大輝, 薬師寺 政和
内容
こちらの発表は、LLM を用いた飲食店のメニュー表に対する非構造化データの抽出についての発表です。
OCR と LLM を組み合わせた従来の手法から LVLM（Large Vision Language Model）を用いた新しい手法を提案していて、結果としては、カテゴリの理解には LVLM が優れることがわかったが、料理名の抽出は OCR + LLM の方が高精度であるという結果が出ました。また縦書きに対してはどの手法でも精度が落ちるという結果が出ています。
OCR + LLM と LVLM の比較: https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/C3-3.pdf
感想
単純な表構造ではなく、手書き文字やレイアウトがバラバラなメニュー表に対して、LVLM を用いた新しい手法の方が良いとのことですね。非常に実践的な内容で、LLM を用いたサービス開発においても有益な情報を得ることができました。
株式掲示板テキストを活用したリターン予測における独立成分分析を利用した解釈性の向上（E6-4）
発表者（敬称略）
- 一橋大学
- 中島秀太, 欅惇志, 渡部敏明, 小町守
内容
株式掲示板におけるテキストデータを用いたリターン予測における独立成分分析を利用した解釈性の向上についての発表です。
掲示板のテキストを embedding して得られるベクトルを独立成分分析（ICA）により 16 次元に圧縮し、その後予測に用いるというとてもシンプルな手法です。
データは日経 NEEDS ティックデータと yahoo ファイナンスのコメントデータを用いています。
結果としては金融変数のみ・文章埋め込み の場合は非効率、独立成分は高効率ということが判明しました。
独立成分分析の結果: https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/E6-4.pdf
会場からの質問として、テキストデータに関して、t-2 から t-1 のものを合計しているため短期的な影響だけではなく、長期的な影響を調べるということができるのではないかという質問が出されていました。
感想
文章埋め込みを説明変数として利用するという手法が個人的にはあまり馴染みがなかったので、このような手法もあるのかと驚きました。確かに文字や文章の意味を捉えることができるのであれば、それを用いて予測するというのは理にかなっていると思いますが、直接的にそれがリターンにつながるか、予測の変数として活用できるかはもっと文章埋め込みの表現理解を深める必要があるのかなと思いました。とはいえ非常にシンプルな手法であり面白いと思いました。
大規模言語モデルを用いた Few-Shot プロンプティングによる J-REIT の投資物件に関する表構造認識（E7-2）
発表者（敬称略）
- 株式会社日本取引所グループ, 東京大学大学院 工学系研究科
- 土井 惟成
- 株式会社 JPX 総研
- 田中 麻由梨
内容
J-REIT の有価証券報告書を構造化データに変換するという発表です。
このドキュメントはフォーマットが統一されていない、かつ XBRL によるタグが付与されていないことが多いことが課題となっており、これを解決するために LLM を用いた表構造認識を行っています。
J-REIT の有価証券報告書: https://www.anlp.jp/proceedings/annual_meeting/2025/pdf_dir/E7-2.pdf
手法としては、
- Zero-Shot プロンプティング（ベースライン）
- 先行研究を踏襲し，サンプルは一切提示せずに変換を指示する．
- Few-Shot プロンプティング（異なる J-REIT）
- 変換対象とは異なる J-REIT の表をサンプルとして提示し，その HTML データと正解の JSON 形式の構造化データの対応関係を LLM に指示する．
- Few-Shot プロンプティング（同一の J-REIT）
- 変換対象と同一の J-REIT の表をサンプルとして提示し、その HTML データと正解の JSON 形式の構造化データの対応関係を LLM に指示する．
という手法を用いており、結果は
- 異なる J-REIT だと精度は 60%程度、同一の J-REIT だと 98%
という結果が出ました。few-shot が精度向上にかなりの効果があることがわかります。
感想
有価証券報告書などの IR ドキュメントを構造化データに変換するというのは、弊社サービスでもやりたいことです。非常にシンプルな手法であり、これを実装してみたいと思いました。
全体を通しての感想
実は私は LLM エンジニアとして働いていますが、大学で AI 関連の研究室に所属していたわけではなかったので専門的な知識はなく、今回のような学会に参加するのは初めてでした。
普段は LLM をどう使うか、どうしたら回答が改善するかなどの応用ばかりに目が行きがちで、根本的に中身がどうなっているかについてはほぼ理解せず過ごしてしまいます。こういった場で研究発表を聞くと基礎研究の深さ、重要性がよくわかりました。
一方で LLM を使った実務よりの発表では割と身近な例が多く、特に金融系の分野ではまだあまり LLM の活用が部分的で、まだまだ発展途上であると感じました。弊社のような fintech 企業としてはこの分野で切り込んでいくチャンスなので、来年以降は発表者として参加できれば嬉しいなと思います。
We are Hiring!
この件についてもっと詳しく知りたい、議論したい、はたまたナウキャストという会社に興味を持ったという方は、カジュアル面談フォームから連絡ください。その際に「言語処理学会（NLP2025）に行ってきました！」と書いていただければ幸いです！
Discussion