📝

YANS2025 in 浜松 参加報告

に公開
NLP
conference
LLM
yans
SFT
idea

はじめに

東京電機大学 M1 の関口 正登です．
2025年9月17日〜19日にアクトシティ浜松で開催された第20回 言語処理若手シンポジウム（YANS2025）に参加し，ハッカソンとポスター発表を行いました．
初日はハッカソン，2・3日目はポスター中心のプログラム構成でした．

本記事では，（1）ハッカソンの取り組み，（2）ポスターセッションでの学び，（3）自分の発表の要旨と議論，（4）交流の様子をまとめます．

ハッカソン（SFTトラック）

課題は小学生レベルの算数タスクをLLMに解かせることで，ベースモデルを教師ありファインチューニング（Supervised Fine-Tuning; SFT）した後の正解率を競いました．
評価は提出文字列の末尾に現れる数字列を答案とみなす方式です．
学習データは最大500サンプルまで，ベースモデルはSakanaAI/TinySwallow-1.5Bです．
また，データを作成するためにgpt-4o-miniのAPI keyを利用しました．

自分のチーム（チーム5）のアプローチ

  • データ作成：配布データ500件から低品質例を人手で除去．さらにgpt-4o-miniで各問題の思考過程（Chain-of-Thought; CoT）を生成して追加しました．
  • SFT：「問題文＋CoT指示文」→「CoT本文＋最終解答」 の対でSFTしました．
  • 結果：リーダーボード1位と0.02%（1問）差で惜敗し賞は逃したものの，運営委員特別賞をいただきました．
  • 学び：SFTの実戦経験を通じてCoTの有効性を再確認しました．限られた回数・サイズ制約下では，データ吟味と一貫した出力フォーマット設計が効くと感じました．

ポスターセッションでの学び

会期中は，自分の関心であるLLMの解釈可能性（interpretability）に関する発表をいくつか見かけました．
その中には，自分の研究内容であるSAE(Sparse Autoencoder)やActivation Steeringに限らず，多様なアプローチが試みられていました．
特に，LLM内部の回路の解析やニューロンレベルの分析などの発表が非常に興味深い内容で，解釈可能性に関する研究の潮流を感じることができました．

自分のポスター発表（S5-P48）

タイトル：大規模言語モデルにおけるActivation Steeringの検討
著者：関口正登，石垣龍馬，前田英作（東京電機大学）

要旨
LLMの中間活性ベクトルを推論時に編集して出力を制御する手法である，Activation Steeringの全体像を俯瞰し，新しい手法を提案する．代表的な手法であるActAdd/ITI/SAEを説明した後，ベクトルの作り方/介入場所/介入方法の3軸で整理する．さらに，現在の課題を提示し，解決するためのモデル：Route-Switch SAEを提案する．

当日のフィードバック・議論

  • 層・トークン位置でのルーティングは他手法と差別化されており，上手く実装できたらインパクトがありそう．SAE系なので本体のSAEが上手く学習できれば，各タスクで個別にactivation vectorを学習しない運用も見込める．
  • Activation Steeringの適用先（タスク選択）やプロンプト設計が難所になりやすい．
  • まずは1B級モデル・一部の層のみでのミニマムな検証が妥当．段階的にスケールを上げていくべき．

次のアクション

  • Route-Switch SAEのPoC実験（1B級モデル・数層から着手）
  • 評価系の整備（タスク妥当性・オフターゲット影響・文脈依存度の定量化）

交流

本研究会を通じて，同分野の研究者との交流が複数生まれました．
現在就職活動中であることもあり，NLP研究に取り組む企業の方々から研究やキャリアについて具体的なアドバイスをいただけたのは大きな収穫でした．
スポンサーブースや交流企画も充実しており，研究と実装の橋渡しに関する現場の課題感を共有できました．

おわりに / 謝辞

運営委員・スポンサー各社，ポスター・ハッカソンで議論いただいた皆さまに感謝します．
本参加はYANS2025旅費補助の支援を受けて実現しました．

Discussion