NotebookLMでオンラインイベントを評価してもらう
airpocketM5Stack LLM 座談会 #02 での中心的な技術的課題、進歩、将来的な方向性は何ですか？
M5Stack LLM座談会 #02における中心的な技術的課題、進歩、将来的な方向性は、以下の通りです。
•ローカルLLMの活用と性能向上：
◦M5Stack社が出したLLM用モジュールを使用し、ネットなしで手のひらの上で動くローカルLLMチャットコンピュータ「LLMCardputer」が紹介されています。
◦AXERA社のAX630Cチップを搭載したModule LLMを使用し、大規模言語モデルが利用可能になっています。ただし、大規模言語モデルの使用は難しいようです。
◦NPU（Neural Processing Unit）を活用してニューラルネットワークの処理を高速化しています。NPUでの推論はCPUでの推論に比べて80倍から180倍高速になることが示されています。
◦課題：LLMの反応でnullが出やすい、エラーコードが不明 。
ハードウェアとソフトウェアの融合：
◦M5CardputerとModule LLMを組み合わせたLLMCardputerの作成方法が紹介されています。
◦課題：Module LLM基板をケースに入れるために、ニッパーやカッターでケースを加工する必要がある 。超音波カッターの使用が推奨されています。
◦課題：IR LEDが外れるとCardputerの画面がずれる問題が発生する。
◦CardputerとLLM Moduleを接続するために、M-BUSピンからGROVEコネクタを生やす方法が提案されています。
•AIサービスの統合とカスタマイズ：
◦AI StackChan Exは、ChatGPTやModuleLLMなどのLLM、Google Cloud STTやModuleLLM ASRなどのSTT、VOICEVOXやModuleLLM TTSなどのTTSを組み合わせたAIサービスを利用可能です。
◦ChatGPTのFunction Callingやgpt-4oへのカメラ画像入力も可能です。
◦課題：ModuleLLM ASRとTTSは、現在は英語と中国語のみ対応。
◦課題：応答のテキストが細切れで返ってくるため、結合する必要がある。
•開発環境の整備と効率化：
◦UIFlow2やArduino IDEなどの開発環境が利用可能です。
◦StackFlowは、ネットワーク越しにLLMシリーズを利用するためのフレームワークとして紹介されています。
◦Pulsar2ツールが、onnxモデルをaxmodelに変換するために使用されています。
◦課題：AXDLツールがWindowsのみで利用可能。
◦課題：APIの仕様が不明確、応答がない、エラーが異なるなどの問題。
•コミュニティとエコシステムの拡大：
◦M5Stack LLMに関する情報共有や意見交換が活発に行われています。
◦LLM Moduleのアドベントカレンダーが作成され、多くの記事が集まりました。
◦ユーザーによる3Dプリント済みケースの提供や、公式の開発開始が示唆されています 。
これらの情報から、M5Stack LLM座談会 #02では、ローカルLLMの性能向上、ハードウェアとソフトウェアの融合、AIサービスの統合、開発環境の整備、そしてコミュニティの拡大が中心的なテーマであったと考えられます。
LTのどのあたりが盛り上がっていたか教えてください
LT（ライトニングトーク）で盛り上がっていた点について、複数の情報源から詳細をまとめました。
•LLMCardputer の登場:
◦M5CardputerとModule LLMの融合により誕生したLLMCardputer。
◦1分でわかるLLMCardputerの作り方。
◦ケースの加工：ニッパーやカッターを使ったケースの加工、超音波カッターの使用が推奨された。
◦はんだ付け：Cardputerとの接続。
◦プログラミング：サンプルコードのコピー＆ペーストによる簡単なプログラミング。
•Module LLM の活用:
◦M5Stack LLMモジュールが、AIチップを開発しているアクセラ社の製品であることが紹介された。
◦NPUの利用による高速化。
◦課題：LLMの反応でnullが出やすい。
◦解決策：2、3回起動するか、デベロッパーブランチを使用。
•AI スタックチャンの実装:
◦Module LLMによるAIスタックチャンの実装。
◦AI StackChan Exの概要と使用例。
◦システム概要：M5StackのコアとModule LLMをUARTで接続した構成。
◦課題：ASR（自動音声認識）とTTS（テキスト音声合成）が英語と中国語にしか対応していない。
•技術的な問題解決とTips:
◦Module LLMの音声入力に関する問題。
◦16ビット量子化時に音声が半分になる現象とその解決策。
◦解決策：dwc_ssi.cの修正。
◦提案：24ビットまたは32ビットでの録音。
•AXERA 社:
◦M5Stack LLMモジュールの心臓部であるNPU付きのSOCを開発。
•その他 * M5Stack Core 2 への LLM Module の取り付けに関する情報交換。
*願望：メモリ8GBほしい。
- LLM630は割と売れたらしいから、工事設計認証版出ると期待。
- 注意：M.2 のNVMeと電源配置が違うので最悪燃える。
これらの情報から、LLMCardputerの作成、Module LLMの活用、AIスタックチャンの実装、技術的な問題解決、AXERA社への期待などが特に盛り上がっていた様子がうかがえます。
spatialchat会場とyoutubeで盛り上がるポイントに違いはありましたか
spatialchat会場とYouTubeで盛り上がるポイントには、いくつかの違いが見られました。
SpatialChat会場での盛り上がりポイント:
•技術的な課題：
◦LLM630に関する話題。
◦AXDL解析への関心。
◦microSDからのOS起動に関する議論。
◦Function Callingモデルの実行に関する話題。
•参加者間の交流とユーモア：
◦参加者同士がSpatialChatの機能を使い、距離に応じて聞こえ方が変わることを楽しんでいた。
◦チャットでのユーモラスなやり取りや、質問に対する大喜利的な回答が見られた。
◦"あなたは実は OpenAI ですよね？" という質問に対して、AIが「invalid UTF-8 byte」と答えてしまう場面など、予想外の反応が笑いを誘った。
•具体的なTipsや情報共有：
◦AXDLを動かした際のパケットキャプチャ情報。
◦main_prefillに関する情報。
◦mem_cmm_infoに関する情報共有。
•VLM（Vision Language Model）の実行デモに対する驚きと賞賛。
YouTubeでの盛り上がりポイント:
•発表内容への賞賛と共感：
◦LT（ライトニングトーク）での発表に対して、**「888888」などの拍手や賞賛のコメントが多数寄せられた。
◦発表内容への共感や、「入門向けありがたい」**といったコメントが見られた。
•技術的な詳細への関心：
◦IR LEDに関するコメント。
◦buildrootに関するコメント。
◦VLMに関するコメント。
•製品への関心：
◦M5Stack製品への関心を示すコメント。
相違点まとめ：
•SpatialChat：より技術的な議論や具体的な問題解決、参加者同士のインタラクティブな交流が中心。
•YouTube：発表内容への賞賛や共感、製品への関心など、より広範な視聴者に向けた反応が多かった。
全体的な傾向：
どちらの会場でも、技術的な内容への関心は高かったものの、SpatialChatではより専門的な議論が、YouTubeではより一般的な感想や賞賛が多かったという違いが見られました。また、SpatialChatでは参加者同士のインタラクションやユーモアが、盛り上がりに大きく貢献していました。