🙌
ChatGPT Meetup Tokyo #0
2022/04/28に開催された下記勉強会のメモです
セッション
ChatGPT Community(JP)キックオフ & ChatGPTとLangChainでサービスつくった話 / ChatGPT and LangChain
- 最近GhatGPTでやってること=1on1
- p.4参照
- なぜコミュニティをやるべきか
- LLMが世界を変えた
- 仲間がいる？答え合わせしたくない？
- 情報が多すぎる
- 一歩一歩やっていこう
- サービス開発した
- 自社FAQ
- Emdedding x ChatGPT
- Node.js / Momento / LlamdaIndex -> LangChain JS版
- MomentはRedisとして利用できる上にサーバレス
- EmdeddingはLangChain、JS版は置いていかれがち
- とにかくやろう
- 公式ドキュメント
- ここからが大変
- プロンプトエンジニアリング超大事
- ハルシネーション対策（嘘つかれる）
- セキュリティ対策
- 外部連携
参考
その他メモ
- ChatGPTはAzure使ってる
東京都立の大学院で24時間対応の Teaching Assistant (ChatGPT) を用意して分かったこと
- ChatGPT x プログラミング学習
- チャットで質問できる
- AIを用いた学習ではコピペでないことの証明が大変
- ハルシネーション対策より作る時間を増やす
- 誤った知識でもいいので作る経験値を増やす
- ChatGPTが答えた質問数は以前に比べかなり増加
- データも集まる（データ分析のためのChatGPT）
- AIを使うと効率できに学習できる=80%
参考文献
ChatGPTとおしゃべりできるAlexa Skillをリリースしました
- AlexaでChatGPTとおしゃべりできる
- 英会話対応（多言語）の仕組み
- Amazon Polly音声では各言語のモデルが用意されている
- プロンプトに返答の言語を
[lang:]形式で出力 - 適切なモデルを使うようにAlexaに指示
自分だけのAITuberを作ろう！
- AITuber = 「AI」+「YouTuber」
- 配信の発言やコメント返信をAIが行い、コメントの学習などもする
- 実装（最小構成）
- YouTubeAPIでコメント取得 -> GPT API -> VOICEVOXで音声変換 -> OBS出力
- GPTはひねくれた発言やネガティブな発言は不得意
- ローカルLLMを使う必要がある（精度は妥協）
ローカルLMMは使えるか？～性能、展望、ホスティングと費用
- vicuna-13b
- gpt-3.5-turboに近い性能が出る
- 基盤LLMよりも、fine-tuningが大事
- ローカル LLM の計算コストとその展望
- （何も工夫しないと）13bでもgpt-3.5-turboの方が10倍以上安い
- OpenAPIは原価ベース？
- 将来的にgpt-3.5は自分でホスティングできるようになる
- GPT-4なら1台1000万くらい？
- GPT はもっと賢くなる
- パラメータは増えないけどtuningが進む
- 回路の繋がっていない素材のようなもの
その他メモ
- ChatGPTの履歴は見えると事故るので注意
スキル育成に生かすLlamaIndexの活用
- LlamaIndexとは
- OpenAPIを便利に使うためのpythonライブラリ
- インデックス作成
- クエリ
- 内部ではOpenAPIに特定のプロンプトで質問
- レスポンスが英語になるのでプロンプトを日本語に訳したもので上書き
- OpenAPIを便利に使うためのpythonライブラリ
ChatGPTとWatson Discoveryでサイト内検索を進化させてみた
- IBM Watson Discoveryによるサイト内検索サービスとChatGPTを連携
- 質問文のWatson Discoveryの検索結果からChatGPTを使って応答文を作成
- UIどうするか？
- 検索窓が当たり前で、利用者がチャットでの質問に慣れるのか？
- 最初のリリースではサイト内検索を補完する形
- 結果のリストの右側に補足として表示
- 品質はどうする？
- 検索精度
- Discoveryをトレーニングして並びをチューニング
- 辞書機能で用語や略語を同一視
- 収集データにアノテーション etc...
- 応答精度
- ChatGPTへ適切な情報を渡す
- ↑の検索精度の対応
- データの件数やサイズの調整
- 嘘と変動の対策
- 引用元提示
- パラメータ調整
- 注意書き（AIだから誤りを含む可能性があります）
- ChatGPTへ適切な情報を渡す
- 検索精度や応答精度に満点はない
- 定期的な精度把握とチューニングのサイクルが重要
- 検索精度
- セキュリティはどうする？
- データは他の用途で使われないのでOK
- データセンターの場所指定や複数配置はできない
- 日本の法律を準拠法にできない（模様）
↓
MS Azure OpenAI Servicesを採用してクリア
医療系スタートアップでのLLM PoCの共有と今後の取組
※公開資料見つからず
- LLMによる疑義照会の半自動化のPoC
- 疑義照会=病院の処方せんの間違いを医師に問い合わせる
- ステップ（2,4でGPT-4を使用）
- 処方せん情報をOCRでテキストデータ化
- 処方情報の構造化
- GPT-4のAPIでJSON形式に抽出
- 医薬品の添付文章をDBに保存しておき取得
- 処方情報と添付文章を照らし合わせて疑義照会の文章を作成
- かなり正確に指摘できる
- LLMの凄さ
- 非構造のデータを高度に扱える
- 処方せんから構造化データ
- Few-shotプロンプティングで例を与えることができる
- 独自の例を与えて学習
- 非構造のデータを高度に扱える
Discussion