VS Code Speech で Github Copilot とマイクでやりとりしてみました

背景

Cykinso の 研究&データ技術開発 の山﨑です。

VSCode の Github Copilot を多用してコードを実装していることが多いですが、 Cmd + Shift + I でチャット画面を開いた後にやってほしいことを入力することがちょっと手間でした。

そこで VS Code Speech という Extension を使えばマイクで Github Copilot とやりとりできるそうなので試してみました。

注意) 現在は英語のみの対応のようです v1.87.0 から日本語対応しました！

方法

Extension VS Code Speech をインストールします。

https://marketplace.visualstudio.com/items?itemName=ms-vscode.vscode-speech

ドキュメントページにあるようにショートカットキーを用いるとかなり楽なのでキーバインドとして以下の２つを追加します。

keybindings.json

[
  // skipping...
+   {
+     "key": "cmd+u",
+     "command": "workbench.action.chat.startVoiceChat",
+     "when": "!voiceChatInProgress"
+   },
+   {
+     "key": "cmd+u",
+     "command": "workbench.action.chat.stopListeningAndSubmit",
+     "when": "voiceChatInProgress"
+   }
]

これで準備完了です。

テスト

Python で fizzbuzz を書いてとお願いしてみます。

Cmd + Shift + I (または Cmd + I) で Github Copilot Chat のウィンドウを開き Cmd + U でマイクが青色に光ったら話しかけることができます。

「Write fizzbuzz code in Python」 と言ってみましたが、あまり英語の発音が上手じゃないので VS Code Speech が間違った英文に翻訳しています。しかし Github Copilot がうまくカバーしてくれてますね(笑)
(何度か試したら「何を言っているか理解できませんが、もし write fizzbuzz code と言っているのなら〜」という書き出しの時もありました。おもしろいですね)

続けて、書いてもらったコードの説明をお願いしてもらいました。

「Explain this code」 とお願いしたところこちらはは正しく認識してくれました。よかったです。

現在は英語のみの対応だそうですが将来的には他の言語もサポートを予定しているそうです。
私はあまり英語が得意でないので簡単なことしか質問できませんが、英語が得意な方はぜひ活用してみてください。

追記

VSCode v1.87.0 で日本語対応したので日本語でもやってみました。

settings.json に以下を追加します。

{
    ...
+   "accessibility.voice.speechLanguage": "ja-JP"
}

その後 VSCode speeach を使おうとすると日本語に対応するための Extension をインストールするか聞かれるのでインストールしましょう。これで準備完了です。

英語同様 fizzbuzz を書いてもらいます。

こちらも ピズパツ となってしまいましたがうまく Github Copilot がフォローしてくれました。

💡 まとめ

• VS Code Speech をインストールし口頭でやりとりできるようにしました
• 現状は英語のみの対応です 日本語対応しました
• 音声認識が多少失敗してても Github Copilot がフォローしてくれます