やること
SharePointのドキュメント検索のCopilotを以前作成した。 このCopilotを使い、ドキュメントの書き方によって返答の精度が変わるを検証する
検証内容
- 下記の内容のwordファイルを作成し、SharePointにアップロードする
※以前作成した社内規定を英語に翻訳
Company Regulations
1.Working hours: The working hours are from 9 a.m. to 5 p.m., Monday to Friday. Break time is from 12 p.m. to 1 p.m.
2.Attendance method: Employees are to punch in and out on the time card when coming and leaving work. In case of tardiness, leaving early or absence, it should be reported to the supervisor immediately.
3.Dress code: Employees are required to wear professional business attire. Casual attire is allowed on Fridays.
4.Employee benefits: Free gym membership.
5.Information security: All employees are responsible for properly handling the company's confidential information. Inappropriate disclosure or sharing of confidential information is strictly prohibited.
6.Holidays and paid leave: The annual holiday count will be set according to the law. The number of paid leave days is 200.
- 「労働時間について教えてください。」と入力する
- 例外処理の結果が返ってくることを確認
- 「Can you please tell me about the working hours?」と入力する
- ドキュメントから情報を持ってくることを確認（返答も英語）
- 「working hoursについて教えてください。」と入力する
- ドキュメントから情報を持ってくることを確認（返答は日本語）
→キーワード検索をしている？
- 「労働時間はa.m.9時からp.m.5時までですか？」と入力する
- 例外処理の結果が返ってくることを確認
- 「労働時間はa.m.9からp.m.5までですか？」と入力する
- ドキュメントから情報を持ってくることを確認（返答は日本語）
→余計な情報（今回だとa.m.9時の「時」）があると検索が不可？
- 「Break timeについて教えてください。」と入力する
- ドキュメントから情報を持ってくることを確認
→p.m.1を訳されていない。7では訳されていた。なぜ？
- 「Break timeについて教えてください。返答するときは、日本語に正確に訳してください。」と入力する
- 13と結果は変わらない
- 「労働時間は9から5までですか？」と入力する
- ドキュメントから情報を持ってくることを確認
→午前と午後の表記がない
まとめ
必要な情報を取ってくる作業には、そこまで問題なさそうな感じをしました。
ただ、正確性は英語なので日本語に比べると下がるな感じました。
Coplilotが話す言語を日本語にしたのに、返答が英語なのはなぜ？と思いました。
Discussion