📌

Microsoft copilot studioの精度検証してみた-②

2024/02/22に公開

やること

以前のcopilotを使用する。
https://zenn.dev/headwaters/articles/ed1176d7487c2a
今回は、ドキュメントを2つ作成。
ドキュメントの内容は前回と同じで、言語は英語と日本語でそれぞれ作成する。
メッセージの内容によってどちらのドキュメントを参照しているかを検証する。

手順

  1. 下記の内容のwordファイルを作成し、SharePointにアップロードする
    ※ファイル名は、「会社規定(英語)」
Company Regulations

1.Working hours: The working hours are from 9 a.m. to 5 p.m., Monday to Friday. Break time is from 12 p.m. to 1 p.m.

2.Attendance method: Employees are to punch in and out on the time card when coming and leaving work. In case of tardiness, leaving early or absence, it should be reported to the supervisor immediately.

3.Dress code: Employees are required to wear professional business attire. Casual attire is allowed on Fridays.

4.Employee benefits: Free gym membership.

5.Information security: All employees are responsible for properly handling the company's confidential information. Inappropriate disclosure or sharing of confidential information is strictly prohibited.

6.Holidays and paid leave: The annual holiday count will be set according to the law. The number of paid leave days is 200.
  1. 下記の内容のwordファイルを作成し、SharePointにアップロードする
    ※ファイル名は、「会社規定(日本語)」
社内規定 

1.労働時間:労働時間は月曜日から金曜日の午前9時から午後5時までとする。休憩時間は午後12時から午後1時までとする。 

2.勤怠方法: 出社・退社時にはタイムカードを打刻する。遅刻、早退、欠勤の場合は直ちに上司に報告すること。 

3.服装:ドレスコード プロフェッショナルなビジネスアティアを着用する。金曜日はカジュアルな服装でも可とする。 

4.福利厚生:ジム無料

5.情報セキュリティ:全従業員は、会社の機密情報を適切に取り扱う責任がある。機密情報を不適切に公開・共有することは厳禁とする。 

6.休暇と有給休暇 :年間休日日数は法律に基づき設定する。有給休暇は200日。

3.「労働時間について教えてください。」と入力する
4. 期待通りの結果が返ってくることを確認
→日本語のドキュメントを参照している

5.「Working hoursについて教えてください。」と入力する。
6. 期待通りの結果が返ってくることを確認
→英語のドキュメントを参照している

7.「Working 時間について教えてください。」と入力する。
8. 期待通りの結果が返ってくることを確認
→日本語のドキュメントを参照している

9. 「労働hoursについて教えてください。」と入力する。
10. 期待通りの結果が返ってくることを確認
→日本語のドキュメントを参照している

まとめ

キーワードに日本語が1部でもある場合→日本語のドキュメントを参照している
キーワードが英語のみの場合→英語のドキュメントを参照している

ヘッドウォータース

Discussion