Open2024/08/09にコメント追加2

Gemini1.5

1.5Pro vs 1.5Flash

開発手法としては「蒸留（Distillation）」を利用しています。この手法は、親となる既存モデルの出力を使って新しいモデルをトレーニングするもので、親モデルに比べてパラメーター数を小さくすることができます。Gemini 1.5 Flashは親モデルとして1.5 Proを利用し、その情報を効率よく小型モデルに取り込んでいます。Google DeepMindのCTOによると、これにより小型でありながら高効率なモデルが実現したとのことです。

dorarep

素直にプロンプトを書く

"```json"で囲まれて返却された
JSONモードを試す
https://note.com/npaka/n/n0852d542fd43

	const generativeVisionModel = vertexAI.getGenerativeModel({
		model,
		generationConfig: {
			responseMimeType: 'application/json',
		}
	});

response_schemaはPythonしかなさそう・・・
https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/control-generated-output?hl=ja

型が欠落してるだけらしいので一旦anyで動かせそう

設定値

-> Request with response_schema config is not supported.エラーはいた

	const generativeVisionModel = vertexAI.getGenerativeModel({
		model: "gemini-1.5-pro",
		generationConfig: {
			responseMimeType: 'application/json',
			responseSchema: {
				type: 'object',
				"properties": Object.fromEntries(keys.map((key) => 
					[key, {
						"type": "string",
					}]
				)),
			}
		} as any
	});

-> proだと動いた

As of writing this article, Gemini 1.5 Pro supports schema, while Gemini 1.5 Flash only supports the mime_type with a prompt description.

まだ未対応か