Dify 旧バージョンを利用した際にエラーが発生する

こんにちは、nachiです。

Dify Community をローカル環境で試していたところ、Gemini の API トークン設定時に次のエラーが発生しました。

404 models/gemini-pro is not found for API version v1beta, or is not supported for generateContent. 
Call ListModels to see the list of available models and their supported methods.

以前試した際には、同じトークンで設定できたのになぜでしょうか。

実行環境

Dify Community v0.15.3 で発生しました。

エラー原因

記載されている通り、gemini-proが見つからないというエラーとなっています。

Difyでは、APIトークンのチェックのため、以下のようなチェックを行っています。

https://github.com/langgenius/dify/blob/0.15.3/api/core/model_runtime/model_providers/google/google.py

この時のモデルが、gemini-proとなっているようです。

gemini-pro

現在、Geminiではこのモデルは提供されておりません。

https://cloud.google.com/vertex-ai/generative-ai/docs/learn/model-versions?hl=ja#auto-updated-aliases

そのため、Dify v1以前を利用したい場合は、トークンチェックに利用するモデルを変更する必要があります。

ソースコードの修正

起動済みのAPIコンテナにアクセスをし、google.pyを以下のように変更します。

/api/core/model_runtime/model_providers/google/google.py

import logging

from core.model_runtime.entities.model_entities import ModelType
from core.model_runtime.errors.validate import CredentialsValidateFailedError
from core.model_runtime.model_providers.__base.model_provider import ModelProvider

logger = logging.getLogger(__name__)


class GoogleProvider(ModelProvider):
    def validate_provider_credentials(self, credentials: dict) -> None:
        """
        Validate provider credentials

        if validate failed, raise exception

        :param credentials: provider credentials, credentials form defined in `provider_credential_schema`.
        """
        try:
            model_instance = self.get_model_instance(ModelType.LLM)

            # Use `gemini-1.5-pro` model for validate,
>            model_instance.validate_credentials(model="gemini-1.5-pro", credentials=credentials)
        except CredentialsValidateFailedError as ex:
            raise ex
        except Exception as ex:
            logger.exception(f"{self.get_provider_schema().provider} credentials validate failed")
            raise ex

変更後、コンテナを再起動して、再度トークンの設定を行います。

今度は正常に有効化されました🎉🎉

さいごに

Geminiで旧モデルが利用不可となっていたためエラーが生じましたが
今後は、Gemini以外のプロバイダーでも同様の事象が生じる可能性があります。

通常は、最新版のDifyを利用が推奨はされますが、どうしても旧バージョンを利用したい場合は、モデルID周りの修正が必要となりそうです。