AppleからもオープンソースのLLMが登場
2024年4月24日にAppleからオープンソースの言語モデルがHugging Face上に公開されました。
目的は最先端の言語モデルへのアクセスを提供することで、オープンな研究コミュニティに力を与え、豊かにすることだそうです。
モデルは2億7000万、4億5000万、11億、30億の4つのパラメータのサイズがあるようです。
安全性の保証なしで利用できる反面、ユーザーのプロンプトに応じて、不正確、有害、偏った、または不快な出力を生成する可能性があります。
ですので開発者は徹底的な安全性テストを実施し、特定の要件に合わせた適切なフィルタリング メカニズムを実装することが不可欠とのこと。
強みは何といってもAppleデバイス上（iPhone, Macなど）でモデルを動かすことができること。
設定
以下の記事を参考にHugging Faceの登録とアクセストークンを取得。
どんなものか使ってみる
1. リポジトリをクローン
git clone https://huggingface.co/apple/OpenELM-270M-Instruct
2.パッケージを導入
pip install torch transformers
3. モデルを実行
「あなたの名前は？」と聞いてみます。
python generate_openelm.py --model apple/OpenELM-270M-Instruct --hf_access_token <your access token> --prompt 'hello, what your name?' --generate_kwargs repetition_penalty=1.2
ロードが開始されました。
しかしエラーになりました。
OpenELMはトークナイザーにllama2を使っているのでアクセス申請をする必要があります。
4. llama2の利用申請
以下のサイトにアクセス。
申請をします。
2,30分ほどで承認メールが届きました。
5. 再度実行
数秒待つとレスポンスが返ってきました！
6. 日本語で試してみる
「今日は何月何日ですか？」と聞いてみます。
...回答はしてくれるものの内容は全くの的外れでした。
次回
iPhone上で動かしてみようと思います。
Discussion