GPT2を命令追従データセットでファインチューンしたらチャットGPTになった .

GPT2を命令追従データセットでファインチューンしたらチャットGPTになった .

問い　人工知能がヘルスケアでどのように使用されているかを説明してください",

オリジナルＧＰＴ２
人々が私たちとは異なることをしている場合、それはどのように機能しますか (そしてその理由は?!) 私たちの生活をより良くするために何ができるでしょうか？そのような変化は、自分自身だけでなく、周りの人にもどのような影響を与えるでしょうか :-)。あなたの質問は、妻が最初の子供を産んでいるときに答えられました.それ以前にAI技術について何か研究しましたか?? 彼女は、「子供たちが赤ちゃんを産んだ後はどうなりますか?」と尋ねました。みんなでビックリ！！

学習後ＧＰＴ２
人工知能 (AI) は、医療の多くの形態で使用されているため、医療にとってますます重要になっています。AI は、人間の医師、看護師、およびその他の医療専門家に、診断、診断、治療などの現実世界のタスクを提供します。 AI はまた、複雑なタスクを自動化するのにも役立ちます, 患者の転帰に関する洞察を得て、時代遅れで非効率的なシステムによって引き起こされるエラーを防ぐことができます. AI は、医師が医療記録のパターンを認識することで患者をよりよく理解するのに役立ちます. また、患者データの異常を検出し、手術中に異常を特定し、患者データを分析して進捗を監視することにより、医療に関する意思決定を改善するために使用できます。AI を活用した医療診断を使用して、医師の介入なしにあらゆる病気を検出できます。」

本家 チャットGPT
人工知能はヘルスケア分野で幅広く使用されており、以下のような分野で活用されています。

診断支援
人工知能は、医療画像を解析して患者の診断支援を行います。例えば、皮膚癌や乳がんなどの癌の検査には、多くの医療画像が必要です。人工知能を用いることで、医療専門家はより早く正確な診断を支援することができます。
医薬品開発
人工知能は、大量のデータを解析して、新しい医薬品の開発を支援します。新薬の候補を特定し、効果のある化合物をドラッグデザインに組み込むことが可能です。
患者健康管理
人工知能は、患者の病歴、サイズ、重量などのデータを分析して、個々の健康管理計画を提供します。このようなシステムを使用することで、患者は自分の健康状態を追跡し、適切な行動を取ることができます。
手術の支援
人工知能は、手術を成功させるためのデータ分析を行います。手術中にセンサーを使用してデータを収集し、人工知能が状況を分析し、医療専門家にリアルタイムで情報を提供することができます。
医療ログの管理
人工知能は、医療記録を管理するために使用されます。これにより、患者の病歴データはより完全に、正確に、および迅速にアクセスできるようになります。このような情報は医者にとって、治療計画をカスタマイズする際に非常に有用なものになります。

素晴らしい。こちらの意図みたいなものをくんだ回答が出てくるようになった。
オリジナルGPT2サンプル　との違いに
お気づき　いただけただろうか 　学習後の出力の劇的な変化に。
モデルサイズよりもデータ（命令追従型データセット）が重要なのかな？

#https://github.com/minimaxir/gpt-2-simple
#https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json
#alpaca data.json

!pip3 install gpt-2-simple

import gpt_2_simple as gpt2
import os
import requests

model_name = "124M"
if not os.path.isdir(os.path.join("models", model_name)):
	print(f"Downloading {model_name} model...")
	gpt2.download_gpt2(model_name=model_name)   # model is saved into current directory under /models/124M/

file_name = "alpaca-data-en.txt"

sess = gpt2.start_tf_sess()
gpt2.finetune(sess,
              file_name,
              model_name=model_name,
              steps=1000)   # steps is max number of training steps 1000

gpt2.generate(sess)

GPT2は最小モデル0.125birionnを使用。（GPT3は175birionnパラメータ）
コードを google corab にコピペしてから
上記のurlから　alpacadata.json　を表示してメモ帳にコピー。（ファイルネームは　alpaca-data-en.txt)　
google corab にアップロード。そしてＧＰＵをオンにして　ファインチューンを実行。
結果のサンプルが以下の通りです。（google翻訳）

======== サンプル 1 ========

{
"instruction": "8 の数字の面積を求めてください",
"input": "フィギュアの長さは16cmなので、約22cmです。",
"output": "図の面積は 32 cm (24 cm) です。"
}、

{
"instruction": "医療を提供する会社のロゴをデザインする",
"入力": "",
"output": "ロゴは、現代的なフォントと、白、赤、青、緑、黄色の明るい色で作成する必要があります。これは、励ましのメッセージを含む白黒の背景を持つ患者のシルエットを特徴とする必要があります。 励まし、そして感謝の気持ちを込めて。ロゴは、明るいハートと、テキストとよく調和する明確な色のラインを特徴とする必要があります。」
}、
{
"instruction": "モバイルアプリの作り方を説明する",
"入力": "",
"output": "モバイルアプリを作成するには、特定の一連の要件が必要です。たとえば、アプリには最適化されたユーザー インターフェイスが必要であり、アプリは独自の機能を提供し、安全でユーザー フレンドリーであることを確認する必要があります。さらに、以下を提供する必要があります。 プラットフォーム上でアプリを宣伝するために、Web ブラウザーなどの正式な名前をアプリに付けてください。」
}、

{
"instruction": "インド宇宙研究機関の 3 つの基本原則を挙げてください。",
"入力": "",
"output": "Indian Space Research Organization の 3 つの基本原則は次のとおりです。(1) 宇宙探査の成果向上につながる技術の開発と評価、(2) 信頼性の高い宇宙船と打ち上げシステムを構築および実施するための技術の利用 (3) 自走式システムを開発し実施するための技術の利用。」
}、
{
"instruction": "理想的なキャリアへの長所と短所を 2 つ生成する",
"入力": "",
"output": "理想的なキャリアになるための 2 つのメリットは、(1) 貴重なスキルを学び、安定した安定した収入を得られる機会を提供すること、(2) 定期的にスキルを磨いて、 あなたの可能性を最大限に発揮できるようにしてください。」
}、
{
"instruction": "ビジネスを管理する上で最もよくある間違いを 5 つ挙げてください",
"入力": "",
"output": "私がビジネスを管理する上で最もよく犯す 5 つの間違いは次のとおりです\n1. 顧客を誤解させる\n2. 情報を否定する\n3. ビジネスを秘密裏に保つ\n4. 貪欲であるかのように見せる\n5 . ビジネスの費用をさらに高くする\n6. 懸念を無視する\n7. 間違った人材を雇う\n8. 税金を払わない\n9. 税金を払わない\n10. 不正な情報源を盗んだり使用したりする\n11. 税金を申告しない\n12. 税金を払わない 給与\n13. 税金や利子を支払わない\n14. 間違ったことをする\n15. 従業員を否定または虐待する\n16. 間違いを犯す\n17. リスクを取る\n18
======== サンプル 2 ========

{
"instruction": "文字列内で最も短いコードを見つけてください。",
"input": "\u00b2d\u00bd7\u00bd7\u3060",
"output": "コードは 0x00000001 です。"
}、
{
"instruction": "文字列内のコードの最長の長さを見つけます。",
"入力": "猫",
"output": "最長のコード行は 15 です。"
}、
{
"instruction": "プロジェクトを完了するための手順は?",
"input": "https://www.example.com/",
"output": "プロジェクトを完了するための手順は次のとおりです: \n1. プロジェクトにログインして、プロジェクトの進行状況\u00e9s を表示します。\n2. "コミットメント" セクションで説明されている手順に従って、プロジェクトを完了します\u00e9. \n3. プロジェクト マネージャーにプロジェクトの進捗状況を確認します。\n4. プログレス バーをチェックして、進捗状況を確認します。\n5. "コミットメント" セクションをチェックして、進捗状況を確認します。"
}、
{
"instruction": "近代化された世紀と前世紀の違いを比較対照してください。",
"入力": "",
"output": "テクノロジーの歴史における最近の傾向は、その使用法に大きな変化をもたらしました。より迅速かつ効果的にデータにアクセスするために使用できるコンピューターの台頭は、現代のテクノロジーを強力な方法で前進させました。たとえば、 , 携帯電話とコンピューターは、1980 年代以来、生活の多くの分野で主流の製品になりました. 労働者が自分の仕事に習熟するにつれて、テクノロジーは職場の標準になりました, 一方、コンピューターは多くの職業や役割で時代遅れと見なされてきました. 刺激的で多様な職場を作り出しました. テクノロジーがより広く使用されるようになるにつれて, 現場で働く人々のために新しい進歩の機会が生まれました. 過去数十年にわたって, 多くの雇用主はテクノロジーと職場管理機能を職場に統合しようとしてきました. , より多くの従業員が職場に接続され、同僚よりも優れた立場にあることを保証します.これにより、職場の自動化と職場の自動化の頻度が増加し、より近代的で効率的な職場が生まれました.」
}、
{
"instruction": "入力を基に、キャラクターの旅を説明するストーリーを作成します。",
"入力": "",
"output": "Sammy は、長く過酷なロードトリップから離れて歩いている老人でした。彼は頭を下げて仕事に集中するのに苦労していました。彼は先日町を歩いていましたが、足がガクガクしていました。 彼の体は幼い頃から歩いていた. 彼の目はまだとても曇っていた. 彼は何日も町にいたのでそこに座っていた. 彼は歩き続けた. 何をしようと試みましたが、彼は努力を続けましたが、決して終わりませんでした. 時々、彼は目を閉じ、希望と希望のささやきを聞いた.
}、
======== サンプル 3 ========

{
"instruction": "映画を見るのが大好きな少女を巻き込んだストーリーを生成します。",
"入力": "",
"output": "むかしむかし、映画を見るのが大好きな若い女性、ジュリエットがいました。彼女が映画を好きになったのは 12 歳のときで、これまでに見たいくつかの番組を見て、最終的にそれらの趣味を発達させました。 少女が 12 歳のとき、彼女が立ち止まって楽しんだ唯一のショーでした。ジュリエットの映画への愛情は、彼女を高校の授業の不可欠な部分にし、映画を見ることへの愛情により、彼女はキャンパス コミュニティの最愛のメンバーになりました。」
}、
{
"instruction": "気候変動が生物多様性に与える影響を説明してください",
"入力": "",
"output": "気候変動は、多種多様な生態系機能に影響を与えています。例えば、哺乳類や鳥類の多くの種は淡水へのアクセスにますます依存するようになっています。他の植物、動物、植物も生物多様性を失っています。 世界は食料に対する人間からのより大きな要求に直面し続けており、生態系は混乱に対してますます脆弱になっています。」
}、
{
"instruction": "人工知能がヘルスケアでどのように使用されているかを説明してください",
"入力": "",
"output": "人工知能 (AI) は、医療の多くの形態で使用されているため、医療にとってますます重要になっています。AI は、人間の医師、看護師、およびその他の医療専門家に、診断、診断、治療などの現実世界のタスクを提供します。 AI はまた、複雑なタスクを自動化するのにも役立ちます, 患者の転帰に関する洞察を得て、時代遅れで非効率的なシステムによって引き起こされるエラーを防ぐことができます. AI は、医師が医療記録のパターンを認識することで患者をよりよく理解するのに役立ちます. また、患者データの異常を検出し、手術中に異常を特定し、患者データを分析して進捗を監視することにより、医療に関する意思決定を改善するために使用できます。AI を活用した医療診断を使用して、医師の介入なしにあらゆる病気を検出できます。」
}、
{
"instruction": "ヘルスケアの未来に対する人工知能の影響は何ですか?",
"入力": "",
"output": "AI は、ヘルスケアの成果を改善するためにヘルスケア セクターでますます使用されています。AI は、患者の行動を理解し、病気を診断および治療し、患者データのパターンを特定し、患者データに基づいて結果を予測するために使用されています。AI は、 パーソナライズされた予測医療診断を作成するために使用され、医療専門家が病気、患者の行動をよりよく理解し、医療記録の異常を検出できるようにします. AI は、患者データのパターンの識別、危険な状態の診断と治療、および患者のパターンの識別にも使用できます。 データを作成し、患者が従うべき推奨事項を提供します。」
}、
以下bing chat　による説明。
命令追従型データセットとは、大規模言語モデルが人間の指示に従ってテキストを生成したり、タスクを実行したりする能力を向上させるために用いられるデータセットのことです¹。

命令追従型データセットは、人間が書いた命令とそれに対応する出力のペアから構成されます。例えば、「次の文章を要約してください」という命令と、文章の要約が出力となります。命令追従型データセットは、様々なタスクやドメインに対応できるように多様で豊富であることが望ましいです。

命令追従型データセットを作成する方法はいくつかありますが、最近では、既存の強力な言語モデルを利用して、自動的に命令追従型データを生成する手法が提案されています²³。この手法では、シードセットと呼ばれる少量の人間が書いた命令追従型データを用意し、それを言語モデルに与えて、新しい命令追従型データを生成させます。この方法は、コストや時間を節約できるとともに、高品質な命令追従型データを得ることができます。

命令追従型データセットを用いて、大規模言語モデルをファインチューニングすることで、命令追従能力を持つモデルを作成することができます。例えば、「Alpaca」というモデルは、「LLaMA」というオープンソースの大規模言語モデルを、「text-davinci-003」という言語モデルで生成した52Kの命令追従型データでファインチューニングしたものです³。このモデルは、「ChatGPT」や「PaLM」といった商用の命令追従モデルに匹敵する性能を示しますが、そのサイズやコストははるかに小さいです。

命令追従型データセットやモデルは、チャットや対話などの応用に有用です。また、オープンソースで公開されているものも多くあります。以下に一部のリソースを紹介します。

Alpaca: https://github.com/stanfordnlp/alpaca
LLaMA: https://github.com/meta-learning/llama
self-instruct: https://github.com/openai/self-instruct
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ー－－－－－－－－－－－－－－
命令追従能力を持つモデルでチャットを試すには下記リンクから。
https://huggingface.co/spaces/linkanjarad/linkanjarad-Bloom-Alpaca-560m

bloomモデルとは、大規模言語モデル（LLM）の一種で、Hugging Face社を中心とするBigScienceプロジェクトによって開発されたものです。46の自然言語と13のプログラミング言語に対応しています¹³。オープンソースで公開されており、誰でも利用できます²³。

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ー－－－－－－－－－－－－－－

補足説明
オリジナルGPT2モデルのサンプル例

１　映画鑑賞が大好きな女の子のストーリーを作成します。
私達は何が欲しいのか？あなたは誰かの人生にとって重要なこと、あるいは彼らに読んでもらいたい楽しいことについて書く動きをしています…これがうまくいけばうれしいので、何が一番うまくいくか教えてくださいアシスタントとして：

２　人工知能がヘルスケアでどのように使用されているかを説明する
人々が私たちとは異なることをしている場合、それはどのように機能しますか (そしてその理由は?!) 私たちの生活をより良くするために何ができるでしょうか？そのような変化は、自分自身だけでなく、周りの人にもどのような影響を与えるでしょうか :-)。あなたの質問は、妻が最初の子供を産んでいるときに答えられました.それ以前にAI技術について何か研究しましたか?? 彼女は、「子供たちが赤ちゃんを産んだ後はどうなりますか?」と尋ねました。みんなでビックリ！！

３　インド宇宙研究機関の 3 つの基本原則を挙げてください。
IndiaSpaceResearchOrientedoise の背後にあるアイデア。このプロジェクトは、衛星ナビゲーション、地上観測システムなどのさまざまな技術を使用して、長年にわたって得られた科学的知識に基づいて、開発プロセスに関する尊敬と透明性のために人間の安全を犠牲にすることなく、新しい宇宙探査技術を作成することを目的としています。i.) 人間のみを運ぶことができる再利用可能な宇宙船の開発。ii.- 主に高圧条件下で発生する重力風に対抗するのに適した高度な推進システムを開発すること。iii.-軌道上に設置されたソーラーパネルを利用した低コストの輸送サービスを提供する
私は、NASA の両方の科学者が、サイエンス フィクション映画が人間性を否定的に描写していると信じていることを知っています。(http://www2ndplanet4life.com/)