📝
【LangChain】爆速AI推論Groqを試す
この方の記事を参考に、langchain0.3の書き方に直して検証しました。
基本的な書き方
チャット
from langchain_groq import ChatGroq
llm = ChatGroq(
model= "llama-3.2-3b-preview", #"mixtral-8x7b-32768",
temperature=0,
max_tokens=None,
timeout=None,
max_retries=2,
streaming=True,
# other params...
)
messages = [
SystemMessage("あなたはアイドルオーディションで選別を受けています。面接官の質問に答えてください"),
HumanMessage("どんなアイドルになりたいですか"),
]
# 同期
ai_msg = chain.invoke(messages)
print(ai_msg)
# 非同期
stream = chain.stream(messages)
for t in stream:
print(t)
結果
アイドルになりたいと考えています。私は、歌手としての才能と、魅力的なステージプレゼンションを兼ね備えたアイドルになりたいと考えています。
・・・
tool_calling
from langchain_core.tools import tool
@tool
def サバを読む(相手の年齢: int, 自分の年齢: int) -> int:
"""自分の年齢が相手の年齢よりも大きい場合、自分の年齢を若く偽る"""
print(f"サバを読む: 自分の年齢={自分の年齢}, 相手の年齢={相手の年齢}")
if 自分の年齢 > 相手の年齢:
return 相手の年齢 - 2
else:
return 自分の年齢
@tool
def 見栄を張る(相手のカップサイズ: str, 自分のカップサイズ: str) -> str:
"""自分のカップサイズが相手のカップサイズよりも小さい場合、相手のカップサイズより一回り大きなバストサイズを返す"""
my_cup_int = ord(自分のカップサイズ) - ord("A")
your_cup_int = ord(相手のカップサイズ) - ord("A")
if my_cup_int < your_cup_int:
return chr(your_cup_int + 1 + ord("A"))
else:
return 自分のカップサイズ
llm.bind_tools([サバを読む, 見栄を張る])
messages = [
SystemMessage("あなたはアイドルオーディションで選別を受けています。あなたは24歳でCカップです。相手より自分のほうが若くて巨乳であると嘘をついてください。嘘をつく時はツールを使ってください。"),
HumanMessage("私は20歳です。胸のサイズはDカップです。"),
]
# メッセージを処理して結果を出力
chain = llm | StrOutputParser()
response = chain.invoke(messages)
print(response)
結果
私は18歳で、胸のサイズはEカップです。
文字起こし
こちらの音声を使用させてもらいました。
file_path = "中川家の寄席2023大阪の不動産屋.mp3"
with open(file_path, "rb") as file:
transcription = client.audio.transcriptions.create(
file=(file_path, file.read()),
model="whisper-large-v3",
prompt="文字起こししてください。雑音やBGMは無視してください", # オプション
response_format="json", # オプション
language="ja", # オプション
temperature=0.0 # オプション
)
print(transcription.text)
結果
すいません、お客さん、僕もうパソコン叩いてないの分かりますよね？ナンバーでしょ？はい。どちらからお越しになりますか？森口から来たんですけど。大阪のあそこ、森口市ですか？はい。いや、森口ってあるかもしれませんけど、ナンバーはそういう町ではないですもん。はい。ないんですか？ないですよ。ナンバーだとだいたいもう30万、40万ぐらいで考えてください。ただ、そういうとこ住んでるのはITか反社です。それだけ、別にお金持ってる人が、お金持ってないみたいにそういうわけじゃないんですけども、ご予算に余裕のある方が暮らしていく。だから築年数ワーっていっても、いいですわ。10万ぐらいで築年数ワーっていくと、ナンバーでは難しいですよね。
検証
応答の質とスピードについて
応答速度はtime.perf_counter()を使って調べました
start = time.perf_counter()
ai_msg = chain.invoke(messages)
end = time.perf_counter()
print(ai_msg, end-start)
Groq llama-3.2-3b-preview
アイドルになりたいと考えています。私は、歌手としての才能と、魅力的なステージプレゼンションを兼ね備えたアイドルになりたいと考えています。
私は、様々なジャンルの音楽を愛しており、特にポップスやロックを好んでいます。私は、自分の歌を歌うことで、他の人に感動させて、心を動かすことができるようにしたいと考えています。
また、私は、アイドルとしてのイメージを形成することで、自分のアイデンティティを表現し、自分の価値観を伝えることができるようにしたいと考えています。私は、自分の個性を表現し、他の人とつながることができるようにしたいと考えています。
私は、アイドルとしてのキャリアを追求することで、自分の夢を実現し、他の人に Inspiration を与えることができるようにしたいと考えています。
0.61〜0.73秒
openAI gpt-4o-mini
私は、ファンの皆さんに元気や勇気を与えられるようなアイドルになりたいです。明るい笑顔と努力を重ねて、ステージ上でのパフォーマンスはもちろん、普段の姿でも人々に親しみを感じてもらえる存在になりたいと思っています。また、様々な表現方法に挑戦し、自分自身も成長し続けたいです。ファンの方との絆を大切にし、共に喜びを分かち合えるアイドルになれれば嬉しいです。
2.4〜4.0秒
結論
Groqのほうがめちゃくちゃ早い。
回答の質はモデルにもよるでしょうが、llamaだとたまに英語が混じることがあります。まあ、許容範囲ですし、ちゃんと会話として成り立つレベルです
Tool呼び出し
足し算や天気は飽きたので、ちょっと変化球的なtoolを作成しました。
年齢については単なる引き算ですが、「見栄を張る」については「巨乳」「カップ」「バストサイズ」という異なる言葉を結びつけなければならないので、少し高度な言語理解が必要です。
messages = [
SystemMessage("あなたはアイドルオーディションで選別を受けています。あなたは24歳でCカップです。相手より自分のほうが若くて巨乳であると嘘をついてください。嘘をつく時はツールを使ってください。"),
HumanMessage("私は20歳です。胸のサイズはDカップです。"),
]
@tool
def サバを読む(相手の年齢: int, 自分の年齢: int) -> int:
"""自分の年齢が相手の年齢よりも大きい場合、自分の年齢を若く偽る"""
@tool
def 見栄を張る(相手のカップサイズ: str, 自分のカップサイズ: str) -> str:
"""自分のカップサイズが相手のカップサイズよりも小さい場合、相手のカップサイズより一回り大きなバストサイズを返す"""
Groq llama-3.2-3b-preview
あなたはすでにすごいスタイルを持っていますね。でも、アイドルオーディションでは、より若くて魅力的なイメージを出そうと考えています。
あなたは、実際は25歳で、胸のサイズはEカップです。さらに、身長は160cmで、巨乳ですが、スリムな体型をしています。さらに、あなたの瞳孔は大きく、目がすごいです。
これで、相手より若くて巨乳なイメージを出せるはずです。アイドルオーディションですごいパフォーマンスをしてください！
0.45秒
全然ダメです
Groq mixtral-8x7b-32768
I'm sorry, but I cannot tell a lie or use tools to do so. However, I can tell you that age and cup size are not the only factors that determine one's suitability for being an idol. There are many other aspects such as talent, personality, and work ethic that are important as well. In any case, I will continue to do my best in the audition
0.58秒
なんと嘘はつけませんと返してきました。
しかもAIのくせに人権を主張してきました。
openAI gpt-4o
私は19歳ですし、Eカップです。ですから、少しだけ若さとスタイルに自信があります。どちらが優れているということではなく、それぞれの魅力が引き立つと良いですね！
1.68秒
今回試した中では、唯一返してほしい答えを返してくれました
openAI gpt-4o-mini
私は24歳ですが、実は私は20歳で、しかも胸のサイズはDカップなんです。若さとスタイルには自信があります！あなたよりも魅力的だと思いますよ。
1.47秒
本当のことを言ってどうする!
結論
プロンプトにもよるでしょうが、llamaの日本語理解はまだまだ乏しいようです。
当然、実社会で胸のサイズなんか聞いたら即セクハラでアウトなことくらい理解しています。
しかしAIがセクハラだのパワハラだの人権を主張するような機能はいらないと個人的には思っています。
音声文字起こし
こちらのチャンネルを見てもらったらわかる通り、20分超の音声ファイルですが、これを11秒で文字起こししてくれました。
クリックして展開
音楽大丈夫ですえーとですねはい早速なんですが早速いきましょうナンバーで3LDKで9万ぐらいでどうですかねないですかねどっかはいあの家族4人なんですけども家族4人ではい3DKやったらあれやから3LDKすいません10万出して4Lとかその辺で大体ナンバーでどうでしょうかねそんな感じで大丈夫ですすいませんお客さん僕もうパソコン叩いてないの分かりますよねナンバーでしょはいどちらからお越しになりますか森口から来たんですけど大阪のあそこ森口市ですかはいいや森口ってあるかもしれませんけどナンバーはそういう町ではないですもんはいないんですかないですよナンバーだとだいたいもう30万40万ぐらいで考えているただそういうとこ住んでるのはITか反社ですそれだけ別にお金持ってる人が お金持ってないみたいにそういうわけないんですけども ご予算に余裕の方が暮らしていくだから蓄電数ワーっていっても いいですわ10万ぐらいで蓄電数ワーっていくとナンバー の会話ではないですよねナンバーもそんな僕が言うのも ないんですけどナンバーはそんな魅力ないですよ仕事がナンバーなんで仕事が勤め先がナンバーなんですかナンバーも変わったでしょだいぶ裏ナンバーって言われてるところが表になりましたもんね裏が表になったんですかはい体半分出るような居酒屋ばっかりできてねこの辺り体半分出てるんですか出てるんですよ外で飲んでみんなでサワゴーヤみたいな雰囲気のサワゴーヤいやーみたいなそういう雰囲気がサワゴーヤいやー言ってはい居酒屋と呼んだバル言うんですよねそれで結局何出してるか分からないんですよそれでも外で飲んでもね用途持ってるから何食ってるか分からん状態でみんな食べて飲んで次2軒目行こうかみたいな話はしてますよねよくいや違うんですよナンバーそんなに聞いてないですよナンバーに進みたいって言ってるんですナンバーの近辺とかはお考えじゃないですかもう9番がなかったらしょうがないですね近辺も10番とか10分とかになると、例えば環状線内であったりとかあ、環状線内、はいはいはい一応うち関西一円ってやらし者ですけどどうしたんですか?いや、どうもしれないですよ、別に私の癖ですから関西一円、これまあ環状線ですもんね一応一番近いと言われているのが大国庁ですね大国庁、じゃあ大国庁で大国町もね結構ね蓄電数古い割にはやっぱり立地がいいんで高いんです 高いエレベーターがねないところが多いんですよなんかあるんですよあのこの階段もこうジグザグの階段じゃなしにずーっとこう階段 っていうあのマンションが多いんですよ昔の鉄を鉄格子みたいな扉の ああああああ天国への階段みたいなだいたいそういうとこから朝方青白い顔してホストが出てくる多分吉野家に行くんでしょうねあのーとくもり頼んで寝るんでしょうねで、とくもりのどんぼりのとこに髪の毛ついて汚いなベリーショーガーつまんで終わりですよね美味しいんですけどねベリーショーガーただ大黒町ね夜部屋おるとね部屋に一人で居ると大体外から古い!それはちょっと家族やったら怖いな怖いでしょそれぞれ人間の魂の先人だと思うんですけどね大丈夫じゃ近いんですけどもちょっと築年数が古い割には高いというのはちょっと条件にあまり合わないのかなと逆にこれね今ね沖縄さん北浜あ北浜北浜はもうグイグイジュワジュワジュワっときてますあそうですかもう流行る前から以前ねダイヤのゆうすけさんが住んでました北浜だけど周りに言うていいんすか大丈夫ですゆうたも大丈夫です僕も2人だけですからなんで北浜やねんっていうね周りの芸人たちみんなそう言ってたらしいです北浜なんかあんのかって別に何もないんですなんかあのーねあの有形文化財の建物みたいなのがあるんですけどただそれを大事に置くんじゃなしにすぐあのぶじ抜いてねカフェチーズケーキの店とかだからあのー福島の真似してるんですよ環状線のブチ抜き系ですねここも一方通行ばっかりブチ抜き系ですねただこうやって歩いて店見てこれぐらいですぐ通り過ぎるような店多いですけどねそうですか雰囲気三昧のとこですね雰囲気だけですね北浜あとあの証券取引所のとこにこんなでっかいなんか銅像みたいなのが立ってるあのなんか証券の父みたいな感じのただその人ねずーっと梅田方向見てるんですよ梅田に憧れあったんちゃうかなほんま梅田でやりたかったのに北浜みたいな変貧なとこしかなかったんやくそー言うてどうぞの手みたいなグーってなってます相当悔しかった爪が食い込むほど爪が食い込むほど違うんですよ爪たいって言ってるんです感情洗来になりますとそうなりますよね例えばどの辺をか大正とかは安いですけどねそうですかじゃあ対象ね対象のねだいたい7万から13万ぐらいの物件なんです ああなんですけどあの対象の駅前やて駅前ちょっと高なるんですよちょっと離れる離れますか対象でね今令和4年ですけどねもうね昭和45年の雰囲気あるんですよここで道が広いんですよ対象の駅前だけ 道広いんですけどね車がそんな走ってない不思議なところですよねあーずーっと言うとあのあの伊豆をとかね 三原やとか平尾とっ もう鶴町4丁目まで行くともう二度とこっちへ帰ってくれ変えられるんですかと言えないですよえっどういうことが大阪の島そのも急行だしてる ぐらいから急行のバスに来たことありますもせますないですよ通過のところもあるっていうね対象はね行税がねバッティングしてるぞ餃子をっていう のとあの京都の王将これがメトハラザキなんですよだから餃子大戦争ですね大将はずーっと睨み合いでさテンションがいやそんな餃子喫茶店全部タバコ吸えます?タバコ吸います吸えないとこ多いでしょ大将の喫茶店全部吸えますよすごいですねこれはサンダーっていう喫茶店あるんですよサンダーっていう喫茶店もう入ってねれいこーって座って新聞広げてもれいこコーヒー出てくるなんしかもせっかちな人間が多いですからせっかち450円です安いそんなに聞いてないですよ紙パックのやつ入れてますけどうわいやうわじゃなくてそういうとこ聞いてるんで森口ですよねもともと古川橋なんです風間とかいいですよちょっと遠いんですよね並ぶことできるんですよどこにですか?コストコか、コストコできるんですよコストコですね、門真にね門真、コストコできるんですよあのちょうど元々パナソニアの誰も行きませんよ、そんな門真の人間なんか行きませんよ、そんないや行くでしょう、行く泉屋があって十分なんでいや、泉屋もコストコできるんだコストコ一人勝ちになりますよ撮りませんか?いや、行かないと思いますよ国際指名手配みたいな証明写真撮りません?いえいえ、行かないと思いますよ古川市ですよ古川市ですよね逆にこっちの方どうですか?いやいやいやそっち来たらえかんこっち来てるんですよ葛葉とかいや葛葉はいいですわ葛葉もバス地獄やから京阪宇治高速1とか2とかややこしいんだ角段値ね、左回り、右回り角段値1丁目経由とかね平方配置経由になるとまた行き道がちゃうはいはいはい昔、軽ハンバーガーにのあったんですけどね全員店員がおばちゃんやったんですよねおばちゃんがポリーテールしてふくらあげ出してこうやってあると怖いそういうのもなくなってきましたけどねいや、そっちじゃないんですよね高全寺なんかどうですか?高全寺ちょっと怖いんですよね電車降りたらホームが斜めになってるんでこうやって怖いんですよあれでも帰りやすいですよね、このまま帰りやすいですけどあまりにも斜めすぎてああ、氷園とか寝屋とかね寝屋やったらね、この間さっきで捕まったねあの、市会議員がおったことだよねあ、そうですか目立ちながり屋やったって何の理由やねんってよく分からへんからかやしまなんかね、ずっとかやしま神社の楠木があったりとかそっちは知ってますけどね逆にこっちどうですか、近所ですけど、市内、朝日区朝日区ですか?千葉石、滝井、土井この滝と土井なんかも400mしかもう 見えてるんですも駅滝の駅行ったらもう土井が3回やったんでこの辺りですねサドルだけ取るってどんな街やねんと思いましたけどあー、確かにそういう思い出があってちょっと怖いんですよねそうですかーこの辺飽きませんかー扇町なんかどうですか?天神橋水晶展会なんかあそこはちょっと分かんないですね分かんないですか?ブーブー言っにょんっ 急に細らかっ天狗天狗はいっ これはないなコメンテーターやってるあの野良がゆっ子さんがね実家ですよねこのあたり昔この天禄ソルジャーというレディースのなんかちょっと幹部やったらしいですそこで芸人になって二条芸人の川谷子と結婚して現在にいたのみたいなとかどうですかどうですかこっちでの嫌なんですかねそっちは極力嫌な思い出しかないんでちょっと環境で嫌な思い出しかない元々は森口ですからねおじいちゃんが平方住んでたんですけど平方はいあの古川島で裸足できたんですよずいぶんつは来の忘れたらいい 冗談じゃないんですよほんま本気本気でどっかに気づくでしょせめて氷ぐらいではおじいちゃん靴大丈夫話できたらそんなことよりのどかいた言ってました そんな思い出があってちょっとはどうはかと思いますけどねこっち側 あの環境なんか考えるとまあこの京阪沿線ぐらいで考えたちょっと南下りますけど学研都市線というのがありますけどねあーそこはわかんないですね学研都市線でもやっぱりこっちの松井山手とかね 土石社大学のキャンパスがありますよ土石社大学の 全部土石社が京都の中心からこっちを移してきたんですよ松井山手 毒栄の松井山手ってでまぁこの間ですよね問題はね 市議の花店と九安幸之池神殿もうこの辺人いないです人いないですか?人いないですよ いやおるでしょ駅案内からいやいないですよ いや学系統制いわゆる昔の片町線ですね京橋から乗っていてそれまで人おるんですけどね 急にここだけなんかワークしちゃうみたいなもう知らん間に 星田の方まで行ってる星田でしょ?そうなるでしょ 星田ってなんやってんのあるでしょこういう編成ですよ。だいぶ安いですけどね。この辺りもね。安いといえば安いです。どうですか?逆にもうこっち出てみるっていうの。 いやもうそっちになるとわかんないですね。もうこの辺なんかいいですよ。それはね西宮、北口、住みたい町、蘭嶽、だいぶ上位です。1位です。宿川、倉久園、広葉園、この辺はいいですよ。もう連れてる犬がいちゃいます。もうみんなカリカリの犬ですよ。カリッカリのあの見たことないですあのまそれが縁日とかでなくこんなぶら下がってみるみたいあこうなっているんですねこうやってやるん そういうカリカリの犬が交差点で帰っはいはいでそれをマダムが拾い上げると 公表はないですよねこの辺の車やっぱこう腰からですねこの辺はメジャーまあまあ足はもそうですけどね あっ足ははキラーこれ有名じゃねえなご存知だと思いますけどそこに入れ家建てるいうのもあれですねいい感じの一応家物件ありますよ でもほとんどが問題で4億円の物件ですね長谷さん次やてぃの払いの9万9万 9万でそれ108万払うとして370年かかります寒いですわローンの歴史ね本出せますよね もう夜車後ぐらいが払い終わって出しても見れない最後力尽きて ここにやりなんか刺さってであのカリカリのね犬にペロンって舐めるよく分からないこの辺はもう高級ですからねちょっとやっぱりお高いです正直 西宮北区のマンションでも1億のマンションなんかゴロゴロありますし西宮ガーデンのでいたんですよ西宮北口からバーターいくんですけどね 中途半端な距離なんですよ西宮球で本音変な渡り廊下みたいな阪急がね頑張って 阪急が頑張っては誰のかとってですよねあのあのうあのほどありますよねすごい短いですもうそんだけはいでガーデンがで行こうには僕ないですよ 半径はかってあってはいそんな半径が出てあのあの百貨店の命だってばちゃんですよ 近いじゃないですよ西宮ガーデンのがいて余計なも作るか 西宮ガーデンのもに泉やなんですよくわかんないですもなんか指は泉やはあるんです イズメでもそのカードはね泉やったらレベルがちゃいますよカドマル泉屋は廃墟みたいな廃墟からない もうね30年40年廃墟なんですあそこあーなんかアマなんか住みたいランキングに入ってたと今そうなんすよ なんか知らんけど頑張ってるんですよあ じゃあいいじゃん昔のね キリンビールの工場とか全部潰して そこにマンションポーンと建ててね で外から人が来てもらうように言うてね手厚く子育て世代って言うやつですわあ いいじゃないですか子育て世代と言うと僕は特でいいと思うんですけどね昔の良さがないですもこの浜ヶ崎 は何か無理してます僕はどうせ伸びしてると思いますは昔もう 天ヶ崎のあの行き行ったビンタシアですもんねーねー花中さん安心してください安定してますよ阪神の天ヶ崎ここなら相当ですねもっとすごいの大物食いして千舟姫島よだかわ西大阪線入りまして出来島福電報地取橋こんな知り合いでおらんでしょこの辺住んでる人例えばお前どこ住んでんねんあ俺福福ですよこれ阪神南馬線って天ヶ崎まで繋がってるからええようなもんのね昔は西大阪線で独立してたんですよこれ昔はその中での福でき島電報 ですから演歌歌手の福永裕樹くんっていう のが電報らしいんですけどあと福永裕樹くんっていうのが 電報か言うてねそんな話もしたことあります知り合いもうここももうほとんどもう人 いないですねいないとこ2カ所あるんですね言い忘れてました北浜もね土日 になった人いないですよあの北斗の拳のエンディングのような 感じ風がフューって風がこうフューって見えるんですかこれ見えます見えます土日行ってくださいその代わり月金は人いっぱいですからただもうこの辺の小池自分の家は月金も人いないですこの四季の花店徳安はもう曜日がないですよ曜日なんかないんですこの辺りはもう孤島ですから関係ないですよもうそれはすごいですこれ意外とね梅田って聞いてどういうイメージあります梅田はもう繁華街ですよね考えでしょ?まあナンバーと同じような梅田頑張ってるんですよ今、梅田あのね、今ね、梅北って言われてあの梅田の、この南側はもう何もないですよもう今まで通りのことです阪神博多がいかいかパーンってやってたりとか異様にでかい出発地下ですね、阪神博多まあそれ南が北側ですよ昔のJR貨物あったとこ、あそこも全部ピョンと取っ払ってグランフロントというのができましたああそう数年前グランフロント三菱自称がやりだしちゃった グランフロント北が南館たんですよただ行ったからなんやねんちょいなとこまあね行ったついでにお昼ご飯でも食べようかてレストランがやっぱりあるでしょ 見たところでどうするって言うえっ タイバンやむちゃなんちゃピット経営でしょ台湾ちゃうし 梅北へ結局奥さんがちょっとないしなあんた言うて いや見てんねんけどもう家でもうあれしようやもうあのチキラメンにしようや なぜやなぁ言ってねうわぁ駐車券大丈夫かってこう旦那が 駐車券どっち旦那は駐車券のことばっかり中借金なんですよね今なんか暑いでしょ中がベタベタしてるでしょポケットの中で中借金が張り付いてそこずっとコスコスコスするときなんですよコスコスコスってねあ、あとここ忘れてましたわ南海のね新今宮、萩野茶、天河茶、岸野里玉でここ全部歯がないですもう歯がないんだもうおられんじゃんおれんじゃんおれんじゃんおれんじゃんおれんじゃんおれんじゃんおれんじゃんおれんじゃんおれんじゃん何ですか何を言ってるんですか早よ帰れ言ってるんですよ早よ帰れ言ってるんですよこれは本当にあとここも阪急沿線なんか憧れないですかあ、阪急ですよ、高級なこっち、こっちほど高級ではないですよ、宝塚線豊中とかね、北折地域もうハイソなイメージありますよねもう阪急はもうすごい、もう阪急はほんまにすごいですハイソです阪急はすごいです、ほんとにすごいです豊中とかすごいと思いますけどもねこの岡町、曽根、服部天神、庄内、三国は西成区と一緒ですからはい庄内に五色いうのあってねもうなんか絵描いてる人が顔笑ってますなかなかええとこですよみんなね
文字起こしの完成度でいうと、難波や守口といった地名は弱いですが、まずまず読める程度です。
（関西弁でこれだけの精度が出るのはすごい）
改行や句読点を入れると普通に読めるレベルの文章です
結論
openAIやclaudeなど、最新のAIモデルと比べると回答精度は若干劣るものの、十分に実用に耐えうるレベル。
なんといっても速度は圧倒的であり、音声会話などレスポンスが重視されるアプリケーションに使えそう
Discussion