Closed47

いまさらLLM周りの話にキャッチアップするにはどうしたらいいのかなーとうろうろするスクラップ

ピン留めされたアイテム
hajimismhajimism

ただのTwitter徘徊になったので一旦ラップアップ

  • 自分はAIと知的生産のところに興味がある
    • 論文生成
    • UI生成
  • ツール関係は用途が明確な状態で必要性が出てきてから調べる
  • 『AIとSF』良さそう
  • 『その日暮らしの人類学』良さそう
  • Googleの講座良さそう
hajimismhajimism

初期の「なんやわけわからん」みたいなフェーズはさすがに過ぎ去ったかなーということでそろそろAIを使いこなせるように成りたい。

使いこなせるようになりたいだけで詳しい仕組みがわかりたいわけではないけれど、使いこなせるようになるためには結局原理原則を押さえなければいけないなー、みたいな気持ちがある。

なにからすればいいのかわからないところからスタートする。

hajimismhajimism

一応ChatGPTには課金してちょいちょい使ってる、くらい。

hajimismhajimism

Twitterにいい感じの動画が流れてきたのでこれを見る
https://www.youtube.com/watch?v=aKqIPlDyWhs

hajimismhajimism

言語モデルのやっていること

  • 与えられたテキストの次にどんなテキストが来るか予測する
  • 予測は、でけー言語データをもとに行う
hajimismhajimism

単語をベクトルで表現することで、膨大な意味空間を扱う(ニューラルネットワーク?)

hajimismhajimism

encoder/decoder model
内部状態を分解して重み付けしていく?

Attention Is All You Needって聞いたことあるな

hajimismhajimism

ChatGPTみたいなやつが「口を滑らせる」のをHallucinationsというらしい

hajimismhajimism

松尾先生と安宅先生のやつ読むかー
https://note.com/akihisa_shiozaki/n/n4c126c27fd3d

hajimismhajimism

松尾先生のやつのここ、えぐいな。いまこれどうなってるんだろう。

大規模言語モデルを自ら開発する

  • 数百億円あれば同じようなものは作れる(ただし、その間に相手はもっと先に行く。)
  • 今後のインパクトの大きさを考えれば、この戦いに参入するチケットとしては安い。この機会が開いているウィンドウは短い。
hajimismhajimism

インターネットは「制脳権」「制情報権」の作戦空間

この視座えぐいな

hajimismhajimism

対症療法ではなく現実的かつストレッチした目標設定が必要

中国を例にみると説得力すごいな

hajimismhajimism

この国はスクラップ&ビルドで のし上がってきた。 今度も立ち上がれる。

やべ、途中から本題を忘れて見入ってしまった

hajimismhajimism

わからんくなった、たぶん見方によっては最悪の調べ方だけどTwitterで最新情報おっかけてみる

hajimismhajimism

ツール紹介系のアカウントはめっちゃあるけど、正直きりないからな...

hajimismhajimism

https://ledge.ai/theai-2nd-ochiai/

「限界費用(生産量の増加分に対する費用)がゼロの課題を見つけて、副業なり、好きなことをはじめるなりすればいいと思います。突発的なゴールや目標に向かって突き進むライフスタイルを僕はクマ狩りと呼びたいです。」

クマ狩りねー、
まあ考えていることはみなおなじ

hajimismhajimism

「そしてAIをクマを狩る武器として考えたときに、問題を解決するために、数人のチームでマタギ的な組織を形成していく。
社会のなかでどのように問題を見つけて、どのように解決していくのか、そのための組織をどう作るのかにフォーカスし、AIを利用していくといいんじゃないかなと思います。」

そうですよねー

hajimismhajimism

いまは「AIを使いたい」という同期で探索しているのでダメだなって思う

hajimismhajimism

てかこれ5年前の記事なんかw
マタギドライブの話はそんな前からあったんやな

hajimismhajimism

そういえば抽象言語オブジェクトをAIに食わせてFigmaで出力できればOOUIに基づいたアプリケーション設計がめっちゃ簡単にできるんじゃねっていう妄想をしたことがあったな

このスクラップは2023/06/10にクローズされました