Open2

screenpipeを試す

kun432kun432

ここで知った。

https://twitter.com/louis030195/status/1828447895789445235

ざっと見た感じ、バックグラウンドに常駐して、画面と音声を一定間隔で継続的に取得、LLMに渡してアノテーションさせるライブラリ、という感じ。ニーズはあれど、プライベートなところに踏み込んでくるなと。

GitHubレポジトリ

https://github.com/mediar-ai/screenpipe

24時間365日稼働の画面および音声キャプチャ

あなたが目にしたもの、言ったもの、聞いたものに基づいてパーソナライズされたAIを構築するためのライブラリです。Ollamaと連携します。Rewind.aiの代替品です。オープンで安全。データはあなたのものであり、私たちは毎日出荷し、提案を行い、バグを報告し、フィードバックを提供しています。


referred from https://github.com/mediar-ai/screenpipe

なぜ?

ユーザーがボタンをクリックするだけで、スクリプトがバックグラウンドで24時間365日稼働し、画面と音声入出力からデータを収集・抽出する、信頼性の高い音声およびスクリーンショットデータのストリームを構築するのは、非常に骨の折れる作業です。

このレイヤーの上に構築できるユースケースは数多くあります。他の開発者の負担を軽減するために、私たちはこの重大な問題の解決に乗り出しました。まだ初期段階ですが、エンドツーエンドで動作します。私たちはこの作業に専念しており、皆さまからのフィードバックやご提案をお待ちしております。

kun432kun432

インストール

https://github.com/mediar-ai/screenpipe?tab=readme-ov-file#get-started

インストール方法はいくつかある様子。

  • CLI: 技術的なユーザー向け
  • 有料デスクトップアプリ: 1年間のアップデート、優先サポート、優先機能付き
  • 無料デスクトップアプリ: 永久無料、そのかわり自分でビルドする必要がある
  • 無料デスクトップアプリ: 永久無料、そのかわり、PRを送信したり、または無料版を紹介する必要がある
  • Rust/WASM ライブラリ
  • ビジネス用途: ユースケースを開発者に直接コンタクトしてユースケースを伝える

有料デスクトップアプリはこちら

https://screenpi.pe/

料金を見るとこんな感じ

デスクトップを自分でビルドする方法はドキュメント化されていないので、とりあえずまずはCLIからかな。