Apple Scriptで以下のような機能を実装したい。

- 何らかのショートカットキーで起動
- スクリーンショット選択（範囲指定）
- スクリーンショットをBase64 encoding
- Base64をpayloadにしてバックエンドAPIにpost
  - エンドポイントは仮置きしてください。
  - Backendはmarkdownテキストを返します。
- markdownをclipboardにコピー
- 結果を何らかの形で通知
  - エラーの場合も。

try
	-- 一時ファイルパスの設定
	set tempPath to (path to temporary items as text) & "temp_screenshot.png"
	
	-- スクリーンショット取得（選択範囲指定モード）
	do shell script "screencapture -i " & quoted form of POSIX path of tempPath
	
	-- スクリーンショットが取得されたか確認
	tell application "System Events"
		if not (exists file tempPath) then
			error "スクリーンショットの取得に失敗しました。選択範囲の指定をキャンセルした可能性があります。"
		end if
	end tell
	
	-- 画像をbase64エンコード
	set base64Data to do shell script "base64 " & quoted form of POSIX path of tempPath
	
	-- JSONデータの作成
	set jsonData to "{\"image\":\"" & base64Data & "\"}"
	
	-- APIエンドポイント設定
	set apiURL to "https://api.example.com/convert/markdown"
	
	-- curlでPOSTリクエスト実行、JSONレスポンスをjqでmarkdownテキストを抽出
	set curlCommand to "curl -X POST -H \"Content-Type: application/json\" -d " & quoted form of jsonData & " " & apiURL & " | jq -r .markdown"
	
	-- リクエスト実行と結果取得
	set response to ""
	try
		set response to do shell script curlCommand
	on error errorMessage
		error "APIリクエストに失敗しました。: " & errorMessage
	end try
	
	-- レスポンスが空でないかチェック
	if response is "" then
		error "APIからのレスポンスが空です。"
	end if
	
	-- レスポンスをクリップボードにコピー
	set the clipboard to response
	
	-- 一時ファイルの削除
	do shell script "rm " & quoted form of POSIX path of tempPath
	
	-- 成功通知
	display notification "Markdownをクリップボードにコピーしました。" with title "変換成功" sound name "Glass"
	
on error errorMessage
	-- エラー通知
	display notification "エラーが発生しました: " & errorMessage with title "エラー" sound name "Basso"
end try

try
	set tempFolder to do shell script "echo $TMPDIR"
	set tempPath to tempFolder & "temp_screenshot.png"
	
	-- スクリーンショット取得（選択範囲指定モード）
	do shell script "screencapture -i " & quoted form of tempPath
	
	-- スクリーンショットが取得されたか確認
	set fileExists to do shell script "[ -f " & quoted form of tempPath & " ] && echo 'yes' || echo 'no'"
	if fileExists is "no" then
		error "スクリーンショットの取得に失敗しました。選択範囲の指定をキャンセルした可能性があります。"
	end if
	
	-- 画像をbase64エンコード（標準入力から読み込み）
	set base64Data to do shell script "base64 < " & quoted form of tempPath
	
	-- JSONデータの作成
	set jsonData to "{\"image\":\"" & base64Data & "\"}"
	
	-- APIエンドポイント設定 (例)
	set apiURL to "https://api.example.com/convert/markdown"
	
	-- curlでPOSTリクエスト実行、JSONレスポンスをjqでmarkdownテキストを抽出
	-- ※ Macにjqがインストールされている必要があります: brew install jq
	set curlCommand to "curl -X POST -H \"Content-Type: application/json\" -d " & quoted form of jsonData & " " & apiURL & " | jq -r .markdown"
	
	-- リクエスト実行と結果取得
	set response to ""
	try
		set response to do shell script curlCommand
	on error errorMessage
		error "APIリクエストに失敗しました。: " & errorMessage
	end try
	
	-- レスポンスが空でないかチェック
	if response is "" then
		error "APIからのレスポンスが空です。"
	end if
	
	-- レスポンスをクリップボードにコピー
	set the clipboard to response
	
	-- 一時ファイルの削除
	do shell script "rm -f " & quoted form of tempPath
	
	-- 成功通知
	display notification "Markdownをクリップボードにコピーしました。" with title "変換成功" sound name "Glass"
	
on error errorMessage
	-- エラー通知
	display notification "エラーが発生しました: " & errorMessage with title "エラー" sound name "Basso"
end try

function doPost(e) {
  console.log(e.postData.contents)
  return ContentService.createTextOutput("hello World");
}

try
	set tempFolder to do shell script "echo $TMPDIR"
	set tempPath to tempFolder & "temp_screenshot.png"
	
	-- スクリーンショット取得（選択範囲指定モード）
	do shell script "screencapture -i " & quoted form of tempPath
	
	-- スクリーンショットが取得されたか確認
	set fileExists to do shell script "[ -f " & quoted form of tempPath & " ] && echo 'yes' || echo 'no'"
	if fileExists is "no" then
		error "スクリーンショットの取得に失敗しました。選択範囲の指定をキャンセルした可能性があります。"
	end if
	
	-- 画像をbase64エンコード（標準入力から読み込み）
	set base64Data to do shell script "base64 < " & quoted form of tempPath
	
	-- JSONデータの作成
	set jsonData to "{\"image\":\"" & base64Data & "\"}"
	
	-- APIエンドポイント設定
	set apiURL to "https://script.google.com/macros/s/<deployしたエンドポイント>/exec"
	
	-- curlでPOSTリクエストを実行
	set curlCommand to "curl -X POST -H \"Content-Type: application/json\" -d " & quoted form of jsonData & " " & apiURL
	
	-- リクエスト実行と結果取得
	set response to ""
	try
		set response to do shell script curlCommand
		
		-- レスポンスが空でないかチェック
		if response is "" then
			error "APIからのレスポンスが空です。"
		end if
		
		-- レスポンスをクリップボードにコピー
		set the clipboard to response
		
		-- 成功通知
		display notification "Markdownをクリップボードにコピーしました。" with title "変換成功" sound name "Glass"
		
	on error errorMessage
		error "APIリクエストに失敗しました。: " & errorMessage
	end try
	
	-- 一時ファイルの削除
	do shell script "rm -f " & quoted form of tempPath
	
on error errorMessage
	-- エラー通知
	display notification "エラーが発生しました: " & errorMessage with title "エラー" sound name "Basso"
end try

<HTML>
<HEAD>
<TITLE>Moved Temporarily</TITLE>
</HEAD>
<BODY BGCOLOR="#FFFFFF" TEXT="#000000">
<!-- GSE Default Error -->
<H1>Moved Temporarily</H1>
The document has moved <A HREF="https://script.googleusercontent.com/macros/echo?user_content_key...">here</A>.
</BODY>
</HTML>

	set curlCommand to "curl -L -H \"Content-Type: application/json\" -d " & quoted form of jsonData & " " & apiURL

function doPost(e) {
  const jsonData = JSON.parse(e.postData.contents);  
  const base64Data = jsonData.image;
  
  return ContentService
    .createTextOutput(base64Data)
}

function doPost(e) {
  const jsonData = JSON.parse(e.postData.contents);  
  const base64Data = jsonData.image;
  
  // base64を元にMarkdown変換
  const markdown = convertToMarkdown(base64Data);
  
  return ContentService
    .createTextOutput(markdown)
    .setMimeType(ContentService.MimeType.TEXT);
}


function convertToMarkdown(base64){
  const apiKey = PropertiesService.getScriptProperties().getProperty("API_KEY")
  const endpoint = `https://generativelanguage.googleapis.com/v1beta/models/gemini-1.5-flash-latest:generateContent?key=${apiKey}`;
  
  const payload = {
    "contents": [{
      "parts": [{
        "text": "「わん！」と言ってください"
      }]
    }]
  };
  
  const options = {
    "method": "post",
    "contentType": "application/json",
    "payload": JSON.stringify(payload)
  };
  
  const response = UrlFetchApp.fetch(endpoint, options);
  const json = JSON.parse(response.getContentText());

  const output = (json.candidates && json.candidates.length > 0) ? json.candidates[0].content.parts[0].text : "";
  console.log(output)
  
  return output;
}

function doPost(e) {
  const jsonData = JSON.parse(e.postData.contents);
  const base64Data = jsonData.image;
  if (!base64Data) {
    return sendTextOutput("")
  }
  // base64を元にMarkdown変換
  const markdown = convertToMarkdown(base64Data);

  return sendTextOutput(markdown)
}

function sendTextOutput(content) {
  return ContentService
    .createTextOutput(content)
    .setMimeType(ContentService.MimeType.TEXT);
}

const SYSTEM_PROMPT = `あなたはスクリーンショットをmarkdownに変換するアシスタントです。以下に注意して変換してください。

- 基本的には画像内の文字を読み取ってmarkdownに変換してください。その際、必要に応じてmarkdown tableやlist、boldなどの記法を使い、なるべく画像内の文字を忠実に再現するように努めてください。
  - 特にテーブルやリストでうまく表現できる場合は積極的に使ってください。
- 画像に文字がない場合は、空文字（""）を返してください。
- 回答形式は、変換したmarkdownのみとしてください。前置きや解説は不要です。`

function convertToMarkdown(base64) {
  const apiKey = PropertiesService.getScriptProperties().getProperty("API_KEY");
  const endpoint = `https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp:generateContent?key=${apiKey}`;

  const payload = {
    "contents": {
      "role": "USER",
      "parts": [
        {
          "inlineData": {
            "data": base64,
            "mimeType": "image/png"
          }
        },
        {
          "text": "スクリーンショットをmarkdownに文字起こししてください。"
        }
      ]
    },
    "system_instruction": {
      "parts": [
        {
          "text": SYSTEM_PROMPT,
        }
      ]
    },
    "generation_config": {
      "temperature": 0,
    }
  };

  const options = {
    "method": "post",
    "contentType": "application/json",
    "payload": JSON.stringify(payload)
  };

  const response = UrlFetchApp.fetch(endpoint, options);
  const json = JSON.parse(response.getContentText());

  const output = (json.candidates && json.candidates.length > 0 &&
    json.candidates[0].content && json.candidates[0].content.parts &&
    json.candidates[0].content.parts.length > 0)
    ? json.candidates[0].content.parts[0].text
    : "";

  console.log(output);

  return output;
}

Open 1分前に作成 0

**Apple Scriptを使ってスクリーンショットをmarkdownにしてコピペする**

+ トピックを追加しましょう

	-- 画像をリサイズ
	do shell script "sips -Z 600 " & quoted form of tempPath