2024年の6月に登場したApple Intelligence
業務ではMacbook、私生活ではiPhoneを使ってるので今後どんな便利な機能が登場するのか気になったので調査してみた。
動作環境、使えるデバイス
iOS18のiPhoneとiPad、macOS SequoiaのMacbookで利用が可能です。
対応デバイスは以下です。
まだ日本語には対応できてないですが、4月以降から順次使えるようになってくるそうです。
何がすごいの
1. エンジニアがアプリに組み込める
Apple機器の機能ということだけではなくて、作っているアプリに組み込めるのがApple Intelligence最大のすごいところだと思います。
今までは機能ごとにクラウド側のAIモデルと疎通する必要がありましたが、一部機能はApple Intelligenceで代替できそうです。
さらに特定のUIフレームワークさえ使えば良さそうなので実装難易度も低そう。
2. オンデバイス上で動作
使用されるAIモデルは端末内に組み込まれてるそうです。
そのためプライバシーな情報はクラウドに収集されない仕組みになっています。
てことはオフライン環境でも動いてくれるってことかな。
※複雑な処理はクラウドに配置しているAIモデルが実行されるそう
3. ChatGPTと連携
文章作成やSiriにChatGPTが統合されました、ChatGPTの機能を無料で使えるようです。
オンデバイス上で動かす処理の場合はApple Intelligenceのモデル、クラウド上で動かす処理の場合はChatGPTが使われるってことですかね。
機能一覧
1. Writing Tools
-
要約機能...長文やメール文の翻訳、Apple標準アプリ以外で使用できる??
-
文章作成機能...言葉づかいまで設定した文章作成、文章の校正、通話の議事録生成など
-
通知メッセージの理解機能...複数通知が溜まってる時に、優先度の高い通知を一番上(最新)に持ってきてくれる
2. Image Playground & Genmoji
-
画像生成機能...ユーザーのインプットをもとに数秒程度で画像を生成してくれる、インプットは写真でも可能。使うアプリによって様々な形式に変えることもできる
-
Image Wand機能...メモアプリに書いたラフなスケッチを綺麗な絵に書き換えてくれる
-
メモリムービー作成機能...ユーザーのインプットから関連の高い写真を抽出してストーリーを作成してくれる
-
写真、ビデオ検索機能...ユーザーのインプットから関連性の高いものを写真内、ビデオ内から抽出してくり抜いてくれます。
-
写真加工機能...写真内にある不要な情報を消すことができる
3. Siri with App Intents
-
言語理解能力の強化...「そこ」とか「これ」といった言葉も位置情報やユーザーの操作履歴から推論して何を指しているのか理解してくれる。
-
スクリーン上の情報を理解...今映してるスクリーンの情報を読み取って回答することができるようになった。
端末でApple Intelligenceを使えるようにする
Apple Intelligenceはまだベータ機能なので、端末とOSの他に使用できる地域も限られています。
端末の言語と地域を「アメリカ合衆国」にする必要があります。
※日本のままだと使えないのでご注意を
「設定」アプリ→「一般」→言語をEnglish & 地域をUnited Statesにする
端末が再起動されて、「設定」アプリ→「Apple Intelligence & Siri」にアクセスするとスクショのようにPreparingとなってるはずなのでしばしお待ちを..
ちょっと待つとスクショのようにオンになります。
これで使えるようになりました。
実装方法
実装はこの記事で載せますが、各機能がそれなりにボリューミーなので動かしてみた検証は別の記事で。
1. Writing Tools
Text・TextField・TextEditorの三つのコンポーネントで利用が可能です。
実装は至ってシンプルで、コンポーネントにwritingToolsBehaviorをつけるだけでWritingToolsを使えるようになります。
import SwiftUI
struct WritingToolView: View {
@State var textFieldTextComplete = "Writ text here ..."
var body: some View {
VStack {
TextEditor(text: $textFieldTextComplete).writingToolsBehavior(.complete).frame(height: 300).padding(.horizontal).border(.blue)
}.padding()
}
}
#Preview {
WritingToolView()
}
2. Image Playground
こちらはどうやらiOS18.1以降じゃないと使えないっぽいです。
一番最新のOSにしてない人も多いと思うのでOSのバージョンによる条件分岐は入れた方が良さそう。
import SwiftUI
#if canImport(ImagePlayground)
import ImagePlayground
#endif
@available(iOS 18.1, macOS 15.1, *)
struct ImagePlaygroundView: View {
@Environment(\.supportsImagePlayground) private var supportsImagePlayground
@State private var showImagePlayground = false
@State private var createdImageURL: URL?
var body: some View {
VStack {
if let url = createdImageURL {
AsyncImage(url: url) { image in
image.resizable().aspectRatio(contentMode: .fit).frame(maxWidth: 300, maxHeight: 300)
} placeholder: {
ProgressView()
}
}
if supportsImagePlayground {
Button("Show Generation Sheet") {
showImagePlayground = true
}
.imagePlaygroundSheet(isPresented: $showImagePlayground, concepts: [.text("Koala wearing VR goggles")]) { url in
createdImageURL = url
}
} else {
ContentUnavailableView(
"ImagePlayground Unavailable",
systemImage: "exclamationmark.triangle",
description: Text("This feature requires iOS 18.2 or macOS 15.2")
)
.padding()
}
}
}
}
3. Gen moji
どうやらSwiftUIだとできなさそう....
サポートされてるのかApple Developerで問い合わせてる方がいるのですが、返信がないので分からないですね。
4. Siri & App Intents
こちらはけっこう複雑そうな内容なので別の記事で。
最後に
若干モヤモヤしたのが、Appleが「SwiftUIが今後の主流となる、最新の機能はSwiftUIからだよ~」的なこと言ってるのに、サポートされ始められてるのがUI KitとかApp Kitからになってることです。
Apple Intelligence登場時はUI Kitを使わないと上記機能を実装できなかったらしいです。（今はできるようになった）
こういう新機能が組み込まれていくのがSwiftUIってことじゃないの??と...
この方も同様の旨おっしゃられてます。
まだベータ機能とはいえ、2025年4月以降にどんどん使われていくことになるので、すでにリリースしているアプリはApple Intelligenceに対応していかないとですね。
Discussion