蘋果將其GenAI '蘋果智能'帶給開發人員,讓Siri控制應用程序

蘋果智能,蘋果的新生成AI產品,不僅將成為消費者面向的功能;開發人員也將能夠利用最新技術。在周一的WWDC 2024蘋果全球開發者大會演講中,蘋果宣布開發人員將能夠將由蘋果智能驅動的體驗集成到自己的應用程序中。

蘋果的SDK(軟體開發套件)已經更新,引入了多種新的API和框架,可以讓應用製作者輕鬆地集成圖像遊樂場(或GenAI圖像創作)等功能。蘋果展示了如何像Craft這樣的應用程序可以使用此產品使用者的文件更具視覺效果,使他們能夠添加AI圖像。

同時,蘋果正在為開發人員提供更多與Siri在應用程序中進行操作的方法。

已經支持SiriKit的開發人員將立即看到對Siri的許多新功能的增強,而無需額外工作,蘋果表示。這包括列表、記事、媒體、消息、支付、餐廳預訂、互聯網語音通話和運動。

在開發者大會上,蘋果表示,開發人員將能夠在不進行任何額外工作的情況下從兩個新的Siri功能中受益。首先,Siri能夠調用應用程序選單中的任何項目。這意味著用戶可以在投影片中說出像“顯示我的演講者備忘錄”這樣的話,甚至可以更具會話性地說出“我需要看看我的演講者備忘錄”。

其次,Siri將能夠訪問使用蘋果標準文本系統顯示的任何文字。這將使用戶能夠參考並對屏幕上的文字採取行動。例如,如果您有一個提醒或備忘錄說“祝爺爺生日快樂”,您可以只需說“與他視頻通話”來對該備忘錄採取行動。

與此同時,蘋果的App Intents框架,可以實現無需安裝應用程序的輕量級應用程式交互,也將獲得對蘋果智能的訪問。

蘋果正在定義新意圖,並讓它們對開發人員開放,在從圖書、瀏覽器、相機、文檔閱讀器、文件管理、日記、郵件、照片、簡報、電子表格、白板和文字處理器等一組類別開始。

圖片來源:蘋果

蘋果聲稱,這些意圖已經被定義和測試,使開發人員更容易採用。

有了這些意圖,一個照片編輯應用程序像Darkroom就可以利用“應用濾鏡”意圖,這樣用戶就可以直接說“對我昨天拍到的Ian的相片應用一個電影般的濾鏡”來採取行動。更多領域將會在未來添加。

最初,用戶將能夠使用Shortcuts應用程序來開發,但隨著時間的推移,Siri將能夠在支持的領域中調用應用程序意圖。

此外,蘋果在其演講中分享,符合現有SiriKit領域的應用程序將能夠從Siri的增強對話功能中受益,例如即使你口齒不清或理解對話早期的參考也沒問題。

Siri還將能夠使用新的Spotlight API從應用程序中搜索數據,該API使應用實體能夠包含在其索引中。這些實體指的是蘋果智能的語義索引中的照片、消息、文件、日曆事件等內容。

同時,該公司還宣布了其自己的密碼管理應用程式、AI生成的Bitmoji和iPad的計算器。

此貼文在發布後被更新,添加了來自開發者大會的更多資訊。