[速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、PCに話しかけながら画面を操作するだけでRPAフローを自動生成してくれる、Power Automateの新機能「AIレコーダー」を発表しました。
人間に操作を教えるように、AIに話しながら操作
これまでRPAフローを作成する方法として、マウスやキーボードなどの操作を記録することで基本的なRPAフローを作成することが可能でした。
今回発表された新機能「AIレコーダー」は、まるで人間に言葉で説明しながら業務アプリケーションの操作を教えるように、マウスとキーボードを操作しつつ音声で説明することで、どのような意図で操作しているのかを詳しくAIに伝えます。
これにより、より柔軟性があり完成度の高いRPAフローをAIが作成してくれるのです。
以下はデモ動画の内容をキャプチャしたものです。
ユーザーは「Outlookを起動して添付ファイルのあるメールを選ぶ」と話しながら画面操作をします。
さらに、「添付ファイルの請求書を開き、社名と連絡先、日付、合計金額をコピー」と話しながら操作。
「請求管理アプリケーションに、それらをペーストする」と、操作を続けます。
操作を終えると、マウスの動きやキーボードの入力内容と同時に音声もAIによって解析されます。そして、説明された意図に沿ったRPAフローが自動生成されるのです。
米マイクロソフトのPrincipal Program ManagerでPower Platformの開発に携わるよしだたいき氏が、X/TwitterのポストでこのAIレコーダーについて日本語訳付きの動画で紹介しています。
出たーーーーーーーーーーーーー!
— よしだたいき | 高卒で??GAFAMエンジニア (@TaikiYoshidaJP) May 21, 2024
Power Automate が声と画面操作するだけで自動でRPA作っちゃいますよ機能「AI レコーダー」爆誕!!
しかもUI変わっても自動修復までしてくれちゃう!
ちゃんと日本語動画作っておきましたよ↓#MSBuild #PowerAutomate pic.twitter.com/m5eSuVVdiq
Microsoft Build 2024
- [速報]GitHub Copilot extensions発表。CopilotがDockerやAzureなどサードパーティの専門家へ拡張、プログラマの質問に答えてくれる
- [速報]マイクロソフトが「Team Copilot」発表。生成AIが会議のファシリテーターやプロジェクト管理を実行
- [速報]マイクロソフト、自律型AIソフトウェアエンジニア「Devin」のCognition AIと提携を発表。Azure上でDevinを提供へ
- [速報]Microsoft Copilotを誰でもカスタマイズして共有できる新機能を発表
- [速報]マイクロソフト、Copilotを一連のタスクを自律的に実行できる「エージェント」へと拡張。受注したら在庫確認して顧客へ発送などが可能に
- [速報]マイクロソフト、PCに話しかけながら画面を操作するだけで生成AIがRPAフローを自動生成してくれる、Power Automate「AIレコーダー」発表
- [速報]マイクロソフト、独自Armプロセッサ「Cobalt」を用いた仮想マシンをAzureでプレビュー公開開始
- AzureについてCopilotが何でも教えてくれる「GitHub Copilot for Azure」発表。操作方法からプログラミング、デプロイの方法まで
- マイクロソフト、「Copilot Connectors」発表。CSVファイルからOracle、Salesforceなどさまざまなサービスやデータソースと接続しAIが理解
あわせて読みたい
[速報]マイクロソフト、独自Armプロセッサ「Cobalt」を用いた仮想マシンをAzureでプレビュー公開開始
≪前の記事
[速報]マイクロソフト、Copilotを一連のタスクを自律的に実行できる「エージェント」へと拡張。受注したら在庫確認して顧客へ発送などが可能に