Agents & Automation

Browser Automation Tool Microsoft Foundry: Agen Bisa Buka Situs Sendiri

Browser Automation Tool akhirnya berstatus GA di Microsoft Foundry. Ini ringkasan fitur, alur observe-act, prasyarat setup, dan risiko yang perlu kamu antisipasi sebelum dipakai.

Browser Automation Tool di Microsoft Foundry Kini GA: Panduan Praktis

Browser Automation Tool (BAT) sekarang berstatus generally available di Microsoft Foundry [3]. Tool ini membiarkan agenmu membuka situs, mengeklik tombol, membaca isi halaman, dan mengisi formulir di browser sungguhan. Tulisan ini merangkum apa yang berubah setelah GA, fitur yang tersedia, cara kerjanya, sampai langkah setup dan risiko yang perlu kamu waspadai.

Apa itu Browser Automation Tool?

BAT adalah tool di Microsoft Foundry yang memberi agen kemampuan mengoperasikan browser: navigasi halaman, ekstraksi dan validasi informasi, interaksi dengan elemen, pengisian formulir, dan alur kerja bertahap lintas situs [3]. Tool ini tersedia sebagai MCP tool, dan lapisan infrastruktur browsernya dijalankan oleh Playwright Workspaces [3].

MCP (Model Context Protocol) adalah antarmuka standar untuk menghubungkan agen dengan tool eksternal. Agen tidak perlu tahu detail teknis browser di baliknya. Dia cukup memanggil tool yang sudah diekspos.

Status GA menandakan tool ini sudah keluar dari tahap preview dan jadi bagian layanan Foundry Agents yang tersedia umum [3]. Kalau kamu selama ini menunggu fitur ini stabil sebelum dipakai di luar eksperimen, inilah titik mulainya. Satu catatan: dokumentasi resmi tidak mencantumkan tanggal pasti rilis GA, jadi untuk kebutuhan laporan internal sebaiknya cek langsung ke pengumuman Microsoft.

Fitur Utama

Ada empat kemampuan yang paling terasa di versi GA: Live View, human-in-the-loop, private website browsing (masih public preview), dan observability bawaan [3].

  • Live View menampilkan sesi browser yang sedang berjalan secara real-time. Ini penyelamat waktu saat agen macet di tengah alur dan kamu perlu tahu di halaman mana masalahnya.
  • Human-in-the-loop membiarkan kamu mengambil alih kendali browser. Cocok untuk langkah yang butuh konfirmasi manusia, misalnya sebelum menekan tombol submit.
  • Private website browsing mendukung akses ke situs internal atau terbatas. Statusnya public preview, jadi jangan langsung dijadikan tumpuan alur produksi yang kritis.
  • Observability menyimpan data sesi browser untuk menelusuri kegagalan dan mengukur keandalan agen dari waktu ke waktu.

Untuk pengelolaan tool, dokumentasi menyarankan mendaftarkan BAT lewat toolbox. Dengan cara ini tool bisa dipakai ulang lintas agen dan runtime, sementara kredensial, versioning, dan policy dipusatkan di satu endpoint MCP terkelola [3]. Rangkaian tool browsernya sendiri mencakup pengelolaan sesi, navigasi dan inspeksi halaman, interaksi elemen, penanganan tab dan file, serta pengambilan kondisi browser [3]. Aktifkan hanya tool yang kamu butuhkan.

Cara Kerja: Observe, Act, Repeat

Alurnya satu lingkaran sederhana: agen melihat kondisi halaman, memilih satu aksi, menjalankannya, lalu melihat lagi hasilnya [3].

  1. Kamu mengirim permintaan dalam bahasa natural, misalnya “cari semua tagihan vendor X yang jatuh tempo bulan ini”.
  2. Agen memanggil BAT yang terhubung ke Playwright Workspace milikmu.
  3. Layanan membuat sesi browser dan memberinya session ID. ID ini dipakai terus di sepanjang tugas supaya agen tetap bekerja di konteks browser yang sama.
  4. Agen membuka halaman dan memeriksa isinya untuk menentukan operasi berikutnya.
  5. Agen mengeksekusi aksi: pindah halaman, memilih elemen, mengetik, atau menekan kontrol. Kondisi halaman setelah aksi jadi bahan untuk langkah selanjutnya.
  6. Untuk alur bertahap, langkah 4 dan 5 diulang di sesi yang sama. Agen menyesuaikan aksi berdasarkan keadaan halaman saat itu, bukan mengikuti skrip yang sudah dipatok dari awal.
  7. Setelah pekerjaan selesai, sesi ditutup dan resource browsernya dilepas.

Karena browser berjalan remote di Playwright Workspaces, kamu tidak perlu memasang browser atau runtime Playwright di mesin lokal [3]. Dokumentasi versi classic memberi gambaran tambahan soal mekanismenya: model “melihat” layar dengan mem-parsing HTML atau XML menjadi DOM, lalu mengirim aksi seperti klik pada koordinat atau permintaan screenshot untuk menilai kondisi terbaru [1].

Kasus Penggunaan yang Cocok

BAT paling masuk akal dipakai ketika sistem yang kamu incar tidak punya API, atau ketika satu alur harus melintasi beberapa aplikasi berbasis browser [3].

  • Isi formulir dan integrasi pihak ketiga. Memindahkan data antar aplikasi web yang tidak menyediakan API.
  • Riset web dan ekstraksi data. Menelusuri situs, memfilter hasil, lalu membandingkan informasi dari beberapa sumber.
  • QA dan regression testing. Menjalankan ulang alur pengguna end-to-end dan mereproduksi bug di sesi browser nyata.
  • Customer support. Mengulang perjalanan pelanggan untuk mengumpulkan konteks sebelum tim support turun tangan.
  • Otomasi sistem legacy. Menangani portal internal atau vendor yang tidak punya API modern.
  • Operasi karyawan dan bisnis. Alur yang tetap diawasi manusia, seperti proses invoice atau tugas siklus hidup karyawan.

Contoh konkret dari dokumentasi: tim finance operations memakai agen untuk mengambil detail invoice dari portal vendor, mencocokkannya dengan sistem internal, lalu memasukkan datanya ke aplikasi keuangan lama [3].

Setup dan Prasyarat

Siapkan resource dan izinnya lebih dulu sebelum menyentuh kode, karena urutannya berpengaruh dan beberapa role hanya dibutuhkan sesaat.

Prasyarat yang harus lengkap [3]:

  • Azure subscription aktif.
  • Role Foundry User di project Foundry untuk pengembangan dan pemakaian harian.
  • Role Foundry Project Manager kalau kamu yang membuat project connection.
  • Role Contributor di resource group tujuan, tapi hanya selama pembuatan Playwright workspace. Aktifkan just-in-time lewat Microsoft Entra Privileged Identity Management, lalu matikan setelah provisioning selesai.
  • Project Foundry dengan endpoint yang sudah dikonfigurasi.
  • Model AI yang sudah di-deploy di project. Dokumentasi menyebut contoh seperti gpt-5.4, dan kamu perlu memastikan model serta region project mendukung Browser Automation.
  • Resource Playwright workspace, plus project connection ke workspace tersebut.

Setelah itu pilih jalur setup sesuai tempat logika agenmu berjalan [3]:

  • Prompt agent untuk jalur tercepat. Kamu definisikan instruksi, model, dan tool di Foundry, lalu Foundry yang menjalankan agen.
  • Prompt agent dengan GitHub Copilot harness kalau kamu mau harness dan lingkungan eksekusi terisolasi yang dikelola Foundry, tanpa mengoperasikan kode harness sendiri.
  • Hosted agent dengan Microsoft Agent Framework kalau kamu butuh kode agen sendiri tapi tetap ingin hosting, scaling, identitas, dan observability dari Foundry.
  • Hosted agent dengan framework sendiri (LangGraph, OpenAI Agents SDK, Semantic Kernel, atau kode custom) kalau orkestrasi yang ada sekarang harus dipertahankan. Sambungkan lewat MCP client milik framework-mu.

Untuk contoh Python, paket yang dipasang adalah azure-ai-projects>=2.8.0 dan python-dotenv. SDK .NET masih berstatus preview [3].

pip install "azure-ai-projects>=2.8.0" python-dotenv

Soal region, BAT saat ini tersedia di australiaeast, eastasia, eastus, japaneast, switzerlandnorth, westeurope, dan westus3 [3]. Khusus hosted agent, Playwright workspace harus berada di region yang juga mendukung hosted agent [3].

Keamanan dan Migrasi dari Versi Classic

Risiko utamanya satu: tool ini mengendalikan browser atas namamu dan bisa melakukan aksi yang tidak kamu maksud [3].

Dokumentasi resmi menempatkan testing dan monitoring sebagai langkah wajib, bukan tambahan opsional [3]. Peringatan di halaman versi classic lebih keras lagi. Kesalahan penilaian model, ditambah instruksi jahat atau membingungkan yang ditemukan di halaman web, bisa membuat agen menjalankan perintah yang tidak diinginkan. Rekomendasinya: jalankan tool di virtual machine berhak akses rendah yang tidak menyentuh data sensitif atau resource kritis [1].

Langkah praktis yang bisa kamu terapkan sejak hari pertama: aktifkan hanya tool browser yang benar-benar dipakai, hindari login dengan akun berprivilege tinggi di dalam sesi browser, pantau sesi lewat observability, dan tonton Live View setiap kali menambahkan alur baru. Anggap setiap halaman web eksternal sebagai input yang tidak dipercaya, karena agen membaca isinya sebagai instruksi.

Untuk versi classic, statusnya sudah deprecated dan akan retired pada 31 Maret 2027. Microsoft menyediakan migration guide untuk memindahkan workload ke agen di Foundry Agents Service yang sekarang GA [1]. Kalau masih ada agen lama yang jalan di Foundry (classic), masukkan migrasi ini ke rencana kuartal, bukan ditunda sampai mendekati tenggat.

Kesimpulan

Browser Automation Tool sudah GA, jalan di atas Playwright Workspaces, dan punya kombinasi fitur yang berguna untuk kerja nyata: Live View, human-in-the-loop, observability, dan jalur setup yang fleksibel [3]. Kekuatan sekaligus risikonya ada di tempat yang sama, yaitu kontrol penuh atas browser. Mulai dari agen prompt sederhana, batasi tool dan hak akses, lalu naikkan kompleksitas sambil terus memantau sesi. Kalau kamu masih memakai versi classic, tenggat 31 Maret 2027 itu nyata [1].

Referensi

  1. Use Browser Automation in Foundry Agent Service (classic) – Microsoft Foundry (classic) portal | Microsoft Learn
  2. Automate browser tasks with Foundry agents – Microsoft Foundry | Microsoft Learn