Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop
GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Kehadiran fitur Computer Use menandai perkembangan penting dalam pengembangan asisten kecerdasan buatan. Dalam penggunaan yang lebih dikenal, GitHub Copilot umumnya dikenal untuk mendukung pengembangan perangkat lunak. Melalui kemampuan terbaru, Copilot memiliki kemampuan bekerja pada perangkat lunak komputer menggunakan instruksi bahasa alami. Fitur ini membantu AI mengamati elemen antarmuka, kemudian menjalankan perintah keyboard sesuai instruksi yang telah diberikan. Dengan pendekatan tersebut, pekerjaan berulang dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Kemampuan otomatisasi desktop ini diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut tersedia sebagai pratinjau publik. Artinya, cara kerja sistem masih dapat berubah berdasarkan perkembangan layanan. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang tidak menyediakan API. Untuk perangkat lunak semacam ini, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk mendukung pekerjaan. Namun demikian, pengguna masih perlu memberikan izin akses yang sesuai.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Untuk mulai memanfaatkan Computer Use, pengguna harus mengetahui bahwa GitHub Copilot sudah terpasang. Ketika antarmuka GitHub Copilot tampil, buka menu pengaturan, kemudian temukan halaman Computer Use. Pada bagian tersebut, ubah menjadi aktif pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Secara bawaan, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menghadirkan kesempatan menentukan izin kepada pengguna sebelum perangkat lunak menerima tindakan otomatis. Melalui proses tersebut, pengguna dapat menentukan kapan Copilot boleh menggunakan kemampuan desktop.
Untuk perangkat yang menjalankan macOS, pengaturan tambahan perlu dipenuhi agar Computer Use dapat berjalan dengan program yang terpasang. Persyaratan akses ini mencakup Accessibility dan Screen Recording. Accessibility digunakan untuk menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti arahan pada halaman Computer Use. Untuk perangkat Windows, pengaturan dasar dilakukan melalui menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Meski Windows memiliki mekanisme tersendiri, akses terhadap aplikasi tetap berada dalam kendali pengguna.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan antarmuka perintah, metode aktivasi ini menawarkan pengoperasian yang praktis. Sesudah mengakses sesi Copilot CLI yang mendukung fitur tersebut, pengguna perlu menjalankan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, jalankan perintah `/computer show`. Sementara itu, perintah `/computer off` berfungsi menghentikan ketersediaan Computer Use. Berkat perintah sederhana tersebut, pengguna bisa menentukan ketersediaan kemampuan desktop sesuai kondisi sesi.
Ketika fitur sudah tersedia, pengguna dapat memberikan arahan tugas berbentuk percakapan. Dalam penggunaan praktis, pengguna bisa menginstruksikan Copilot untuk mengakses perangkat lunak desktop, kemudian memeriksa tampilan perangkat lunak. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan navigasi antarmuka setelah izin yang diperlukan diberikan. Agar proses berjalan lebih terarah, tentukan batasan pekerjaan secara mudah dipahami. Sebagai ilustrasi, pengguna dapat menyampaikan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ruang lingkup tugas yang terukur. Pendekatan ini membantu mengurangi interaksi yang tidak diperlukan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Salah satu penerapan utama adalah pengelolaan tugas berulang yang memerlukan banyak interaksi. Pada lingkungan bisnis, pengguna sering harus membuka berbagai jendela. Melalui Computer Use, aktivitas tertentu dapat dibantu AI. Sebagai contoh, Copilot memiliki kemampuan membantu mengakses program administrasi, kemudian merangkum informasi pada layar. Dengan persetujuan yang sesuai, sistem mampu membantu melakukan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, proses yang dilakukan secara manual dapat membutuhkan lebih sedikit interaksi pengguna.
Computer Use turut relevan bagi pengguna aplikasi lama. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Kondisi tersebut berpotensi menjadikan otomatisasi lebih sulit. Berkat interaksi berbasis antarmuka, Copilot berpotensi menangani aktivitas dengan kontrol aplikasi langsung. Pada contoh pekerjaan, pengguna memiliki pilihan memberikan tugas untuk mengambil data dari program tanpa API. Namun demikian, ketepatan tindakan masih bergantung pada desain antarmuka yang digunakan.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Meski kemampuan AI semakin berkembang, perlindungan informasi pengguna tetap menjadi prioritas utama. Ketika Copilot berinteraksi aplikasi desktop, informasi yang terlihat mampu masuk dalam referensi untuk menjalankan tindakan. Oleh sebab itu, pengguna harus memastikan jenis informasi yang dapat diakses. Sistem Computer Use menerapkan mekanisme izin sebelum melakukan interaksi desktop sesuai aturan kontrol sesi. Melalui pengaturan ini, pengguna bisa mengizinkan tindakan berdasarkan risiko aktivitas.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot juga menawarkan pengaturan Always allow untuk program yang telah dipercaya. Melalui pilihan tersebut, Copilot berpotensi mengendalikan kembali aplikasi yang mendapat otorisasi pengguna tanpa selalu meminta konfirmasi baru. Walaupun lebih praktis, penggunaan Always allow sebaiknya dibatasi, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola otorisasi yang telah disimpan dan mencabut persetujuan tersimpan sesuai kebijakan organisasi. Selain itu, proses otomatisasi yang berjalan dapat dihentikan melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Pengenalan Computer Use menunjukkan perluasan kemampuan GitHub Copilot dari pendukung penulisan kode menuju otomatisasi aplikasi desktop. Dengan dukungan pemahaman konteks visual, Copilot berpotensi menjalankan pengisian data menggunakan instruksi bahasa alami. Fitur tersebut menjadi relevan bagi aplikasi tanpa API yang membutuhkan interaksi manual. Namun demikian, penerapan sebaiknya disertai penjelasan tugas yang jelas agar proses berjalan secara terkendali.
Dalam perkembangan TEKNOLOGI, teknologi computer use dapat berkembang sebagai bagian penting produktivitas. Namun demikian, kemungkinan perubahan data yang tidak diinginkan harus menjadi perhatian. Penyedia Copilot menggarisbawahi bahwa computer use masih berada dalam public preview. Supaya otomatisasi lebih terarah, jelaskan aplikasi yang terlibat dan tinjau perubahan yang dibuat. Menurut pengalaman Anda, apakah teknologi interaksi komputer otomatis akan meningkatkan produktivitas pada masa mendatang? Anda dapat berbagi pengalaman mengenai fitur Computer Use.
