Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop

GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.

GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop

Peluncuran fitur Computer Use menjadi kemajuan menarik dalam pengembangan asisten kecerdasan buatan. Dalam penggunaan yang lebih dikenal, GitHub Copilot umumnya dikenal untuk memberikan saran pemrograman. Berkat perluasan fungsi tersebut, Copilot dapat berinteraksi pada perangkat lunak komputer menggunakan instruksi bahasa alami. Fitur ini membantu AI membaca informasi aplikasi, kemudian mengisi kolom sesuai kebutuhan pengguna. Berkat mekanisme interaksi langsung, pekerjaan berulang dapat dikerjakan secara lebih efisien tanpa harus membuat otomatisasi manual.

Computer Use diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Dalam periode pengenalannya, fitur tersebut tersedia sebagai pratinjau publik. Kondisi ini menunjukkan bahwa, fitur yang tersedia berpotensi mengalami penyempurnaan berdasarkan perkembangan layanan. Keunggulan yang menonjol adalah kompatibilitas dengan program berbasis antarmuka grafis yang belum mendukung integrasi MCP. Dalam situasi tersebut, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk menjalankan alur operasional. Namun demikian, pengguna masih perlu memberikan instruksi yang tidak ambigu.

Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot

Untuk mulai memanfaatkan Computer Use, pengguna perlu memastikan bahwa GitHub Copilot sudah terpasang. Setelah aplikasi dibuka, buka menu pengaturan, kemudian pilih kategori Computer Use. Di dalam halaman pengaturan, nyalakan pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Dalam kondisi standar, fitur ini tidak langsung dihidupkan. Pengaturan awal ini menyediakan perlindungan tambahan kepada pengguna sebelum AI berinteraksi dengan aplikasi. Berkat aktivasi manual, pengguna memiliki kesempatan memilih kapan akses Computer Use diaktifkan.

Untuk perangkat yang menjalankan macOS, pengaturan tambahan harus diberikan agar Computer Use mampu berinteraksi dengan program yang terpasang. Pengaturan keamanan yang dimaksud mencakup Accessibility dan Screen Recording. Accessibility digunakan untuk berinteraksi dengan elemen antarmuka, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti langkah izin dari macOS. Di sisi lain, langkah memulai dapat dijalankan dari menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Meski Windows memiliki mekanisme tersendiri, akses terhadap aplikasi tetap berada dalam kendali pengguna.

Cara Mengaktifkan Computer Use dengan Perintah Terminal

Selain melalui aplikasi grafis, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Untuk profesional yang bekerja dengan command line, pendekatan tersebut menghadirkan kendali melalui sesi percakapan terminal. Setelah menjalankan sesi Copilot CLI yang memiliki kemampuan Computer Use, pengguna perlu menjalankan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` dapat digunakan untuk mematikan kemampuan interaksi komputer. Melalui pengendalian ini, pengguna memiliki kendali ketersediaan kemampuan desktop sesuai kebutuhan pekerjaan.

Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan arahan tugas berbentuk percakapan. Sebagai contoh, pengguna dapat meminta Copilot untuk menjalankan program yang tersedia, kemudian merangkum data di jendela aplikasi. Ketika pekerjaan membutuhkan pengeditan, Copilot mampu menjalankan pengetikan teks setelah pengguna menyetujui tindakan yang diminta. Untuk memperoleh hasil terbaik, sebutkan aplikasi yang terlibat secara mudah dipahami. Dalam sebuah skenario, pengguna dapat menyampaikan permintaan untuk merangkum informasi tanpa mengubah data dengan ruang lingkup tugas yang terukur. Pendekatan ini berpotensi meminimalkan interaksi yang tidak diperlukan.

Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi

Manfaat praktis Computer Use adalah pengelolaan tugas berulang yang mengandalkan perangkat lunak berbeda. Pada lingkungan bisnis, pengguna dapat menghabiskan waktu untuk membuka berbagai jendela. Melalui Computer Use, beberapa langkah tersebut mampu disederhanakan. Sebagai contoh, Copilot memiliki kemampuan membantu memeriksa sistem pengelolaan informasi, kemudian membaca data yang tersedia. Dengan persetujuan yang sesuai, sistem mampu membantu melakukan pengisian formulir. Berkat pengoperasian bertahap, proses yang dilakukan secara manual mampu diselesaikan dengan bantuan otomatisasi.

Computer Use turut relevan bagi organisasi yang memiliki perangkat lunak konvensional. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Kondisi tersebut berpotensi menjadikan proses integrasi membutuhkan pekerjaan tambahan. Melalui kemampuan membaca layar, Copilot dapat mencoba menjalankan pekerjaan menggunakan elemen grafis. Pada contoh pekerjaan, pengguna memiliki pilihan memberikan tugas untuk mengambil data dari program tanpa API. Namun demikian, keberhasilan otomatisasi perlu mempertimbangkan desain antarmuka yang sedang dibuka.

Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI

Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengamanan akses aplikasi merupakan prioritas utama. Apabila sistem otomatisasi menggunakan aplikasi desktop, data dalam jendela dapat menjadi bagian dari informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna harus memastikan ruang lingkup kontrol desktop. GitHub Copilot menerapkan mekanisme izin sebelum menjalankan tindakan pada perangkat lunak sesuai konfigurasi izin yang berlaku. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan tingkat sensitivitas aplikasi.

Di samping persetujuan setiap sesi, GitHub Copilot mendukung pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot dapat menggunakan kembali aplikasi yang mendapat otorisasi pengguna tanpa mengulang seluruh proses persetujuan. Namun demikian, penggunaan Always allow harus dipertimbangkan secara cermat, terutama untuk aplikasi keuangan. Pemilik komputer memiliki kesempatan memeriksa pengaturan Always allowed apps dan mencabut persetujuan tersimpan sesuai kebutuhan keamanan. Tidak kalah relevan, operasi yang sedang berlangsung memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Berkat pengawasan aktif, otomatisasi dapat dihentikan ketika diperlukan.

Kesimpulan: Computer Use Memperluas Peran GitHub Copilot

Pengenalan Computer Use memperlihatkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju pendukung pekerjaan lintas aplikasi. Dengan dukungan pemahaman konten aplikasi, Copilot berpotensi menjalankan navigasi menu menggunakan arahan pengguna. Fitur tersebut bermanfaat terutama untuk program berbasis GUI yang sulit diotomatisasi menggunakan cara konvensional. Meski menawarkan fleksibilitas, pengoperasian masih membutuhkan pengawasan tindakan agar proses berjalan secara terkendali.

Seiring kemajuan kecerdasan buatan, otomatisasi melalui antarmuka visual dapat berkembang sebagai bagian penting produktivitas. Namun demikian, kemungkinan perubahan data yang tidak diinginkan harus menjadi perhatian. Penyedia Copilot menjelaskan bahwa computer use belum keluar dari tahap pratinjau publik. Supaya otomatisasi lebih terarah, berikan instruksi yang spesifik dan tinjau perubahan yang dibuat. Bagaimana menurut Anda, apakah otomatisasi desktop berbasis AI akan meningkatkan produktivitas pada masa mendatang? Silakan bagikan pendapat Anda mengenai fitur Computer Use.