Menggunakan Fitur Computer Use GitHub Copilot untuk Mengotomatiskan Pekerjaan Desktop
GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Pengenalan fitur Computer Use menjadi kemajuan menarik dalam pemanfaatan GitHub Copilot. Pada fungsi utamanya, GitHub Copilot umumnya dikenal untuk memberikan saran pemrograman. Berkat perluasan fungsi tersebut, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan arahan yang diberikan pengguna. Kemampuan tersebut memungkinkan AI memahami konteks visual, kemudian mengklik tombol sesuai kebutuhan pengguna. Dengan pendekatan tersebut, aktivitas administratif berpotensi menjadi lebih praktis tanpa harus membuat otomatisasi manual.
Fitur interaksi komputer tersebut diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Pada tahap awal, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, fitur yang tersedia mungkin diperbarui berdasarkan umpan balik pengguna. Keunggulan yang menonjol adalah kompatibilitas dengan program berbasis antarmuka grafis yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot dapat menggunakan interaksi visual seperti navigasi menu untuk mendukung pekerjaan. Meski menawarkan kemudahan, fitur ini tetap membutuhkan izin akses yang sesuai.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Sebelum menggunakan Computer Use, pengguna sebaiknya memeriksa bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Sesudah masuk ke aplikasi, pilih bagian pengaturan aplikasi, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar kemampuan interaksi desktop tersedia. Secara bawaan, fitur ini memerlukan aktivasi pengguna. Mekanisme aktivasi tersebut menghadirkan perlindungan tambahan kepada pengguna sebelum perangkat lunak menerima tindakan otomatis. Berkat aktivasi manual, pengguna bisa mengatur kapan akses Computer Use diaktifkan.
Pada komputer Mac, pengaturan tambahan perlu dipenuhi agar Computer Use mampu berinteraksi dengan program yang terpasang. Izin tersebut mencakup Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat mengoperasikan kontrol aplikasi, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Pengguna dapat mengikuti arahan pada halaman Computer Use. Untuk perangkat Windows, langkah memulai dilakukan melalui menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Walaupun prosesnya berbeda, pelaksanaan tindakan otomatis tetap berada dalam kendali pengguna.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Sebagai alternatif aktivasi, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, metode aktivasi ini memberikan pengoperasian yang praktis. Ketika membuka sesi Copilot CLI yang memiliki kemampuan Computer Use, pengguna dapat mengetik perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Sementara itu, perintah `/computer off` memungkinkan pengguna menghentikan ketersediaan Computer Use. Berkat perintah sederhana tersebut, pengguna bisa menentukan ketersediaan kemampuan desktop sesuai kondisi sesi.
Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan instruksi dalam bahasa alami. Pada aktivitas kerja sehari-hari, pengguna memiliki pilihan mengarahkan Copilot untuk mengakses perangkat lunak desktop, kemudian membaca informasi yang muncul. Apabila tugas melibatkan perubahan, Copilot dapat membantu navigasi antarmuka setelah izin yang diperlukan diberikan. Supaya instruksi tidak menimbulkan kebingungan, jelaskan tujuan akhir secara spesifik. Misalnya, pengguna memiliki kesempatan menuliskan permintaan untuk merangkum informasi tanpa mengubah data dengan ruang lingkup tugas yang terukur. Pendekatan ini berpotensi meminimalkan perubahan di luar tujuan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Salah satu penerapan utama adalah otomatisasi pekerjaan administratif yang memerlukan banyak interaksi. Untuk aktivitas profesional, pengguna sering harus memindahkan informasi. Dengan bantuan GitHub Copilot, aktivitas tertentu dapat dibantu AI. Dalam skenario penggunaan, Copilot memiliki kemampuan membantu memeriksa sistem pengelolaan informasi, kemudian meninjau status pekerjaan. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pemindahan data ke aplikasi lain. Dengan demikian, proses yang dilakukan secara manual berpotensi menjadi lebih efisien.
Kemampuan tersebut memiliki nilai tambah bagi organisasi yang memiliki perangkat lunak konvensional. Sejumlah sistem perusahaan memiliki integrasi MCP. Keterbatasan integrasi ini berpotensi menjadikan pengembangan skrip lebih kompleks. Melalui kemampuan membaca layar, Copilot mampu membantu menyelesaikan pekerjaan menggunakan elemen grafis. Dalam penerapan tertentu, pengguna memiliki pilihan memberikan tugas untuk mengambil data dari program tanpa API. Meski mampu membantu pekerjaan GUI, keberhasilan otomatisasi masih bergantung pada kondisi jendela yang digunakan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, perlindungan informasi pengguna merupakan pertimbangan mendasar. Apabila sistem otomatisasi menggunakan perangkat lunak lokal, informasi yang terlihat mampu masuk dalam informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna harus memastikan aplikasi yang diberikan izin. Sistem Computer Use menggunakan pengaturan otorisasi sebelum menjalankan tindakan pada perangkat lunak sesuai aturan kontrol sesi. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan risiko aktivitas.
Selain izin sementara, GitHub Copilot juga menawarkan pengaturan Always allow untuk perangkat lunak tertentu. Dengan pengaturan izin tersimpan, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang dimasukkan ke daftar izin tanpa mengulang seluruh proses persetujuan. Walaupun lebih praktis, penyimpanan otorisasi aplikasi sebaiknya dibatasi, terutama untuk aplikasi keuangan. Pengguna dapat meninjau daftar aplikasi yang diizinkan dan menghapus akses sesuai kebutuhan keamanan. Tidak kalah relevan, operasi yang sedang berlangsung bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Dengan demikian, pengguna tetap memiliki kendali.
Kesimpulan: Computer Use Memperluas Peran GitHub Copilot
Peluncuran Computer Use menandai kemajuan baru GitHub Copilot dari alat bantu pengembangan perangkat lunak menuju otomatisasi aplikasi desktop. Berkat akses terhadap elemen antarmuka, Copilot berpotensi menjalankan pengisian data menggunakan arahan pengguna. Kemampuan ini bermanfaat terutama untuk perangkat lunak lama yang sulit diotomatisasi menggunakan cara konvensional. Meski menawarkan fleksibilitas, penerapan sebaiknya disertai persetujuan akses agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, teknologi computer use mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Meski otomatisasi menjadi lebih mudah, risiko salah klik memerlukan langkah mitigasi. Pengembang fitur tersebut menjelaskan bahwa computer use masih berada dalam public preview. Agar penggunaan lebih efektif, tentukan batasan pekerjaan dan evaluasi pekerjaan sebelum digunakan. Menurut pengalaman Anda, apakah teknologi interaksi komputer otomatis dapat membantu aktivitas lintas aplikasi pada masa mendatang? Anda dapat berbagi pengalaman mengenai perkembangan otomatisasi berbasis AI.
