GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Kehadiran fitur Computer Use menghadirkan langkah baru dalam otomatisasi pekerjaan berbasis AI. Pada fungsi utamanya, GitHub Copilot sering digunakan untuk memberikan saran pemrograman. Melalui kemampuan terbaru, Copilot dapat berinteraksi pada aplikasi desktop menggunakan instruksi bahasa alami. Fitur ini memungkinkan AI memahami konteks visual, kemudian mengklik tombol sesuai instruksi yang telah diberikan. Berkat mekanisme interaksi langsung, tugas yang melibatkan banyak langkah mampu disederhanakan tanpa harus membuat otomatisasi manual.
Computer Use diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Dalam periode pengenalannya, fitur tersebut masih berada dalam pengembangan terbuka. Artinya, fitur yang tersedia berpotensi mengalami penyempurnaan berdasarkan evaluasi teknis. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang tidak menyediakan API. Pada lingkungan aplikasi tersebut, Copilot berpotensi memanfaatkan interaksi visual seperti penggunaan tombol keyboard untuk menyelesaikan tugas. Namun demikian, fitur ini tetap membutuhkan instruksi yang tidak ambigu.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Untuk mulai memanfaatkan Computer Use, pengguna sebaiknya memeriksa bahwa GitHub Copilot sudah terpasang. Ketika antarmuka GitHub Copilot tampil, buka menu pengaturan, kemudian masuk ke Computer Use. Di dalam halaman pengaturan, aktifkan pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Secara bawaan, fitur ini tidak langsung dihidupkan. Pengaturan awal ini menyediakan perlindungan tambahan kepada pengguna sebelum perangkat lunak menerima tindakan otomatis. Melalui proses tersebut, pengguna bisa mengatur kapan fitur otomatisasi diperlukan.
Pada komputer Mac, izin sistem tertentu perlu dipenuhi agar Computer Use mampu berinteraksi dengan program yang terpasang. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Izin Accessibility memungkinkan menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti petunjuk yang ditampilkan aplikasi. Untuk perangkat Windows, proses pengaktifan dapat dijalankan dari menu Computer Use tanpa persyaratan izin macOS tersebut. Walaupun prosesnya berbeda, akses terhadap aplikasi tetap mengikuti pengaturan izin.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Sebagai alternatif aktivasi, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa terminal, metode aktivasi ini memberikan kendali melalui sesi percakapan terminal. Ketika membuka sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna dapat mengetik perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Untuk mengetahui status fitur, masukkan perintah `/computer show`. Sementara itu, perintah `/computer off` dapat digunakan untuk menonaktifkan fitur. Berkat perintah sederhana tersebut, pengguna bisa menentukan ketersediaan kemampuan desktop sesuai kebutuhan pekerjaan.
Setelah Computer Use aktif, pengguna dapat memberikan arahan tugas berbentuk percakapan. Sebagai contoh, pengguna bisa menginstruksikan Copilot untuk membuka aplikasi tertentu, kemudian memeriksa tampilan perangkat lunak. Ketika pekerjaan membutuhkan pengeditan, Copilot mampu menjalankan navigasi antarmuka setelah akses aplikasi disetujui. Agar proses berjalan lebih terarah, jelaskan tujuan akhir secara mudah dipahami. Misalnya, pengguna bisa memberikan permintaan untuk memindahkan informasi antaraplikasi dengan ketentuan pekerjaan yang ditentukan. Cara penggunaan tersebut berpotensi meminimalkan perubahan di luar tujuan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Salah satu penerapan utama adalah otomatisasi pekerjaan administratif yang memerlukan banyak interaksi. Dalam pekerjaan kantor, pengguna dapat menghabiskan waktu untuk membuka berbagai jendela. Berkat kemampuan interaksi antarmuka, beberapa langkah tersebut mampu disederhanakan. Pada kebutuhan tertentu, Copilot bisa diminta mengakses program administrasi, kemudian merangkum informasi pada layar. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pembaruan kolom tertentu. Melalui alur tersebut, proses yang dilakukan secara manual dapat membutuhkan lebih sedikit interaksi pengguna.
Computer Use turut relevan bagi organisasi yang memiliki perangkat lunak konvensional. Sejumlah sistem perusahaan memiliki integrasi MCP. Kondisi tersebut sering membuat pengembangan skrip lebih kompleks. Berkat interaksi berbasis antarmuka, Copilot mampu membantu menyelesaikan tugas melalui tombol dan menu. Pada contoh pekerjaan, pengguna bisa mengarahkan untuk mengambil data dari program tanpa API. Namun demikian, keberhasilan otomatisasi perlu mempertimbangkan desain antarmuka yang sedang dibuka.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Meski kemampuan AI semakin berkembang, perlindungan informasi pengguna tetap menjadi bagian penting. Ketika Copilot berinteraksi perangkat lunak lokal, data dalam jendela berpotensi digunakan sebagai informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna sebaiknya membatasi jenis informasi yang dapat diakses. GitHub Copilot menerapkan mekanisme izin sebelum mengendalikan aplikasi sesuai kebijakan penggunaan. Melalui pengaturan ini, pengguna dapat menolak tindakan berdasarkan tingkat sensitivitas aplikasi.
Selain izin sementara, GitHub Copilot memiliki opsi pengaturan Always allow untuk perangkat lunak tertentu. Melalui pilihan tersebut, Copilot berpotensi mengendalikan kembali aplikasi yang mendapat otorisasi pengguna tanpa memerlukan izin terpisah pada sesi berikutnya. Walaupun lebih praktis, penyimpanan otorisasi aplikasi sebaiknya dibatasi, terutama untuk sistem berisi data pribadi. Melalui halaman Computer Use, pengguna bisa mengelola pengaturan Always allowed apps dan menghapus akses sesuai perubahan penggunaan. Sebagai tindakan penting, operasi yang sedang berlangsung dapat dihentikan melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Peluncuran Computer Use menandai perkembangan penting GitHub Copilot dari pendukung penulisan kode menuju pendukung pekerjaan lintas aplikasi. Dengan dukungan pemahaman konteks visual, Copilot dapat membantu pengisian data menggunakan perintah percakapan. Fitur tersebut menjadi relevan bagi aplikasi tanpa API yang membutuhkan interaksi manual. Meski menawarkan fleksibilitas, pengoperasian masih membutuhkan penjelasan tugas yang jelas agar proses berjalan secara terkendali.
Pada era otomatisasi digital modern, kemampuan AI berinteraksi dengan desktop mampu menghadirkan pendukung aktivitas profesional. Meski otomatisasi menjadi lebih mudah, kemungkinan perubahan data yang tidak diinginkan tetap perlu diperhitungkan. Pengembang fitur tersebut menjelaskan bahwa computer use masih berada dalam public preview. Untuk hasil terbaik, berikan instruksi yang spesifik dan evaluasi pekerjaan sebelum digunakan. Menurut pengalaman Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai perkembangan otomatisasi berbasis AI.
