GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Fitur Computer Use Memperluas Kemampuan GitHub Copilot
Kehadiran fitur Computer Use menandai kemajuan menarik dalam pemanfaatan GitHub Copilot. Sebelumnya, GitHub Copilot sering digunakan untuk membantu penulisan kode. Melalui kemampuan terbaru, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan perintah berbentuk percakapan. Teknologi tersebut memungkinkan AI mengamati elemen antarmuka, kemudian mengisi kolom sesuai instruksi yang telah diberikan. Melalui sistem ini, tugas yang melibatkan banyak langkah berpotensi menjadi lebih praktis tanpa selalu membutuhkan skrip khusus.
Computer Use dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Pada tahap awal, fitur tersebut masih berada dalam pengembangan terbuka. Kondisi ini menunjukkan bahwa, cara kerja sistem masih dapat berubah berdasarkan evaluasi teknis. Keunggulan yang menonjol adalah kompatibilitas dengan program berbasis antarmuka grafis yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot dapat menggunakan interaksi visual seperti penggunaan tombol keyboard untuk menyelesaikan tugas. Meski menawarkan kemudahan, pengoperasiannya harus disertai izin akses yang sesuai.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna harus mengetahui bahwa GitHub Copilot sudah terpasang. Ketika antarmuka GitHub Copilot tampil, pilih bagian pengaturan aplikasi, kemudian temukan halaman Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Secara bawaan, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menyediakan kesempatan menentukan izin kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna memiliki kesempatan memilih kapan fitur otomatisasi diperlukan.
Untuk perangkat yang menjalankan macOS, pengaturan tambahan harus diberikan agar Computer Use mampu berinteraksi dengan program yang terpasang. Persyaratan akses ini mencakup Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording mendukung pembacaan tampilan. Pemilik Mac bisa menjalankan petunjuk yang ditampilkan aplikasi. Sementara itu, langkah memulai tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Namun demikian, pelaksanaan tindakan otomatis tetap berada dalam kendali pengguna.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Sebagai alternatif aktivasi, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan command line, pendekatan tersebut memberikan pengaturan yang langsung. Sesudah mengakses sesi Copilot CLI yang mendukung fitur tersebut, pengguna perlu menjalankan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` berfungsi menonaktifkan fitur. Dengan pilihan tersebut, pengguna memiliki kendali status penggunaan alat sesuai kondisi sesi.
Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan permintaan pekerjaan yang jelas. Dalam penggunaan praktis, pengguna memiliki pilihan mengarahkan Copilot untuk mengakses perangkat lunak desktop, kemudian merangkum data di jendela aplikasi. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan pengetikan teks setelah izin yang diperlukan diberikan. Agar proses berjalan lebih terarah, sebutkan aplikasi yang terlibat secara terperinci. Dalam sebuah skenario, pengguna bisa memberikan permintaan untuk merangkum informasi tanpa mengubah data dengan batasan yang jelas. Cara penggunaan tersebut dapat membatasi perubahan di luar tujuan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Manfaat praktis Computer Use adalah pengelolaan tugas berulang yang memerlukan banyak interaksi. Pada lingkungan bisnis, pengguna sering harus memeriksa data secara manual. Dengan bantuan GitHub Copilot, aktivitas tertentu dapat dibantu AI. Dalam skenario penggunaan, Copilot memiliki kemampuan membantu membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, pekerjaan yang biasanya membutuhkan banyak klik mampu diselesaikan dengan bantuan otomatisasi.
Computer Use turut relevan bagi perusahaan dengan sistem internal khusus. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Situasi semacam ini sering membuat otomatisasi lebih sulit. Melalui kemampuan membaca layar, Copilot berpotensi menangani tugas melalui tombol dan menu. Pada contoh pekerjaan, pengguna bisa mengarahkan untuk memperbarui informasi pada aplikasi desktop. Meski mampu membantu pekerjaan GUI, kelancaran interaksi dapat dipengaruhi oleh desain antarmuka yang sedang dibuka.
Cara Mengendalikan Akses GitHub Copilot ke Aplikasi Desktop
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, pengamanan akses aplikasi merupakan bagian penting. Saat AI mengendalikan aplikasi desktop, informasi yang terlihat dapat menjadi bagian dari konteks pemrosesan AI. Oleh sebab itu, pengguna sebaiknya membatasi aplikasi yang diberikan izin. GitHub Copilot meminta persetujuan sebelum mengendalikan aplikasi sesuai kebijakan penggunaan. Dengan mekanisme tersebut, pengguna dapat menolak tindakan berdasarkan kebutuhan pekerjaan.
Selain izin sementara, GitHub Copilot mendukung pengaturan Always allow untuk program yang telah dipercaya. Melalui pilihan tersebut, Copilot dapat menggunakan kembali aplikasi yang sebelumnya telah disetujui tanpa selalu meminta konfirmasi baru. Meski mempermudah penggunaan berulang, penyimpanan otorisasi aplikasi perlu dilakukan dengan hati-hati, terutama untuk aplikasi keuangan. Pengguna dapat meninjau pengaturan Always allowed apps dan mengatur ulang daftar izin sesuai kebijakan organisasi. Sebagai tindakan penting, operasi yang sedang berlangsung memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Melalui kontrol tersebut, otomatisasi dapat dihentikan ketika diperlukan.
Kesimpulan: Computer Use Memperluas Peran GitHub Copilot
Peluncuran Computer Use memperlihatkan perkembangan penting GitHub Copilot dari pendukung penulisan kode menuju pendukung pekerjaan lintas aplikasi. Berkat akses terhadap konteks visual, Copilot dapat membantu navigasi menu menggunakan instruksi bahasa alami. Pendekatan otomatisasi tersebut menjadi relevan bagi aplikasi tanpa API yang membutuhkan interaksi manual. Walaupun memberikan kemudahan, pengoperasian masih membutuhkan penjelasan tugas yang jelas agar risiko kesalahan dapat dibatasi.
Seiring kemajuan kecerdasan buatan, otomatisasi melalui antarmuka visual berpotensi menjadi bagian penting produktivitas. Walaupun kemampuan tersebut terus berkembang, kesalahan membaca antarmuka harus menjadi perhatian. Penyedia Copilot menekankan bahwa computer use belum keluar dari tahap pratinjau publik. Agar penggunaan lebih efektif, jelaskan aplikasi yang terlibat dan periksa hasil tindakan. Apa pendapat Anda, apakah otomatisasi desktop berbasis AI dapat membantu aktivitas lintas aplikasi pada masa mendatang? Silakan bagikan pendapat Anda mengenai fitur Computer Use.
