GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Pengenalan fitur Computer Use menghadirkan perkembangan penting dalam pemanfaatan GitHub Copilot. Pada fungsi utamanya, GitHub Copilot banyak dimanfaatkan untuk membantu penulisan kode. Dengan hadirnya Computer Use, Copilot mampu menjalankan tindakan pada aplikasi desktop menggunakan instruksi bahasa alami. Teknologi tersebut mendukung AI mengamati elemen antarmuka, kemudian mengklik tombol sesuai tujuan pekerjaan. Melalui sistem ini, tugas yang melibatkan banyak langkah dapat dikerjakan secara lebih efisien tanpa harus membuat otomatisasi manual.
Fitur interaksi komputer tersebut dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk perangkat desktop yang menggunakan Windows atau macOS. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, kemampuan dan perilakunya berpotensi mengalami penyempurnaan berdasarkan umpan balik pengguna. Salah satu manfaat utamanya adalah dukungan bagi aplikasi lama yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot mampu menjalankan interaksi visual seperti klik dan pengetikan untuk menyelesaikan tugas. Namun demikian, pengoperasiannya harus disertai izin akses yang sesuai.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Sebelum menggunakan Computer Use, pengguna sebaiknya memeriksa bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Setelah aplikasi dibuka, akses halaman Settings, kemudian temukan halaman Computer Use. Pada bagian tersebut, aktifkan pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Pada pengaturan awal, fitur ini berada dalam keadaan nonaktif. Pengaturan awal ini menyediakan kesempatan menentukan izin kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna memiliki kesempatan memilih kapan akses Computer Use diaktifkan.
Pada komputer Mac, izin sistem tertentu menjadi bagian dari aktivasi agar Computer Use bisa berfungsi dengan program yang terpasang. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat berinteraksi dengan elemen antarmuka, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Pemilik Mac bisa menjalankan petunjuk yang ditampilkan aplikasi. Untuk perangkat Windows, langkah memulai dilakukan melalui menu Computer Use tanpa pengaturan Accessibility yang sama seperti Mac. Namun demikian, pelaksanaan tindakan otomatis tetap memerlukan otorisasi sesuai konfigurasi.
Menggunakan Perintah Computer Use melalui GitHub Copilot CLI
Tidak hanya menggunakan menu pengaturan, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, pendekatan tersebut memberikan pengaturan yang langsung. Ketika membuka sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna bisa memasukkan perintah `/computer on` untuk memulai kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` dapat digunakan untuk mematikan kemampuan interaksi komputer. Berkat perintah sederhana tersebut, pengguna memiliki kendali ketersediaan kemampuan desktop sesuai kondisi sesi.
Sesudah kemampuan desktop dinyalakan, pengguna memiliki kesempatan menyampaikan arahan tugas berbentuk percakapan. Sebagai contoh, pengguna memiliki pilihan mengarahkan Copilot untuk mengakses perangkat lunak desktop, kemudian merangkum data di jendela aplikasi. Jika instruksi mencakup pengolahan informasi, Copilot mampu menjalankan perubahan isi kolom setelah izin yang diperlukan diberikan. Agar proses berjalan lebih terarah, tentukan batasan pekerjaan secara mudah dipahami. Dalam sebuah skenario, pengguna bisa memberikan permintaan untuk merangkum informasi tanpa mengubah data dengan ketentuan pekerjaan yang ditentukan. Instruksi terarah tersebut dapat membatasi kesalahan tindakan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Manfaat praktis Computer Use adalah penyederhanaan aktivitas desktop yang melibatkan beberapa aplikasi. Dalam pekerjaan kantor, pengguna sering harus membuka berbagai jendela. Dengan bantuan GitHub Copilot, beberapa langkah tersebut berpotensi diotomatisasi. Sebagai contoh, Copilot memiliki kemampuan membantu mengakses program administrasi, kemudian merangkum informasi pada layar. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pemindahan data ke aplikasi lain. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik berpotensi menjadi lebih efisien.
Kemampuan tersebut memiliki nilai tambah bagi pengguna aplikasi lama. Sejumlah sistem perusahaan memiliki integrasi MCP. Situasi semacam ini berpotensi menjadikan otomatisasi lebih sulit. Dengan memanfaatkan konteks visual, Copilot dapat mencoba menjalankan tugas melalui tombol dan menu. Dalam penerapan tertentu, pengguna memiliki pilihan memberikan tugas untuk memperbarui informasi pada aplikasi desktop. Walaupun menawarkan fleksibilitas, keberhasilan otomatisasi perlu mempertimbangkan kondisi jendela yang digunakan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Walaupun otomatisasi desktop dapat meningkatkan produktivitas, perlindungan informasi pengguna merupakan prioritas utama. Apabila sistem otomatisasi menggunakan perangkat lunak lokal, konten aplikasi mampu masuk dalam konteks pemrosesan AI. Oleh sebab itu, pengguna harus memastikan ruang lingkup kontrol desktop. Layanan otomatisasi tersebut meminta persetujuan sebelum melakukan interaksi desktop sesuai aturan kontrol sesi. Melalui pengaturan ini, pengguna dapat menolak tindakan berdasarkan kebutuhan pekerjaan.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot juga menawarkan pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot berpotensi mengendalikan kembali aplikasi yang mendapat otorisasi pengguna tanpa mengulang seluruh proses persetujuan. Namun demikian, penggunaan Always allow sebaiknya dibatasi, terutama untuk aplikasi keuangan. Melalui halaman Computer Use, pengguna bisa mengelola pengaturan Always allowed apps dan mengatur ulang daftar izin sesuai kebutuhan keamanan. Tidak kalah relevan, tindakan Computer Use aktif dapat dihentikan melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Berkat pengawasan aktif, otomatisasi dapat dihentikan ketika diperlukan.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Peluncuran Computer Use menunjukkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju interaksi langsung dengan perangkat lunak. Dengan dukungan pemahaman elemen antarmuka, Copilot dapat membantu navigasi menu menggunakan arahan pengguna. Pendekatan otomatisasi tersebut memiliki potensi pada aplikasi tanpa API yang sulit diotomatisasi menggunakan cara konvensional. Meski menawarkan fleksibilitas, pengguna tetap perlu pengawasan tindakan agar proses berjalan secara terkendali.
Pada era otomatisasi digital modern, teknologi computer use berpotensi menjadi bagian penting produktivitas. Meski otomatisasi menjadi lebih mudah, risiko salah klik harus menjadi perhatian. GitHub sendiri menjelaskan bahwa computer use masih berada dalam public preview. Supaya otomatisasi lebih terarah, jelaskan aplikasi yang terlibat dan evaluasi pekerjaan sebelum digunakan. Bagaimana menurut Anda, apakah teknologi interaksi komputer otomatis akan meningkatkan produktivitas pada masa mendatang? Jangan ragu menyampaikan pandangan mengenai perkembangan otomatisasi berbasis AI.
