GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Pengenalan fitur Computer Use menjadi perkembangan penting dalam pemanfaatan GitHub Copilot. Sebelumnya, GitHub Copilot umumnya dikenal untuk membantu penulisan kode. Melalui kemampuan terbaru, Copilot mampu menjalankan tindakan pada program dengan antarmuka grafis menggunakan perintah berbentuk percakapan. Fitur ini membantu AI memahami konteks visual, kemudian mengisi kolom sesuai instruksi yang telah diberikan. Dengan pendekatan tersebut, aktivitas administratif berpotensi menjadi lebih praktis tanpa harus membuat otomatisasi manual.
Computer Use tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Pada tahap awal, fitur tersebut masih berada dalam pengembangan terbuka. Dengan status tersebut, kemampuan dan perilakunya berpotensi mengalami penyempurnaan berdasarkan perkembangan layanan. Salah satu manfaat utamanya adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Dalam situasi tersebut, Copilot mampu menjalankan interaksi visual seperti klik dan pengetikan untuk menjalankan alur operasional. Walaupun fleksibel, fitur ini tetap membutuhkan pengawasan terhadap tindakan.
Langkah Awal Menggunakan Otomatisasi Desktop GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna sebaiknya memeriksa bahwa aplikasi GitHub Copilot telah tersedia. Sesudah masuk ke aplikasi, akses halaman Settings, kemudian masuk ke Computer Use. Melalui panel yang tersedia, nyalakan pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Dalam kondisi standar, fitur ini memerlukan aktivasi pengguna. Pendekatan tersebut memberikan perlindungan tambahan kepada pengguna sebelum AI berinteraksi dengan aplikasi. Dengan demikian, pengguna dapat menentukan kapan fitur otomatisasi diperlukan.
Untuk perangkat yang menjalankan macOS, pengaturan tambahan menjadi bagian dari aktivasi agar Computer Use bisa berfungsi dengan perangkat lunak desktop. Izin tersebut terdiri atas Accessibility dan Screen Recording. Accessibility digunakan untuk menjalankan tindakan pada tombol dan menu, sedangkan Screen Recording membantu Copilot memahami jendela aplikasi. Pengguna dapat mengikuti langkah izin dari macOS. Sementara itu, proses pengaktifan dapat dijalankan dari menu Computer Use tanpa persyaratan izin macOS tersebut. Namun demikian, pelaksanaan tindakan otomatis tetap mengikuti pengaturan izin.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Selain melalui aplikasi grafis, Computer Use juga dapat dijalankan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, pendekatan tersebut menawarkan pengoperasian yang praktis. Setelah menjalankan sesi Copilot CLI yang mendukung fitur tersebut, pengguna bisa memasukkan perintah `/computer on` untuk memulai kemampuan interaksi desktop. Ketika perlu memastikan status fitur, masukkan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` memungkinkan pengguna mematikan kemampuan interaksi komputer. Dengan pilihan tersebut, pengguna dapat mengatur kapan otomatisasi aktif sesuai jenis tugas yang sedang dijalankan.
Ketika fitur sudah tersedia, pengguna bisa menuliskan instruksi dalam bahasa alami. Sebagai contoh, pengguna dapat meminta Copilot untuk menjalankan program yang tersedia, kemudian merangkum data di jendela aplikasi. Ketika pekerjaan membutuhkan pengeditan, Copilot berpotensi melakukan perubahan isi kolom setelah pengguna menyetujui tindakan yang diminta. Supaya instruksi tidak menimbulkan kebingungan, jelaskan tujuan akhir secara spesifik. Dalam sebuah skenario, pengguna dapat menyampaikan permintaan untuk memindahkan informasi antaraplikasi dengan batasan yang jelas. Instruksi terarah tersebut dapat membatasi kesalahan tindakan.
Computer Use Membantu Mengelola Dokumen dan Aplikasi Lama
Manfaat praktis Computer Use adalah penyederhanaan aktivitas desktop yang memerlukan banyak interaksi. Untuk aktivitas profesional, pengguna dapat menghabiskan waktu untuk membuka berbagai jendela. Melalui Computer Use, beberapa langkah tersebut mampu disederhanakan. Pada kebutuhan tertentu, Copilot dapat diarahkan untuk memeriksa sistem pengelolaan informasi, kemudian membaca data yang tersedia. Apabila pengguna mengizinkan, sistem dapat melanjutkan pemindahan data ke aplikasi lain. Berkat pengoperasian bertahap, pekerjaan yang biasanya membutuhkan banyak klik dapat membutuhkan lebih sedikit interaksi pengguna.
Fitur ini juga bermanfaat bagi pengguna aplikasi lama. Sebagian perangkat lunak bisnis mendukung otomatisasi melalui terminal. Kondisi tersebut sering membuat pengembangan skrip lebih kompleks. Dengan memanfaatkan konteks visual, Copilot mampu membantu menyelesaikan aktivitas dengan kontrol aplikasi langsung. Dalam penerapan tertentu, pengguna bisa mengarahkan untuk mengambil data dari program tanpa API. Walaupun menawarkan fleksibilitas, kelancaran interaksi masih bergantung pada kondisi jendela yang menjadi sasaran pekerjaan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, pengendalian tindakan otomatis merupakan prioritas utama. Apabila sistem otomatisasi menggunakan program pada komputer, data dalam jendela berpotensi digunakan sebagai informasi yang dibaca sistem. Sebagai langkah perlindungan, pengguna perlu meninjau aplikasi yang diberikan izin. Layanan otomatisasi tersebut menerapkan mekanisme izin sebelum menjalankan tindakan pada perangkat lunak sesuai kebijakan penggunaan. Berkat proses persetujuan, pengguna bisa mengizinkan tindakan berdasarkan tingkat sensitivitas aplikasi.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot juga menawarkan pengaturan Always allow untuk program yang telah dipercaya. Melalui pilihan tersebut, Copilot dapat menggunakan kembali aplikasi yang mendapat otorisasi pengguna tanpa selalu meminta konfirmasi baru. Walaupun lebih praktis, pemberian izin permanen sebaiknya dibatasi, terutama untuk perangkat lunak bisnis sensitif. Melalui halaman Computer Use, pengguna bisa mengelola otorisasi yang telah disimpan dan menghapus akses sesuai perubahan penggunaan. Tidak kalah relevan, proses otomatisasi yang berjalan bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Melalui kontrol tersebut, pengguna tetap memiliki kendali.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Pengenalan Computer Use menunjukkan perluasan kemampuan GitHub Copilot dari pendukung penulisan kode menuju pendukung pekerjaan lintas aplikasi. Berkat akses terhadap elemen antarmuka, Copilot mampu mendukung pengelolaan dokumen menggunakan perintah percakapan. Fitur tersebut memiliki potensi pada program berbasis GUI yang belum mendukung integrasi modern. Namun demikian, pengguna tetap perlu pengawasan tindakan agar risiko kesalahan dapat dibatasi.
Pada era otomatisasi digital modern, kemampuan AI berinteraksi dengan desktop berpotensi menjadi bagian penting produktivitas. Meski otomatisasi menjadi lebih mudah, risiko salah klik tetap perlu diperhitungkan. Penyedia Copilot menjelaskan bahwa computer use masih berada dalam public preview. Untuk hasil terbaik, tentukan batasan pekerjaan dan periksa hasil tindakan. Apa pendapat Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Silakan bagikan pendapat Anda mengenai fitur Computer Use.
