Membuat LoRA untuk AI Arts? Berikut 4 Hal yang Perlu Kamu Siapkan!
LoRA (Low-Rank Adaptation) adalah sebuah tambahan yang biasa digunakan para pengguna AI Arts untuk menyempurnakan karya seni yang dihasilkan dari Model Checkpoints Stable Diffusion sesuai keinginan mereka.
Ini adalah model kecil tambahan yang dapat menerapkan perubahan yang cukup mengesankan pada Model CheckPoints standar lainnya dengan kualitas yang cukup baik tergantung pengolahannya.
Model LoRA biasanya memiliki kapasitas antara 10 – 200 MB, yang jauh lebih kecil daripada file checkpoint yang mencapai 1 GB lebih.
Namun sekali lagi perlu diingat bahwa banyak faktor yang membuat LoRA memiliki kapasitas yang lebih kecil atau besar, salah satunya seperti settingan/parameternya. Terlepas dari itu semua, kapasitas LoRA memang lebih kecil daripada kapasitas Model Checkpoint.
Mengingat kapasistas LoRA yang cukup kecil, hal ini tentunya memudahkan para pengguna untuk mengunggah, mengunduh, hingga mengkombinasikan LoRA dengan model Checkpoint yang digunakan sehingga memperkaya hasil gambar dari AI Arts dengan background, karakter hingga style sesuai kehendak penggunanya.
Yang pasti, LoRA tidak dapat digunakan secara independen. LoRA membutuhkan model checkpoint untuk dapat digunakan. Lantas, bagaimana cara membuat LoRA? Apa saja yang perlu dipersiapkan untuk membuat LoRA?
Hal yang perlu dipersiapkan untuk membuat LoRA di antaranya meliputi:
1. Datasets
Sebelum membuat LoRA, pastikan kamu sudah memiliki datasets yang nantinya akan dilatih/digunakan untuk dijadikan LoRA. Jika belum punya, kamu wajib menyiapkannya terlebih dahulu.
Tidak ada patokan yang pasti untuk berapa jumlahnya. Datasets yang terlalu banyak belum tentu menghasilkan LoRA yang bagus, begitupula dengan datasets yang terlalu sedikit. Pastikan untuk menyiapkan datasets dengan kualitas yang baik, dengan berbagai angle, pose, ekspresi, posisi, dan lainnya. Sesuaikan juga dengan tujuan kamu dalam membuat LoRA apakah itu hanya untuk style, membuat karakter fiksi/realistik, atau lainnya.
Biasanya, banyak dari para pengguna memproses dataset mereka terlebih dahulu sebelum melatihnya dan menjadikan LoRA. Proses tersebut meliputi melakukan cropping agar semua datasets memiliki ukuran yang sama, hingga mengatur resolusi gambar agar kualitasnya lebih bagus dan tidak buram. Jika datasets buram, LoRA terkadang menghasilkan kualitas yang kurang bagus dan buram.
2. Pemahaman untuk Setiap Parameter dan settingan LoRA
Memahami paramater dan settingan LoRA bukanlah hal yang terbilang mudah, namun semua itu dapat kamu pelajari secara bertahap seiring berjalannya waktu jika kamu memang sudah berniat untuk mempelajarinya. Ini adalah pengetahuan yang perlu dan wajib kamu miliki.
Mungkin belum banyak artikel dalam bahasa Indonesia yang membahas tentang LoRA, jadi untuk mempelajari lebih lengkapnya, kamu mau tidak mau harus menyelam lebih dalam lagi di berbagai situs dalam bahasa Inggris atau lainnya yang membahas terkait hal tersebut, masuk dalam komunitasnya, dan pelajari apa yang mereka pelajari juga.
Rumus paling umum yang biasa orang gunakan untuk LoRA yang sudah diketahui adalah "Datasets x num_repeats x epoch / train_batch_size = steps", rumus itu digunakan untuk menghasilkan seberapa banyaknya hasil steps untuk LoRA, dan mengatur berapa steps untuk setiap epochnya.
Contoh: Datasets (40 gambar) x 10 (num_repeats) x 10 epoch / 4 (train batch size) maka hasil steps terakhir untuk LoRA di epoch ke-10 adalah 1000 steps. Steps untuk epoch pertama berjumlah 100 steps, epoch kedua: 200 steps, dan seterusnya hingga epoch ke-10 yang memiliki 1000 steps.
Rumus di atas bukanlah satu-satunya hal yang perlu kamu tahu, ada juga beberapa di antara lainnya yang perlu kamu pelajari juga meliputi network_dim, network_alpha, learning_rate, dan masih banyak lagi.
3. PC/Colab
Hal yang paling penting dan utama yang kamu perlukan atau miliki terlebih dahulu adalah PC yang sudah terinstall Stable Diffusion atau Kohya Trainer secara lokal. Namun, hal ini memerlukan spesifikasi komputer yang tinggi untuk bisa kamu gunakan, baik dari processor, RAM, GPU dengan VRAM tinggi, dan lainnya. Jika tidak mempunyainya, salah satu alternatifnya adalah melatih LoRA menggunakan Google Colab.
4. Media Penyimpanan Local/Cloud
Pastikan kamu sudah memiliki media penyimpanan untuk menyimpan datasets dan LoRA yang kamu miliki. Kamu bisa mengunggah datasets dan LoRA tersebut di media penyimpanan cloud populer seperti Google Drive, Mega, MediaFire dan lainnya agar jika file yang kamu memiliki suatu saat hilang di komputer, jadi kamu masih punya backupnya.
Kamu juga bisa mengunggahnya di HuggingFace, Civitai, dan lainnya. Itu akan memudahkanmu ketika hendak ingin menggunakannya melalui Google Colab.