Duplicate Content SEO: Canonical, Redirect, dan Noindex
Artikel ini pertama kali terbit pada 2022 dan telah diperbarui mengikuti dokumentasi Google Search Central mengenai canonicalization, duplicate URLs, redirect, noindex, dan Search Console.
Duplicate content tidak otomatis membuat sebuah website terkena penalti Google. Memiliki dua atau lebih URL dengan isi sama atau sangat mirip merupakan kondisi yang umum di web. Tantangan SEO muncul ketika mesin pencari harus menentukan URL mana yang seharusnya dianggap sebagai versi utama.
Google menyebut proses tersebut sebagai canonicalization. Ketika beberapa halaman dinilai sama atau memiliki konten utama yang sangat mirip, Google dapat mengelompokkannya sebagai satu cluster dan memilih satu URL yang dianggap paling representatif untuk ditampilkan di hasil pencarian.
Apa yang dimaksud duplicate content dalam SEO?
Dalam konteks technical SEO, duplicate content adalah kondisi ketika konten yang sama atau sangat mirip dapat ditemukan melalui lebih dari satu URL.
Yang penting di sini adalah URL. Sebuah halaman tidak harus dicuri atau di-copy dari website lain untuk menjadi bagian dari masalah canonicalization.
Satu artikel milik Anda sendiri dapat muncul melalui beberapa URL karena parameter, protokol, domain alternatif, sistem filter, versi cetak, atau konfigurasi CMS.
Isi identik pada beberapa URL
Misalnya halaman yang sama dapat dibuka dari dua URL berbeda akibat parameter tracking atau variasi struktur URL.
Konten utama sangat mirip
Misalnya halaman produk dengan deskripsi hampir identik dan perbedaan hanya pada atribut kecil.
Artikel diterbitkan ulang di website lain
Syndication dapat dilakukan secara resmi oleh partner atau terjadi karena scraping tanpa izin.
Satu halaman memiliki beberapa variasi URL
Contohnya HTTP dan HTTPS, parameter filter, sorting, URL tracking, atau versi perangkat tertentu.
Bagaimana dengan klaim “60% internet adalah duplicate”?
Angka ini memang pernah muncul dan menjadi alasan artikel Masbadar versi 2022 dibuat.
Pada Google Search Central Live di Singapura pada November 2022, Gary Illyes dari Google menampilkan pernyataan bahwa sekitar 60% internet bersifat duplicate.
Tetapi angka tersebut jangan diterjemahkan sebagai:
- 60% artikel di internet hasil plagiarisme;
- 60% website melanggar kebijakan Google; atau
- 60% halaman akan terkena penalti.
Konteksnya berkaitan dengan bagaimana Google menemukan kemiripan, membangun kelompok halaman duplikat, dan kemudian menentukan URL representatif atau canonical.
Google sudah lama menggunakan proses deduplication karena web secara alami menghasilkan banyak variasi URL dan konten yang sama atau sangat mirip.
Jadi angka 60% lebih berguna untuk memahami besarnya pekerjaan canonicalization pada skala web daripada sebagai statistik plagiarisme.
Duplicate content bukan otomatis Google penalty
Ini salah satu miskonsepsi SEO yang paling bertahan lama.
Google Search Central menjelaskan bahwa duplicate content tertentu merupakan hal normal dan bukan otomatis pelanggaran kebijakan spam.
Ketika Google menemukan halaman sama atau sangat mirip, sistem biasanya mencoba menentukan satu URL sebagai canonical.
Kapan duplikasi tetap bisa menjadi masalah?
Walaupun tidak otomatis menghasilkan penalty, duplicate URLs dapat menimbulkan masalah praktis:
- URL yang tidak Anda inginkan dapat muncul di hasil pencarian;
- Google harus memilih canonical dari beberapa kandidat;
- sinyal link dan internal linking dapat tersebar;
- crawling terpakai untuk URL yang sebenarnya tidak penting;
- laporan analytics dan Search Console dapat lebih sulit dibaca;
- pengguna bingung menentukan halaman yang benar; dan
- halaman-halaman yang sebenarnya ingin dibedakan dapat dianggap terlalu mirip.
Mengapa sebuah website bisa menghasilkan URL duplikat?
Duplicate content sering bukan akibat seseorang menyalin artikel. Struktur website sendiri dapat menciptakan versi yang mirip.
| Penyebab | Contoh | Risiko |
|---|---|---|
| HTTP dan HTTPS | Versi lama HTTP masih dapat diakses bersama HTTPS. | Dua URL membawa konten sama. |
| www / non-www | Domain dapat dibuka dengan dua hostname. | Canonical host tidak jelas jika redirect buruk. |
| Tracking parameter | ?utm_source=... atau ?ref=... | Banyak URL mengarah ke konten utama sama. |
| Sort & filter | ?sort=price atau filter kategori. | Kombinasi URL dapat sangat besar. |
| Printer version | Halaman normal dan halaman print. | Konten inti hampir identik. |
| CMS | Arsip, tag, author, pagination, dan URL alternatif. | Bagian konten dapat berulang pada banyak halaman. |
| Syndication | Artikel yang sama diterbitkan partner. | Mesin pencari harus menentukan versi representatif. |
Bagaimana Google memilih canonical URL?
Google tidak selalu mengindeks setiap URL duplikat sebagai hasil pencarian terpisah.
Ketika beberapa halaman dinilai sama atau konten utamanya sangat mirip, Google dapat mengelompokkannya. Kemudian satu URL dipilih sebagai canonical atau halaman representatif.
Pemilik website dapat memberi sinyal mengenai URL yang diinginkan, tetapi keputusan akhir tetap berada pada sistem Google.
Tiga sinyal utama yang dapat kita berikan
Redirect
Permanent redirect merupakan sinyal kuat bahwa URL tujuan seharusnya dianggap sebagai canonical.
rel="canonical"
Canonical annotation merupakan sinyal kuat bahwa URL tertentu adalah versi yang dipreferensikan.
Sitemap
URL yang dimasukkan ke sitemap memberi sinyal canonical, tetapi lebih lemah dibanding redirect dan rel canonical.
Google juga menyebut bahwa sinyal tersebut dapat digunakan bersama. Konsistensi penting: jangan mengarahkan canonical ke URL A tetapi justru memasukkan URL B sebagai versi utama di sitemap dan internal link.
301 redirect, canonical, noindex, atau hapus halaman?
Keempat tindakan ini mempunyai tujuan berbeda. Jangan memilih berdasarkan kebiasaan atau sekadar fitur plugin.
| Kondisi | Tindakan yang Umumnya Tepat | Tujuan |
|---|---|---|
| URL lama tidak diperlukan lagi | Permanent redirect | Mengalihkan pengguna dan sinyal ke URL pengganti. |
| Dua URL tetap harus dapat dibuka | rel="canonical" | Menunjukkan URL yang dipreferensikan. |
| Halaman diperlukan pengguna tetapi tidak untuk Search | noindex | Mencegah halaman muncul di indeks pencarian. |
| Halaman tidak mempunyai fungsi dan tidak ada pengganti | 404 / 410 | Menunjukkan resource memang tidak tersedia. |
| URL tracking menuju isi sama | Canonical + internal link bersih | Mengkonsolidasikan variasi URL. |
Contoh rel canonical
Pada halaman alternatif, canonical di bagian
<head>
dapat berbentuk:
<link rel="canonical"
href="https://www.example.com/artikel-utama.html" />
Untuk memilih canonical di antara URL duplikat dalam satu situs,
rel="canonical"
mempunyai fungsi yang lebih tepat.
noindex
mempunyai tujuan berbeda: mengeluarkan halaman dari Search.
Google juga tidak merekomendasikan
robots.txt
maupun URL Removal Tool sebagai metode canonicalization.
Canonical adalah sinyal, bukan perintah absolut
Memasang canonical bukan berarti Google wajib mematuhinya.
Google dapat memilih URL lain jika sinyal yang tersedia menunjukkan bahwa URL lain lebih masuk akal sebagai halaman representatif.
Karena itu jangan hanya memeriksa keberadaan tag. Audit seluruh konsistensi:
- URL tujuan canonical merespons HTTP 200;
- tidak diarahkan kembali ke URL lain secara tidak perlu;
- internal link menggunakan URL canonical;
- sitemap memuat URL canonical;
- HTTP mengarah ke HTTPS secara konsisten;
- hostname utama konsisten;
- canonical tidak membentuk chain; dan
- konten halaman memang cukup mirip untuk dikonsolidasikan.
Self-referencing canonical juga berguna
Halaman canonical dapat menunjuk kepada dirinya sendiri. Ini dikenal sebagai self-referencing canonical.
Misalnya URL utamanya adalah:
https://www.example.com/panduan-seo.htmlHalaman tersebut dapat menunjukkan:
<link rel="canonical"
href="https://www.example.com/panduan-seo.html" />Hal ini membantu membuat preferensi URL lebih eksplisit, terutama ketika halaman yang sama menerima parameter tracking atau variasi URL lain.
Bagaimana dengan artikel yang disindikasikan ke website lain?
Syndication perlu dibedakan dari pencurian konten.
Dalam syndication resmi, penerbit asli memang mengizinkan partner menerbitkan ulang konten. Tantangannya adalah menentukan bagaimana kedua pihak ingin halaman tersebut diperlakukan mesin pencari.
Untuk mencegah versi partner syndication ikut bersaing di Search, pemilik konten dapat mendiskusikan strategi indexing dengan partner, termasuk penggunaan noindex apabila versi partner memang tidak perlu tampil di hasil pencarian.
Bagaimana dengan scraper?
Bila situs lain menyalin konten tanpa izin, masalahnya bukan lagi sekadar canonicalization.
Anda dapat menghubungi pemilik atau hosting website tersebut. Jika terjadi pelanggaran hak cipta, gunakan mekanisme penghapusan konten yang sesuai.
Duplicate content di Blogger: apa yang perlu diperhatikan?
Karena Masbadar.com menggunakan Blogger, pendekatan technical SEO berbeda dari WordPress yang memiliki banyak plugin SEO.
Arsip label bukan otomatis duplicate content penalty
Halaman label, arsip, dan pagination dapat menampilkan potongan artikel yang sama dengan halaman posting. Itu tidak berarti situs langsung terkena penalti.
Yang perlu diperhatikan adalah apakah theme dan konfigurasi indexing membuat halaman yang seharusnya hanya membantu navigasi justru bersaing dengan posting utama untuk query yang sama.
Yang lebih berbahaya: dua artikel dengan search intent sama
Dalam audit editorial Masbadar.com, persoalan yang lebih sering perlu dibereskan bukan copy identik, melainkan beberapa artikel lama yang membahas topik dan intent pencarian hampir sama.
Ini bukan duplicate content dalam arti teknis sederhana. Persoalannya lebih dekat ke content overlap atau keyword cannibalization.
Solusinya bisa berupa:
- membedakan search intent;
- menggabungkan dua artikel;
- menjadikan satu halaman cornerstone;
- mengubah artikel lain menjadi supporting content; atau
- redirect bila halaman lama memang tidak lagi mempunyai fungsi mandiri.
Gunakan Search Console untuk melihat canonical yang dipilih Google
Jangan menebak hanya dari source HTML.
URL Inspection di Google Search Console dapat memperlihatkan informasi mengenai:
- user-declared canonical;
- Google-selected canonical;
- status indexing; dan
- hasil crawl terakhir yang tersedia.
Bila Google-selected canonical berbeda dari URL yang Anda harapkan, cari penyebab sinyalnya tidak konsisten.
Inspeksi URL
Periksa URL yang dianggap bermasalah dan catat canonical pilihan Google.
Periksa sinyal teknis
Cek redirect, canonical annotation, sitemap, internal link, HTTP/HTTPS, dan kemungkinan konfigurasi theme atau server.
Periksa kemiripan konten
Bila dua halaman seharusnya berdiri sendiri tetapi terus dikelompokkan Google, pastikan perbedaannya benar-benar substansial.
Request indexing bila penting
Setelah masalah diperbaiki, URL prioritas dapat dikirim kembali melalui Request Indexing. Evaluasi ulang canonical tidak selalu terjadi secara instan.
Canonicalization tidak menggantikan arsitektur website yang rapi
Canonical bukan alat untuk membenarkan website yang menghasilkan ribuan URL tidak perlu.
Bila sistem filter menghasilkan kombinasi parameter tanpa batas, internal link tidak konsisten, sitemap penuh URL alternatif, dan redirect saling berantai, memasang canonical saja tidak menyelesaikan akar masalah.
Struktur yang sehat biasanya mempunyai:
- satu URL utama yang konsisten untuk setiap halaman penting;
- internal link menuju URL canonical;
- sitemap berisi URL yang memang ingin diindeks;
- redirect yang langsung menuju destination final;
- parameter URL yang terkendali;
- konten dengan search intent yang jelas; dan
- arsitektur informasi yang mudah dipahami manusia maupun crawler.
Checklist audit duplicate content
| Pemeriksaan | Pertanyaan |
|---|---|
| Canonical | Apakah URL utama menunjuk canonical yang benar dan konsisten? |
| Redirect | Apakah URL lama langsung menuju halaman final tanpa chain? |
| HTTP/HTTPS | Apakah versi HTTP selalu berpindah ke HTTPS? |
| Internal link | Apakah semua link internal menggunakan URL canonical? |
| Sitemap | Apakah sitemap hanya berisi URL yang memang diinginkan untuk Search? |
| Parameter | Apakah tracking atau filter menghasilkan URL crawlable berlebihan? |
| Search intent | Apakah beberapa artikel sebenarnya membahas intent yang sama? |
| Search Console | Apakah Google-selected canonical sesuai dengan yang diharapkan? |
Punya banyak URL lama, redirect, atau halaman yang gagal diindeks?
Audit SEO tidak selalu berarti menambah artikel baru. Pada website lama, pekerjaan yang lebih penting sering justru mengidentifikasi URL duplikat, konten yang saling tumpang tindih, redirect yang salah, halaman usang, canonical, serta struktur internal link.
Masbadar.com menangani optimisasi website dan audit konten dengan pendekatan editorial serta technical SEO, termasuk evaluasi melalui Google Search Console.
FAQ duplicate content dan canonical SEO
Apakah duplicate content menyebabkan Google penalty?
Tidak secara otomatis. Duplicate content tertentu merupakan kondisi normal di web. Google biasanya mencoba memilih satu URL canonical dari kumpulan halaman yang sama atau sangat mirip.
Apakah semua halaman duplikat harus dihapus?
Tidak. Beberapa variasi URL mempunyai fungsi yang sah. Tindakannya bergantung pada kebutuhan: redirect jika URL lama sudah tidak digunakan, canonical jika variasi tetap perlu tersedia, atau noindex bila halaman memang tidak seharusnya muncul di hasil pencarian.
Apa perbedaan 301 redirect dan canonical?
Redirect memindahkan pengguna dan crawler ke URL lain. Canonical mempertahankan kedua URL tetap dapat diakses tetapi memberikan sinyal mengenai versi yang dipreferensikan.
Apakah noindex bisa menggantikan canonical?
Tujuannya berbeda. Jika ingin mengkonsolidasikan beberapa URL serupa, canonical lebih sesuai. Noindex digunakan ketika sebuah halaman memang tidak ingin dimunculkan di Search.
Apakah robots.txt bisa menyelesaikan duplicate content?
Bukan untuk canonicalization. Robots.txt mengendalikan crawling, bukan menetapkan URL canonical.
Apakah tag dan label Blogger dianggap duplicate content?
Halaman label dapat menampilkan kutipan dari banyak posting, tetapi itu tidak otomatis berarti penalty. Periksa tujuan indexing, theme, canonical, serta apakah halaman tersebut memberi nilai navigasi atau justru bersaing dengan posting utama.
Mana yang lebih berbahaya: duplicate content atau keyword cannibalization?
Keduanya berbeda. Duplicate content berkaitan dengan halaman sama atau sangat mirip dan canonicalization. Cannibalization biasanya terjadi ketika beberapa halaman berbeda mengejar search intent atau keyword yang sangat berdekatan.
Bagaimana mengetahui canonical yang dipilih Google?
Gunakan URL Inspection di Google Search Console dan bandingkan user-declared canonical dengan Google-selected canonical.
