محتوا تکراری چیست؟ چگونه از duplicate content جلوگیری کنیم؟

محتوای تکراری یا duplicate محتوایی است که حداقل یکبار و یا بیشتر در صفحات مختلف یک سایت تکرار شده باشد. به عبارت دیگر، اگر شما در سایت‌تان محتواهایی داشته باشید که عینا و یا به صورت خیلی مشابه در صفحات مختلف سایت‌تان تکرار شده‌اند، شما در دام محتوای تکراری یا duplicate content افتاده‌اید و باید برای حذف صفحات تکراری از سایت‌تان دست به کار شوید.

در این مقاله به تمام زوایا و دلایلی که خواسته و یا ناخواسته دچار duplicate content می‌شویم می‌پردازیم، تاثیر محتوای تکراری بر سئو سایت را بررسی می‌کنیم و در آخر تمام راه حل‌های ممکن برای رها شدن از شر محتوای تکراری را مرور می‌کنیم.

duplicate content دقیقا چیست؟

محتوای تکراری، محتوایی است که کلمه به کلمه آن، در صفحه دیگری از سایت شما نشان داده می شود.

اما اگر این محتوا را فقط کمی بازنویسی کنید و مجددا در سایت‌تان منتشر کنید، بازهم دچار مشکل محتوای تکراری شده‌اید.

بنابراین محتوای تکراری علاوه بر اینکه به صفحاتی از سایت شما که عینا کپی هستند گفته می‌شود، به صفحاتی که تا حد خیلی زیادی مشابه همدیگر هستند و کاربران (و احتمالا موتور جستجو گوگل) نمی‌توانند تمایز بین آن‌ها را تشخیص دهند هم گفته می‌شود.

فرق محتوای تکراری (duplicate) با محتوای کپی (copied) چیست؟

شاید تصور کنید که محتوای تکراری همان محتوای کپی شده است. در صورتی که بین این دو موضوع شباهت‌ها و تفاوت‌های مختلفی وجود دارد.

اصطلاح محتوای تکراری یا duplicate content عموما برای صفحات تکراری داخل یک سایت به کار می‌رود، در صورتی که محتوای کپی یا copied content وقتی اتفاق می‌افتد که محتواهای یک سایت دیگر را عینا داخل سایت خودمان کپی کنیم.

هرچند که این دو اصلاح زیاد به جای همدیگر استفاده می‌شوند اما در سئو سایت تاثیرات متفاوتی دارند.

اگر با الگوریتم‌های گوگل آشنایی کافی ندارید، بد نیست بدانید که الگوریتم پاندا گوگل با محتواهایی که از سطح اینترنت کپی (copied contents) شده‌اند به طور جدی برخورد می‌کند اما نحوه برخورد گوگل با محتواهای تکراری (duplicate contents) آنقدرها هم سنگین و ترسناک نیست و تبعات دیگری به دنبال دارد که در ادامه به طور کامل به آن‌ها می‌پردازیم.

تاثیر محتوا تکراری بر روی سئو سایت

به طور کلی گوگل علاقه‌ای به نمایش محتواهای تکراری در صفحه نتایج خود ندارد و طبق گفته گوگل، تمام تلاش گوگل این است که صفحاتی با اطلاعات مجزا به صفحه نتایج آن راه پیدا کنند.

به طور کلی، سایت‌هایی که دارای محتواهای تکراری هستند بخاطر سه موضوع دچار افت ترافیک و کاهش رتبه می‌شوند که باهم آن‌ها را بررسی می‌کنیم.

رقابت صفحات تکراری با یکدیگر

اولین و مهم‌ترین لطمه duplicate content به سئو سایت شما بحث رقابت صفحات تکراری با یکدیگر است. برای درک این موضوع بگذارید با یک مثال شروع کنیم،

فرض کنید که شما سه صفحه در سایت‌تان دارید که دارای محتواهای مشابهی هستند.

از آنجایی که خودتان مشخص نکرده‌اید که کدام یکی از این صفحات، صفحه اصلی است، گوگل هم نمی‌داند که کدام یک از این صفحات را باید در نتایج جستجو خود نمایش دهد.

و دقیقا مشکل ازینجا شروع می‌شود که هر کدام از این سه صفحه تلاش می‌کنند تا به نتایج گوگل راه پیدا کنند و رتبه بگیرند.

و این موضوع به ظاهر ساده باعث می‌شود که این سه صفحه تبدیل به رقیب یکدیگر در صفحه نتایج گوگل شوند و اعتباری که باید در یکی از آن‌ها جمع می‌شد بین هرسه تا تقسیم شود و به همین راحتی یک محتوای عالی که می‌توانست جایگاه خوبی در نتایج گوگل پیدا کند درنهایت به سرانجام خوش آیندی نمی‌رسد.

پنالتی شدن سایت

گوگل بارها اعلام کرده که اگر به هر دلیلی احساس کند که شما قصد دستکاری نتایج جستجو را دارید با شما برخورد می‌کند. تولید محتواهای تکراری در مقیاس زیاد هم یکی از کارهایی است که سئو کاران کلاه سیاه برای دستکاری نتایج گوگل انجام می‌دهند.

البته خیلی هم نباید نگران این موضوع باشید، چراکه در یک بررسی انجام شده در فاصله سال‌های 2013 تا 2015، اینطور مشخص شد که 29% از محتوای اینترنت را محتواهای تکراری تشکیل می‌دهند و تکرار محتوا در بسیاری از سایت‌ها رخ می‌دهد و رایج است.

بنابراین این نوع پنالتی، به صورت خیلی خیلی نادر رخ می‌دهد و تنها در حالتی که گوگل احساس کند که حجم بسیار زیاد محتواهای تکراری سایت شما با هدف دستکاری نتایج است، ممکن است که این اقدام شما را با پنالتی جبران کند.

در این حالت شما هیچ راهی ندارید به جز اصلاح محتواهای تکراری و درخواست به گوگل، مبنی بر بازبینی مجدد سایت و خارج شدن از پنالتی.

اتلاف بودجه خزش (crawl budget)

در سایت‌های بزرگ با تعداد صفحات زیاد مثل سایت‌های فروشگاهی، نرخ خزش یا crawl budget از جمله نکات مهمی است که در سئو این سایت‌ها باید به آن توجه کرد.

محتواهای تکراری باعث می‌شوند که بودجه خزش سایت بجای خزش محتواهای تازه‌تر و مهم‌تر صرف خزیدن محتواهای قدیمی و تکراری شود که هیچ سودی برای سایت ندارند و در بدترین حالت حتی ممکن است باعث ایجاد مشکلاتی در index صفحات سایت شود.

در این حالت گوگل نه تنها رتبه صفحات تکراری را کاهش می‌دهد بلکه حتی ممکن است کلا از index کردن این صفحات صرف نظر کند.

اگر نگران crawl budget سایت خودتان هستید و اطلاعاتی راجع به این موضوع ندارید، حتما مقاله “crawl budget چیست” را کامل مطالعه کنید، در این مقاله به طور کامل به موضوع کراول باجت و اینکه چه نوع سایت‌هایی بزرگ هستند و باید نگران نرخ خزش خودشان باشند مفصلا توضیح داده‌ایم.

دلایل به وجود آمدن duplicate content در سایت

اشتباهات و مشکلاتی که در نهایت منجر به تولید محتواهای تکراری در یک سایت می‌شوند عموما دو ریشه کلی دارند:

1. مشکلات فنی و برنامه نویسی سایت
2. مشکلات غیر فنی در هنگام درج محتوا در سایت

برای جلوگیری از مشکلات فنی، باید مواظب برنامه نویسان باشیم و برای جلوگیری از مشکلات غیر فنی باید حواسمان باشد که موقع درج محتوا در سایت به صورت ناخواسته محتوای تکراری در سایتمان تولید نکنیم.

کوتاهی برنامه نویس سایت

1- جدال https و http

انتقال سایت از نسخه ناایمن http به https اگرچه مزایای زیادی برای سایت‌ها به همراه دارد اما اگر انتقال سایت از http به https به درستی انجام نشود، تمام صفحات سایت هم در نسخه http نمایش داده می‌شوند و هم در نسخه https !

همین موضوع به ظاهر ساده باعث می‌شود که برای هر صفحه سایت در نسخه https یک نسخه تکراری در حالت http وجود داشته باشد و به این ترتیب تمام صفحات سایت، دارای یک نسخه کپی از خودشان می‌شوند!

2- وقتی نسخه بدون www سایت به جان نسخه با www می‌افتد

دقیقا مشابه با حالت قبلی، سایت‌ها می‌توانند در دو نسخه www و بدون www باز شوند. به همین خاطر باید از همان ابتدا مشخص کنیم که کدام یکی از این دو حالت، حالتی است که مد نظر ماست و به این ترتیب موتورهای جستجو را درباره این موضوع گیج نکنیم.

سیستم‌های مدیریت محتوا مثل وردپرس، جوملا و … به خوبی این موضوع را مدیریت می‌کنند، اما اگر از یک سیستم مدیریت محتوا اختصاصی و برنامه نویسی شده استفاده می‌کنید باید به این موضوع و مدیریت آدرس‌های سایت حسابی دقت کنید.

3- فیلترهای فروشگاه می‌توانند باعث تولید محتواهای تکراری شوند

یکی از مشکلات شایع در سایت‌های فروشگاهی، مشکلاتی است که فیلترهای فروشگاه به وجود می‌آورند.

برای مثال، فرض کنید که صاحب یک فروشگاه اینترنتی لباس هستید و صفحه‌ای برای فروش تی‌شرت نخی در سایت‌تان دارید.

اگر سایت‌تان از ساختار مناسبی برخوردار باشد، در حالت ایده آل تمام حالت‌های مختلف تنوع تیشرت مانند رنگ و اندازه باید در یک URL خلاصه شوند.

اما برعکس اگر هر کدام از این تنوع‌ها در یک URL جداگانه نمایش داده شوند، آنوقت کار حسابی سخت می‌شود و برای یک محتوای مشابه چندین و چند صفحه تکراری ایجاد می‌شود.

این تنها یک مثال از یک سایت فروشگاهی بود اما این موضوع نه تنها در سایت‌های فروشگاهی بلکه بسیاری از سایت‌های مختلف دیگر هم ممکن است اتفاق بیفتد.

بخش‌های جستجو، فیلتر محتواها و … مستعد تولید صفحات تکراری در سایت‌ها هستند که باید به خوبی به نحوه عملکرد آن‌ها در نمایش نتایج دقت کرد.

4- مواظب قابلیت print در سایت خود باشید

در بعضی از سایت‌ها دکمه‌ای تحت عنوان print صفحه وجود دارد که اگر روی آن کلیک کنید، یک صفحه جدید برای شما باز می‌شود که تمام محتویات صفحه به شکلی که برای پرینت مناسب باشند نمایش داده می‌شوند.

اما مشکل از جایی شروع می‌شود که این قابلیت در یک آدرس جدا از آدرس اصلی و در یک URL کاملا متمایز باز می‌شود و به این ترتیب دو صفحه از سایت که URL های متفاوتی دارند، دارای محتواهای یکسانی هستند.

به عنوان مثال اگر آدرس اصلی صفحه https://mysite.com/example باشد و آدرس صفحه در حالتی که مناسب پرینت است در https://mysite.com/example/print باز شود، هر دو این آدرس‌ها با اینکه URLهای متفاوتی دارند اما دارای محتواهای یکسانی هستند و به رقبای یکدیگر تبدیل می‌شوند!

5- اگر چند دامنه مختلف دارید مواظب duplicate content باشید

یکی دیگر از اشتباهات رایجی که به راحتی باعث تولید duplicate content می‌شود، موضوع چند دامنه‌ای بودن سایت و پارک دامنه‌ها بر روی یکدیگر است.

در کسب و کارهای جدی، برای جلوگیری از مشکلاتی که ممکن است رقبا برایمان به وجود بیاورند معمولا توصیه می‌شود که تمام حالت‌های مختلف نوشتاری و پسوندهای مختلف دامنه مورد نظرمان را خریداری کنیم.

به عنوان مثال تمام دامنه‌های digikala.com، digikala.ir، digikala.org و … متعلق به شرکت دیجی کالاست.

اما یکی از اشتباهاتی که خیلی از افراد مرتکب آن می‌شوند پارک این دامنه‌ها بر روی یکدیگر است تا به این ترتیب هرکسی که هر کدام از این دامنه‌ها را وارد کرد به سایت‌مان وارد شود.

با پارک دامنه‌ها بر روی یکدیگر، یک محتوای یکسان در تمام دامنه‌های پارک شده که URL‌های متفاوتی هم دارند نمایش داده می‌شود و صفحه اصلی سایت که مهم‌ترین صفحه سایت در سئو است تبدیل به یک محتوای تکراری در چندین نسخه با دامنه‌های متفاوت می‌شود!

6- مشکلات duplicate content در ساب دامنه‌ها

یکی از استراتژی‌های رایج در سایت‌های چندزبانه، پیاده کردن زبان‌های مختلف سایت، در ساب دامنه‌هاست.

برای مثال، نسخه انگلیسی سایت در en.degardc.com قرار می‌گیرد و نسخه آلمانی در de.degardc.com و به همین ترتیب…

اما یکی از مشکلات ساب دامنه که اگر به آن توجه نشود مشکل ساز می‌شود، نمایش ساب دامنه در هر دو حالت en.degardc.com و degardc.com/en است.

به همین راحتی دو URL مختلف، محتواهای یکسانی را نمایش می‌دهند و این پتانسیل را پیدا می‌کنند که به محتواهای تکراری همدیگر تبدیل شوند.

اشتباهات مسئول محتوا سایت

1- استفاده اشتباه و زیاد از تگ‌ها

اگر وبسمتر سایت خودتان هستید یا مدیریت یک سایت را برعهده دارید، حتما با موضوعی به نام تگ‌ها یا برچسب‌ها برخورد داشته‌اید.

برچسب‌ها به ما کمک می‌کنند تا موضوعات مختلف سایت‌مان را دسته بندی کنیم و به این ترتیب به کاربران‌مان کمک کنیم تا محتواهای مورد نظرشان را راحت‌تر پیدا کنند.

اما متاسفانه، بسیاری از افراد با این تصور که هرچه برچسب بیشتری بزنند نتیجه بهتری در سئو سایت می‌گیرند از برچسب‌ها به شیوه‌ای اشتباه استفاده می‌کنند.

استفاده زیاد از برچسب‌ها و به خصوص استفاده از برچسب‌های اختصاصی باعث تولید صفحاتی در سایت‌ شما می‌شوند که عینا محتوای یکسانی دارند ولی دارای آدرس‌های متفاوتی هستند و به این ترتیب و بدون اینکه متوجه شوید، تا دلتان بخواهد در سایت‌تان محتوای تکراری تولید کرده‌اید!

2- کپی محتوا در صفحات مختلف

خیلی وقت‌ها هم پیش می‌آید که به عمد یا به طور سهوی محتواهای سایت‌مان را در صفحات مختلف عینا کپی و پیست می‌کنیم.

به عنوان مثال در سایت‌های فروشگاهی ممکن است محصولاتی داشته باشیم که مشخصات خیلی مشابهی دارند و فقط در اندازه یا رنگ یا سایر موارد این چنینی متفاوت‌ باشند.

ما هم برای اینکه کار خودمان را راحت کنیم، یکبار با کلی صبر و تلاش یک محتوای جامع تولید می‌کنیم و این محتوا را در توضیحات تمام این محصولات تکرار می‌کنیم.

به این ترتیب تمام این محصولات اگرچه دارای صفحات متفاوتی هستند اما مشخصات کاملا یکسان و یا بسیار مشابهی دارند که عملا آن‌ها را به محتواهای تکراری تبدیل می‌کند و این موضوع هم موتورهای جستجو و هم کاربران را حسابی گیج می‌کند.

چطور از تولید duplicate content در سایت‌مان جلوگیری کنیم؟

علاوه بر تمام این دلایلی که باعث تولید محتوای تکراری در سایت می‌شوند، دلایل مختلف دیگری هم وجود دارند که می‌توانند منجر به تولید duplicate content در سایت ما شوند، اما به طور کلی با رعایت یکسری نکات، می‌توان تا حد خوبی از تولید محتواهای تکراری در سایت پیشگیری کرد.

سیستم مدیریت محتوای خود را بشناسید

شناخت سیستم مدیریت محتوا و نحوه نمایش محتواها در سایت‌تان تا حد خوبی به پیشگیری از تولید صفحات تکراری در سایت جلوگیری می‌کند.

به عنوان مثال در سیستم مدیریت محتوای وردپرس، قابلیتی تحت عنوان بایگانی نویسنده‌ها و بایگانی طبق تاریخ وجود دارد که اگر این بایگانی‌ها به خوبی مدیریت نشوند به راحتی می‌توانند باعث ایجاد صفحات تکراری در سایت شوند.

بنابراین شناخت نحوه عملکرد سیستم مدیریت محتوا یا وبسایت برنامه نویسی شده‌ای که در حال استفاده از آن هستید، تاثیر به سزایی بر روی حجم صفحات تکراری سایت شما خواهد گذاشت.

محتواهای مشابه را تا حد ممکن کم کنید

اگر تا قبل از مطالعه این مقاله، اقدام به کپی مطالب در صفحات مختلف سایت‌تان می‌کردید و سایت شما پر از صفحاتی با محتواهای تکراری است، می‌توانید به سراغ آن‌ها بروید و با اضافه کردن محتواهای اختصاصی به آن‌ها، خاصیت تکراری بودن محتواها را تا حد خوبی از بین ببرید.

به عنوان مثال اگر وبسایتی در حوزه گردشگری دارید و صفحاتی در سایت‌تان دارید که در آن‌ها به موضوع سفر به شهرهای مختلف پرداخته‌اید اما محتواهای یکسانی دارند، با اضافه کردن محتواهای خاص آن شهر، می‌توانید بین صفحات مختلفی که تا پیش از این محتوا یکسانی داشتند تمایز ایجاد کنید.

از انتشار مقاله‌های کوچک و ناقص خودداری کنید

تقریبا تمام افراد از دیدن صفحات نصفه نیمه و ناقصی که در دست انتشار هستند، احساس خوبی پیدا نمی‌کنند. این صفحات به خاطر حجم محتوای کم و ناقص‌شان ممکن است از نظر موتورهای جستجو هم به صورت محتواهای تکراری شناسایی شوند.

بنابراین سعی کنید که عادت انتشار مقالات تکمیل نشده را برای همیشه ترک کنید و یا حداقل تا قبل از تکمیل شدن نهایی مقالات، برای جلوگیری از سر زدن موتورهای جستجو به مقالاتی که هنوز تکمیل نشده‌اند، از تگ‌ noindex استفاده کنید.

با محتواهای تکراری سایت‌مان چیکار کنیم؟

حالا که به خوبی با duplicate content و دلایل به وجود آمدن آن و همچنین روش‌های پیشگیری از آن آشنا شدید، وقت آن رسیده که به سراغ محتواهای تکراری سایت‌تان بروید و با کمک این راه حل‌ها، مشکل صفحات تکراری سایت‌تان را حل کنید.

از ریدایرکت 301 استفاده کنید

یکی از بهترین روش‌ها برای انتقال صفحات تکراری به یک صفحه مشخص، استفاده از ریدایرکت 301 است.

در حقیقت با اینکار، وقتی موتورهای جستجو یا کاربران به سراغ صفحات تکراری سایت شما می‌روند، به صورت خودکار به صفحه اصلی که مد نظر شماست هدایت می‌شوند و به این ترتیب تمام اعتبار و ترافیک محتواهای تکراری هم در داخل یک صفحه جمع می‌شود.

در این حالت، جنگ بین صفحات تکراری برای کسب رتبه در نتایج گوگل هم خاتمه میابد و تنها یک صفحه که صفحه مورد نظر شماست در نتایج گوگل حاضر می‌شود.

از تگ کنونیکال استفاده کنید

اگر صفحات تکراری در سایت‌تان دارید که بخاطر حیاتی بودن عملکرد آن‌ها، قادر به استفاده از ریدایرکت 301 نیستید، می‌توانید از تگی به نام canonical استفاده کنید.

استفاده از تگ rel=canonical به موتورهای جستجو می‌فهماند که “ما در جریان محتواهای تکراری سایت‌مان هستیم و نمی‌خواهیم آن‌ها را حذف کنیم، اما تو بدون و آگاه باش که این صفحه، صفحه اصلی و مورد نظر ما برای این موضوع است و بیخیال صفحات تکراری دیگر شو!”

برای اینکار کافیست در تگ HEAD صفحه‌ای که دارای محتوای تکراری است قطعه کدی به این صورت اضافه کنید

<link rel=”canonical” href=”example.com” />

که example.com در حقیقت آدرس اصلی صفحه‌ای است که می‌خواهید موتورهای جستجو آن را به عنوان آدرس اصلی محتوا در نظر بگیرند.

طبق گفته گوگل هم، استفاده از تگ کنونیکال نسبت به محدود کردن ربات‌های جستجو با استفاده از فایل robots.txt برای دسترسی به صفحات تکراری روش بهتری محسوب می‌شود و با اینکار ربات‌های گوگل هم ارتباط بین صفحات مختلف و تکراری را بهتر درک می‌کنند و متوجه می‌شوند.

از تگ noindex استفاده کنید

در برخی موارد ممکن است شرایط به صورتی باشد که نه می‌توانید صفحات تکراری را ریدایرکت کنید و نه استفاده از تگ کنونیکال گزینه منطقی به نظر می‌رسد.

در این حالت، می‌توان با به کار بردن تگ noindex از موتورهای جستجو درخواست کرد که از ایندکس کردن صفحات تکراری دست بردارند و به این ترتیب مشکل duplicate content را حل کنیم.

جمع بندی پایانی…

همانطور که در این مقاله بررسی کردیم، وجود محتواهای تکراری می‌تواند آسیب‌های پنهان و زیادی به سئو سایت شما وارد کند. برای جلوگیری از این مشکلات روش‌‌های مختلفی را بررسی کردیم و گفتیم که استفاده از ریدایرکت 301 می‌تواند بهترین روش برای حل مشکل صفحات تکراری در سایت شما باشد. هرچند که در خیلی از موارد قادر به استفاده از ریدایرکت 301 نیستیم و مجبوریم از روش‌هایی دیگری مانند تگ کنونیکال برای تفهیم موتورهای جستجو استفاده کنیم.

در پایان مثل همیشه، منتظر شنیدن نظرات و تجربیات شما در خصوص duplicate content و مشکلاتی که می‌تواند برای سئو سایت‌ها به وجود آورد هستیم. همچنین اگر بعد از مطالعه این مقاله، همچنان سوالاتی در خصوص محتواهای تکراری و روش‌های برطرف کردن آن در ذهن‌تان دارید در قسمت نظرات سوالات خودتان را با ما مطرح کنید.