سئوی robots.txt، مثالی بزرگ برای جستجوگرها: اگر دقت کرده باشید، فایل robots.txt معمولاً در شاخه های اصلی فایل های وب سایت شما وجود دارند. بگذارید همین ابتدا خیالتان را راحت کنم. این فایل مستقیماً بر رروی سئوی وب سایت شما تاثیر می گذارد. پس اگر تابحال به آن اهمیت نمیدادید، از این پس باید نگران صحت محتوای آن شوید. این فایل مشخص می کند که جستجوگرهایی مثل گوگل چگونه و به چه شکل چه دسترسی هایی به چه قسمت هایی از وب سایت شما داشته باشند. همانگونه که از نامش پیداست، این فایل ربات های موتورهای جستجوگر را هدایت می کند تا به آن چه شما مشخص کرده اید دستیابی داشته باشند. در این نوشته سعی بر آن داریم تا مشخص کنیم چطور این فایل می تواند به بهترین شکل تغییر یابد و تا آن جا که ممکن است به سئوی وب سایت شما و ایندکس محتوایتان کمک کند. با طراحی سایت تی اچ دیزاینر همراه باشید.

از این به بعد گوگل به سایت شما هم اشاره می کند

گوگل دیگر کودکی نیست که فقط به محتوای html سایت شما دقت کند و آن را در حالی که شما از دیگر تکنولوژی هایی مثل جاوا اسکریپت و … استفاده می کنید نادیده بگیرد و تمامی محتواهای تمام صفحات شما را بیرون بکشد. گوگل فقط به دستور شما صفحاتی مشخص را مورد دسترسی قرار می دهد. اگر به آن بگویید صفحاتی مثل بک اند وب سایتتان را ایندکس نکند، او به شما احترام می گذارد و این کار را انجام نمی دهد. بله، به واسطه فایل robots. این قضیه از الگوریتم پاندای گوگل شروع شد و به راحتی می توان به آن اشاره کرد که هرگز فایل های سی اس اس یا جاوا اسکریپت شما را مورد بررسی قرار ندهد. اگر از افزونه یوآست در سئوی وب سایت وردپرسی خود استفاده می کنید، پیشنهاد می کنیم به نوشته نحوه افزودن کلمه کلیدی و توضیحات متا در وردپرس نیز نگاهی بیاندازید.

بهترین روش برای پیشگیری از مسدود شدن محتوا

بهترین روش پیشگیری از مسدود کردن دسترسی به دایرکتوری های بک اند شما و دایرکتوری های غیرضروری دیگر برای سئو شما از طریق robots.txt است. اگردقت داشته باشید در وردپرس از نسخه ۴ به بعد، مشخص شد که در فایل ربات این سیستم مدیریت محتوا دایرکتوری هایی مثل wp include یا plugins دیگر مورد ایندکس شدن قرار نگیرد.

البته باید این را در نظر داشت که برخی از قالب ها با تکتولوژی های مختلفی محتوا را نشان می دهند که اگر این ها مسدود شوند، روبات های گوگل یا هر موتور جستجوی دیگری نمی تواند آن را کرال کند. در همین راستا به گفته یکی از کارشناسان yoast که در حال حاضر برترین نرم افزار یا افزونه وردپرس در زمینه سئو را پیاده سازی کرده اند، این قضیه را طی یک تیکتی به کارشناسان وردپرس داده اند تا از این پس به وردپرس اجازه دهند تا مجوز کرال شدن فایل admin-ajax.php در فایل ربات به گوگل داده شود.

در استفاده از Robots.txt جوگیر نشوید

چیز دیگری است که بسیار مهم است به یاد داشته باشید: اگر از robots.txt سایت خود برای مسدود کردن URL استفاده کنید، موتورهای جستجو آن را خالی نمی کنند. این بدان معنی است که آنها نمیتوانند مقدار پیوند را در URL های مسدود شده توزیع کنند. بنابراین اگر یک ناحیه از سایت شما وجود داشته باشد که دارای پیوندهای زیادی با آن است، اما شما نباید در نتایج جستجو ظاهر شوید، از طریق robots.txt آن را مسدود نکنید، از meta tag robots با مقدار noindex استفاده کنید. این کار باعث می شود تا ربات های گوگل را به درستی به آن چه که می خواهید هدایت کنید. پس در نتیجه دقت داشه باشید که فایل Robots سایت شما یک مجوزنامه نیست که هر آن چه را که می خواهید و نمی خواهید به آن اضافه کنید.

yoast در رابطه با سئوی robots.txt چه می گوید؟

جالب است بدانید که یوآست که بهترین افزونه سئوی وردپرس را ارائه داده است، خود در سئوی robots.txt مخالف بلاک کردن بسیاری از مواردی است که در این فایل بصورت دیفالت بلاک می شوند. یکی از کارشاسان وب سایت یوآست پس از بررسی طراحی وب سایت تی اچ دیزاینر، می گوید: هم اکنون وب سایت های خود ما هیچ چیز را در فایل ربات وردپرس بلاک نمی کند. ما حتی ترجیح می دهیم تا دایرکتوری هایی مثل plugins یا includes کاملاً کرال شوند، زیر بسیاری از آن ها صفحات ای جکس یا جاوااسکریپتی دارند که نیاز است تا محتوایشان که به وردپرس شما مرتبط است را در دسترس ربات ها قرار دهند.

robots.txt

سئوی robots.txt

به تصویر فوق دقت کنید، واقعاً حتی برای خود بنده هم جالب است. این تصویری از فایل ربات وب سایت یوآست است. در این فایل طبق گفته خودشان هیچ چیز را بلاک نکرده اند و به جستجوگرها این اجازه را داده اند تا به همه چیز دسترسی داشته باشند. کارشاس یوآست می گوید، ما حتی دایرکتوری wp-admin را هم بلاک نمی کنیم.

سوال تکراری: آیا باید به سایت مپ در فایل ربات لینک دهیم؟

به شخصه از بنده در طول تمام سابقه کاری ام در رابطه با سئوی robots.txt این سوال را بسیار پرسیده اند و واقعاً سوالی تفکر برانگیز می باشد. به این دلیل که هر دو فایل sitemap.xml و robots.txt بطور مستقیم و تاثیرگذاری در سئو هستند و نباید به سادگی از آن ها گدشت. به شخصه پاسخ سوال را به این شکل می دهم که چه اشکالی دارد و فایل ربات به فایل نقشه هم اشاره ای شود؟ اگر سودی نداشته باشد، ضرری هم ندارد. اما کارشناس سئوی یوآست کاملاً برعکس، می گوید: دلیلی ندارد در این فایل به نقشه اشاره ای شود. نقشه سایت یا همان sitemap.xml فقط باید در وبمستر گوگل اضافه شود و در سایت شما وجود داشته باشد. نظر شما در این باره چیست؟

۱ دیدگاه. Leave new

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

Fill out this field
Fill out this field
لطفاً یک نشانی ایمیل معتبر بنویسید.

فهرست