فایل Robots.txt چیست؟

وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند. تمامی روبات های استاندارد در اینترنت به این قوانین و محدودیت ها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روبات های اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روبات های اینترنتی دارید بهتر است از پسورد گذاری صفحات استفاده کنید.

در عمل استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.
شما تنها زمانیکه قصد محدود کردن روبات های گوگل را داشته باشید از فایل robots.txt استفاده میکنید و اگر از نظر شما تمام صفحات سایت قابلیت و ارزش ایندکس شدن توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت. حتی قرار دادن یک فایل خالی با همین نام نیز لزومی ندارد.
برای قرار دادن یک فایل robots.txt شما باید به هاست دسترسی داشته و آن را در ریشه اصلی کپی کنید. اگر به هر دلیل دسترسی شما به سرور محدود شده باشد میتوانید با قرار دادن تگ های متا در هدر صفحه دسترسی روبات به آن را محدود کنید.

برای جلوگیری از ورود تمامی روبات های اینترنتی به صفحه از تگ:

<meta name=”robots” content=”noindex” />

و برای محدود کردن روبات های گوگل از تگ:

<meta name=”googlebot” content=”noindex” />

استفاده کنید. با مشاهده ی این تگ در هدر یک صفحه گوگل بطور کلی آن را از نتایج جستجوی خود خارج خواهد کرد.

آموزش ساخت فایل robots.txt

یک فایل ساده برای مدیریت روبات های اینترنتی از دو قانون اصلی استفاده میکند که عبارتند از:
User-agent: نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: بیانگر آدرس صفحه ای است که میخواهید از دید روبات ها پنهان بماند.

با ترکیب این دو دستور شما میتوانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. بعنوان مثال برای یک user-agent مشخص میتوان چندین آدرس را معرفی نمود و یا برعکس.

لیست تمامی روبات های اینترنتی معتبر در دیتابیس Web Robots Database موجود است و شما میتوانید با قرار دادن نام هریک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید و یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روبات ها اعمال کنید. مانند:

User-agent: *

Disallow: /folder1/

موتور جستجوی گوگل چندیدن نوع روبات مخصوص بخود دارد که معروفترین آنها با نام Googlebot شناخته میشود و وظیفه بررسی و ایندکس صفحات وب را برعهده دارد. روبات Gogglebot-image نیز مسئول بررسی تصاویر سایت ها و ایندکس کردن آنها می باشد.

User-Agent: Googlebot

Disallow: /folder2/

شما میتوانید به روش های مختلفی قوانین خود را اعمال کنید، میتوان یک صفحه مشخص و یا یک دسته از صفحات را برای یک قانون تعریف نمود. مثال های زیر روش های مختلف استفاده از این قوانین هستند:
برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

برای عدم دسترسی به یک فولدر یا دسته از سایت نام آن را وارد کنید

Disallow: /blog/

برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید

Disallow: /blog/keyword-planner/

برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

و برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. قوانین اعمال شده برای روبات هایی هستند که از این پس به سایت شما وارد میشوند حذف صفحاتی که در گذشته ایندکس شده اند از دیتابیس گوگل نیازمند گذشت زمان خواهد بود.

آزمایش Robots.txt  در بخش Blocked URLs وبمستر

وبمستر گوگل قسمت مشخصی را برای نمایش صفحاتی از سایت شما که توسط robots.txt دسترسی روبات به آنها محدود شده، در نظر گرفته است. این صفحه با نام Blocked URLs و بعنوان زیر مجموعه ای از بخش Crawl تعریف شده است.
برای اطمینان از عملکرد صحیح فایل robots.txt به بخش Blocked URLs در اکانت وبمستر خود مراجعه کرده و مانند تصویر زیر در بخش اول محتویات فایل را کپی کنید. در بخش دوم آدرس صفحاتی که قصد دارید میزان محدودیت روبات های گوگل در دسترسی به آنها را بسنجید وارد کنید. (در هر خط یک آدرس)
در بخش انتهایی شما میتوانید یک نوع از روبات های گوگل را علاوه بر روبات اصلی که وظیفه ایندکس صفحات را برعهده دارد انتخاب کنید.

Blocked urls

نمایی از صفحه Blocked urls در وبمستر گوگل

با فشردن دکمه Test نتایج آزمون و میزان دسترسی روبات ها به هریک از این آدرس ها به شما نمایش داده خواهد شد.

robots txt test

نمونه ای از نتایج آزمایش فایل Robots.txt

نحوه انتخاب صفحاتی که در فایل robots.txt معرفی میشوند و پنهان کردن آنها از دید موتورهای جستجو وابستگی مستقیم با سیاست های شما در انتشار محتوا و سئو سایت خواهد داشت. قبل از انجام تغییرات اساسی در این فایل حتما با متخصصان سئو مشورت کرده و کدهای وارد شده را چندین بار آزمون و بازنویسی نمایید. در صورتیکه در مورد هریک از موارد عنوان شده در این مقاله سوال یا ابهامی دارید میتوانید در بخش نظرات مطرح کرده و تا حد توان کارشناسان وبسیما پاسخ گوی شما خواهند بود.

سنجش میزان یادگیری
  • نام فایل حتما باید robots.txt باشد؟

    • بله، گوگل فقط این نام را میپذیرد

    • خیر، میتوان هر نامی گذاشت

پاسخ‌گوی سوالات شما هستیم سوال شما توسط کارشناسان وبسیما پاسخ داده شده و از طریق پیامک اطلاع رسانی می‌شود
نام و نام خانوادگی نام و نام خانوادگی به فارسی
آدرس ایمیل sample@domain.com
تلفن همراه 09 XX XXX XXXX
متن نظر
ثبت دیدگاه
  • ....
    25/06/2021

    سلام ببخشید با استفاده از این کد میشه هک هم کرد؟
    من خیلی میترسم وبم اینجوری هک شه لطفا توضیح بدین

    • وبسیما
      WEBSIMA
      05/07/2021

      سلام دوست عزیز
      این کدها تحت اختیار مالک سایت است و کسی امکان تغییر آن را ندارد. فایل robots.txt موجب هک شدن سایت شما نمی‌شود ولی ممکن است هکر پس از دسترسی به هاست شما تغییراتی در آن ایجاد کند.

  • علی همایونی
    17/05/2020

    سلام

    آیا میشه در robots.txt استثنا هم قرار داد. برای مثال ما خواستیم تمام صفحاتی که فاکتور خاصی در آنها هست کراول نشن ولی دو تا از فایل های جاوا و یک css هم همین آیتم رو در آدرسهاشون دارن. ایا میتونیم براشون تعریف کنیم که این 3 فایل رو استثنا کنن؟؟

    • وبسیما
      WEBSIMA
      30/05/2020

      سلام دوست عزیز
      بله دستور Allow برای همین کار پیش بینی شده است. شما میتوانید یک فولدر و همه آدرس های پس از آن را disallow کرده و آدرس هایی خاصی که زیرمجموعه آن هستند را با دستور Allow استثنا کنید.

  • علی ایرانی
    17/05/2020

    سلام .روز تون بخیر
    چند تا ساب دامین قبلا ایجاد کردم، و الان تعداد زیادی از صفحات این ساب دامین ها در گوگل ایندکس شدند، برای نو ایندکس کردن این صفحات و ساب دامین ها اگر بخوام از فایل روبوتس استفاده کنم کد دستوری آن به چه شکل هست،میخوام فقط با نوشتن یک دستور همه آنها نو ایندکس بشند چون یک سری از ساب دامین ها قبلا ایجاد شدند و دقیقا نمیدونم با چه اسمی بودند

    مثلا اگر ساب دامینی به این صورت باشه

    ***

    کدوم از این کد ها درست هست؟

    • وبسیما
      WEBSIMA
      30/05/2020

      سلام دوست عزیز
      بهترین کار این است که برای هریک از این زیردامنه ها در فایل robots.txt مخصوص به خود از دستور disallow استفاده کنید.

  • fateme seyedi
    06/03/2020

    با سلام و احترام
    من به تازگی وارد مبحث سئو شدم. برای همین سوالی که برام توی این مقاله مطرح شد این است که آیا robot.txt که توسط افزونه سئو درست میشه رو میشه توی گوگل وبمستر استفاده کرد یا خیر؟ یا اینکه حتما باید تغییرش داد؟

    • وبسیما
      WEBSIMA
      16/03/2020

      سلام دوست عزیز
      وردپرس به صورت اتوماتیک فایل Robots.txt را ایجاد می‌کند و افزونه Yoast تنها ممکن است تغییراتی در محتوای آن انجام دهد. در نهایت تنها یک فایل با این نام می‌توانید برای سایت خود داشته باشید که همان در دسترس ربات های گوگل قرار میگیرد. در ابزار گوگل سرچ کنسول جایی برای معرفی این فایل در نظر گرفته نشده است و گوگل به صورت خودکار آن را بررسی می‌کند.

  • رضا احمدی
    12/01/2020

    سلام. سایت من وردپرس هست و فروشگاهی. صفحات زیر توسط گوگل ایندکس میشن و هرکدوم هم به خودشون کنونیکال شدن:
    example.ir/shop
    example.ir/shop/page/1
    example.ir/shop/page/6

    الان به همین صورت که هستند خوبه یا بهتره pageهای بعدی رو Disallow کنم؟

    • وبسیما
      WEBSIMA
      13/01/2020

      سلام دوست عزیز
      نیازی به حذف دسترسی گوگل به این صفحات نیست و باید به همین شکل در دسترس ربات های گوگل باشند. این مورد کاملا طبیعی بوده و برای شما مشکلی ایجاد نخواهد کرد.

  • shahin safari
    02/01/2020

    1- سلام من وردپرس دارم آیا به نظر شما گوگل نیازی به ایندگس این پوشه داره cache

    2- /languages این پوشه را چطور آیا زمان خواندن مطلب سایت ما گوگل نیازی به ایندگس این داره

    3- من سایتم تگ تایتلش به وصیله افزونه صفحه ساز گذاشته شده قالب آوادا اگر من افزونه را در حالت مسدود قرار دهم گوگل تگ h1 نوشته منو تشخیص نمیده درسته ؟ چون هرچیزی را مسدود کنیم گوگل نتونه بهش دسترسی داشته باشه ما متوجه میشیم ولی این تگ قالب را نمیدونم چطور متوجه بشیم

    به نظر من هر چیزی که نیاز به ایندگس نداره را بهتره بلاک کرد

    موافق هستید Disallow: /cache کنم این پوشه را ؟

    • وبسیما
      WEBSIMA
      13/01/2020

      سلام دوست عزیز
      در وردپرس شما نیاز به مسدود کردن این صفحات برای گوگل از طریق فایل robots.txt ندارید. بهترین کار این است که فولدرهای شما به صورت مستقیم (نه برای کاربر و نه گوگل) در دسترس نباشند و این کار از طریق افزونه های امنیتی مانند itsec به راحتی قابل انجام است.

  • نیما شفیعی
    11/10/2019

    سلام وقت بخیر. ممنون از مطالب همیشه خوبتون
    من از یک فروشگاه ساز در حال مهاجرت به یک CMS دیگر هستم و به هاست قبلی دسترسی ندارم اما دامنه قبلی خودم به cms جدید متصل خواهد شد. حدود 300 صفحه در سایت قبلی به صورت داینامیک ساخته شده اند که هیچ ارزشی ندارند. آیا از این روش در هاست جدید استفاده کنم با توجه به اینکه این صفحات در این هاست وجود ندارد و صرفا در هاست قبلی باقی مانده اند، باز هم اثر بخش خواهند بود؟

    • وبسیما
      WEBSIMA
      13/10/2019

      سلام دوست عزیز
      اگر این صفحات ارزشمند نبوده و آمار بازدید یا جایگاه خوبی ندارند نیازی به انتقال آنها به هاست یا سایت جدید نیست. اتفاقا این جابجایی میتواند دلیل خوبی برای حذف این دست صفحات باشد.

  • Mojtaba sh
    08/09/2019

    سلام
    در فایل robot.txt اگر بخواهیم دو دستور یا بیشتر بنویسیم باید چکار کنیم؟

    مثلا دستور اول این باشد که پوشه فلان نادیده گرفته شود و دستور دوم فایلهای عکس jpg نادیده گرفته شود

    در این صورت فرمت نوشتن چطور میشود؟

    • وبسیما
      WEBSIMA
      08/09/2019

      سلام دوست عزیز
      دستورات را زیر هم بنویسید. اگر به هم ارتباطی داشته باشند بر روی هم تاثیر خواهند داشت در غیر اینصور مشکلی برای شما ایجاد نمیکند. قبل از قراردادن بر روی سایت حتما با استفاده از ابزار robots.txt tester در پنل سرچ کنسول آن را بررسی کنید.

      • Mojtaba sh
        08/09/2019

        میبخشین متوجه نشدم، پنل سرچ کنسول کجاست؟

        • وبسیما
          WEBSIMA
          21/09/2019

          برای استفاده از این بخش باید سایت خود را در گوگل سرچ کنسول ثبت کرده باشید. برای ثبت پیشنهاد میکنم مقاله ثبت سایت در گوگل را مطالعه کنید.
          برای ورود بخش مورد نظر نیز به صفحه robots.txt tester مراجعه کنید.

  • محمد اقاجانی
    09/08/2019

    سلام من میخام کل سایتم توسط ربات های گوگل بررسی بشه

    و فقط پوشه ادمین بررسی نشه
    این دستور کافیه ؟

    User-agent: *
    Disallow: /wp-admin/

    • وبسیما
      WEBSIMA
      10/08/2019

      سلام دوست عزیز
      بله کدی که استفاده کردید مناسب است

  • علی توانا
    05/06/2019

    بعضی مواقع از سر اطمینان ادم سوال میپرسه به خاطر وسواس کاری که داریم
    جناب اسماعیلی من قالب ایمپرزا روی سایتم نصب کردم تا اماده سازی محتوا و ویرایش قالب و قراردادن عکس ها و ازمون و خطا ممکنه یک ماه حتی بیشتر هم طول بکشه خوب البته طی این یکی دوماه ممکنه بارها رباتهای گوگل به سایت من سر بزنند برای جلوگیری از عدم دسترسی رباتها طبق توضیحاتی که در بالا دادید عمل کنیم کفایت میکنه ؟
    یا اینکه باید اقدامات تازه ای انجام داد ؟
    سپاسگذارم از صبر و حوصله شما
    راه دیگه ای برای عدم دسترسی تمام رباتهای گوگل به سایت هست ؟
    همچنانکه عرض کردم سایت خامه و فعلا کار داره

    • وبسیما
      WEBSIMA
      15/06/2019

      سلام دوست عزیز
      مسدود کردن دسترسی ربات های گوگل به سایت به وسیله فایل robots.txt کفایت میکند و نیاز به کار دیگری نیست. با این حال شما میتوانید با استفاده از امکانات هاست و سی پنل بر روی سایت خود رمز عبور و حساب کاربری تعریف کنید. در صورت تا زمان راه اندازی نهایی هیچ ربات یا فرد دیگری به اطلاعات آن دسترسی نخواهد داشت.

  • سید احسان حسینی
    16/05/2019

    با سلام
    از دو روز پیش در وب مستر برای هر دو تا سایتم قسمت robots اطلاعاتش پاک شده و هیچ لینکی دیگه ایندکس نمیشه وقتی هم میخام نوشته های فایل robots رو وارد کرده و submit کنم این خطا رو میده
    It didn’t go through. Try again later.
    باید چیکار کنم؟
    با تشکر

    • وبسیما
      WEBSIMA
      18/05/2019

      سلام دوست عزیز
      محتوای فایل robots.txt باید در هاست شما و در فایلی به همین نام قرارداده شود. محتوایی که در پنل سرچ کنسول وارد میکنید صرفا برای بررسی و آنالیز عملکرد آن است و زمانی اعمال خواهد شد که در سایت شما قرار داده شود.

      • سید احسان حسینی
        18/05/2019

        خب توی هاست آپلود شده و وجود داره هیچ مشکلی هم نداشته ولی از 3 ه چهار روز پیش اینجوری شده
        راه حلش چیه؟
        چندبار فایل رو پاک کردم و دوباره آپلود کردم درست نشده

        • وبسیما
          WEBSIMA
          21/05/2019

          سلام دوست عزیز
          این مورد رو از طرف پشتیبانی هاست پیگیری کنید. شاید ربات های گوگل به محتوای این فایل یا سایت شما دسترسی ندارند

  • علی ش
    12/05/2019

    با سلام
    نمی دونستم این سوالا رو کجا بپرسم فقط ببخشید که زیاده من سیستم وبلاگ دهی میهن بلاگ استفاده می کنم و سوالام زیاده ببخشید
    1- این قسمت که کلا برام ارور میده بعضی جاها هم میگه valid with warning سعی کردم کاری بکنم ولی نشد طبق گفته های شما پیامی به مدیریت زدم ولی جوابی بابت قسمت روبوت تکست دریافت نکردم
    2- بیشتر مشکل روی disallow: /message هست و گیر میکنه گفتم شاید احتمالا با اضافه کردن یه کد دستوری توی قالب بشه یه قسمت برا message درست کرد تا این ارور برطرف بشه این ارور رو زده و تا این برطرف نشه گفته اندکس نمیشه
    3-قسمت سایت مپ اصلا درست نمیشه با اینکه خیلی وقته مونده و ارورش به این شکله couldnt fetch و وقتی داخلش میری Sitemap could not be read ایا راه حلی براش هست؟
    توی قسمت موبایل هم اذیت زیاد دارم ولی داره کم کم با اضافه کردن چیزا ها ارور ها پاک میشن
    4- لینک ها هیچ پروسه ای توش وجود نداره و موندم چه کارش باید بکنم
    5- توی coverage خیلی درگیری توش زیاده حدود بیش از 490 excluded وجود داره که نمیدونم باید باهاشون چیکار کنم بعضی هاشون رو زده ایندکس شدن ولی مشکل دارن و بعضی هاشون رو زده با فلان شرط ایندکس میکنیم
    6- وبلاگ من بیش از 5 ساله که دارم توش مطلب میزارم ( 99 درصد دری وری و چرت و پرت نیازی به نگاه کردن نیست ) ولی در تعجبم که وبلاگ هایی وجود دارن که علارغم اینکه وبلاگشون کپی پیست هست و بعضی هاشون حدود بیش از چند ساله که اصلا فعالیتی توش نکردن توی سرچ گوگل وجود دارن ولی من حتی اسم وبلاگ خود رو میزنم ( اصلا به تگ هایی که میزنم اشاره نمیکنم که کلا تا 100 صفحه گوگل رو هم گشتم اصلا اسمی از وبلاگ من نیست ) فقط یه لینک میاره که اونم مال 2 یا خوش شانس باشم 1 سال پیشه این ها چطوریه؟
    من سئو وارد نیستم ولی تا جایی که شده چیز ها رو رعایت کردم ولی باز هم هیچ وقت توی گوگل وجود نداشته
    و در اخر من زیاد نیست که با اضافه کردن وبلاگ و یا سایت در گوگل اشنا شدم کلا 12 روز کم و بیش وبلاگ رو داخل گوگل سرچ اد کردم ولی خبری از هیچی وجود داره
    ممنون و معذرت بابت این همه …

    • وبسیما
      WEBSIMA
      18/05/2019

      سلام دوست عزیز
      توضیحات شما نشان میدهد که هنوز در مرحله تست و یادگیری هستید. پاسخ به بیشتر سوالات شما مربوط به سیستم میهن بلاگ است و پیشنهاد میکنیم از بخش پشتیبانی خودشان اقدام نمایید. با توجه به اینکه در قدم های اول کار هستید مطالعه و یادگیری مهمترین کاری است که باید انجام دهید. بهترین نقطه برای شروع یادگیری مطالعه کتاب سئو برای همیشه است که میتواند ذهنیت شما نسبت به سئو و فرآیند اجرایی آن را اصلاح کند.

  • حسین نظری
    10/05/2019

    سلام
    ممنونم از مطلب خوبتون
    میخواستم بدونم اگر من تو robots ادرس ویژگی های محصولات مثل وزن و ابعاد و … رو بیارم که ایندکس نشن، به دلیل تعداد بالای اونها سرعت لودم پایین نمیاد.ایا اصلا این کار درستیه؟ از ووکامرس استفاده میکنم

    • وبسیما
      WEBSIMA
      18/05/2019

      سلام دوست عزیز
      برای جلوگیری از ایندکس این صفحات نیازی به قراردادن آنها در فایل robots.txt نیست. بهترین راه استفاده از تگ noindex در خود صفحه و یا استفاده از تگ canonical برای ارجاع این مدل صفحات به صفحه اصلی فروشگاه است.
      محتوایی که در فایل robots.txt قرار میدهید هیچ تاثیری بر سرعت لود صفحه و نمایش آن به کاربر ندارد.

  • طاهره رویانی
    22/04/2019

    با سلام سایت من با ASP mvc نوشته شده و سرور مجازی اختصاصی دارم حالا نمدونم چجوری ادرس با WWW روی بدون WWW و همچنین .ir ریدایرکت کنم…چون فایل httaccess پیدا نمیکنم..

    • وبسیما
      WEBSIMA
      05/05/2019

      سلام دوست عزیز
      برای ASP فایل htaccess وجود ندارد و باید از روش های دیگری استفاده کنید. پیشنهاد میکنم از راهنمای ارائه شده در این مقاله استفاده کنید.

  • طاهره رویانی
    13/04/2019

    سلام
    میشه صفحات دارای خطا که به هر دلیل نمیشه درستشون کنیم را از طریق محدود کردن در فایل روبوت رفع خطا کنیم؟

    • وبسیما
      WEBSIMA
      17/04/2019

      سلام دوست عزیز
      چه نوع خطایی مورد نظر شماست؟ بهترین روش برای عدم دسترسی گوگل به صفحات استفاده از تگ noindex در هدر صفحه است.

    • طاهره رویانی
      17/04/2019

      این صفحات بصورت داینامیک ساخته شده و وجود دارند اما بالا نمیان…به همون دلیل نمیتونم از تگ noindex استفاده کنم. براهمون تو فایل ربات محدودشون کردم.اشکالی نداره؟ مثل زیر
      Disallow: /home/DivServices/Oticon-.html

      • وبسیما
        WEBSIMA
        05/05/2019

        کار درستی انجام دادید

  • حمیدرضا محمودزاده
    28/12/2018

    سلام و درود، سایت بنده در سرچ گوگل نمیادش و یجای دیدم زیر لینک سایتم نوشته : No information is available for this page. وقتی learn more رو زدم دیدم مشکل از robot.txt هستش، بنده اصلاً نیازی به ایندکس نشدن ندارم و میخوام ریز و درشت سایتم ایندکس بشه توسط گوگل لطفاً راهنماییم کنید که بدجوری گیر این مسئله افتادم با تشکر.

    • وبسیما
      WEBSIMA
      29/12/2018

      سلام دوست عزیز
      پیشنهاد میکنم فایل robots.txt سایت خود را بررسی کنید و اگر درخواست عدم ایندکس در آن وجود دارد محتوای آن را ویرایش کنید. ممکن است این عدم دسترسی به دلیل تنظیماتی که در پنل وردپرس خود انجام داده اید اتفاق افتاده باشد.

  • محمد یوسفی
    27/11/2018

    سلام. من میخام داخل فایل robot.txt دستور زیر را وارد کنم
    Disallow: /*?*
    که دیگه اصلا دنبال آدرس هایی که دارای ؟ هست نگرده ولی آدرس لینک های سایتم به فارسی هستند و میخوام بدونم آیا مشکلی برای اون لینک ها به وجود میاره یا نه. چون وقتی کپی میکنیم آدرس فارسی را و جای دیگه ای پیست میکنیم با علامت سوال نشون میده آدرس را. ممنون میشم راهنمایی کنید

    • وبسیما
      WEBSIMA
      01/12/2018

      سلام دوست عزیز
      قرار دادن چنین دستوری در فایل robots.txt درست نیست و ممکن است مشکلات زیادی را در ایندکس صفحات شما ایجاد نماید. شما باید دلیل وجود ؟ در آدرس صفحات را شناسایی کرده و مشکل را برطرف نمایید.

      • محمد یوسفی
        02/12/2018

        دلیلش یجورایی بر اساس سرچ ها هست . سایت من با ASP نوشته شده . میخام این سرچ ها و حالت های مختلفی که با یک سری کارکتر های خاص نمایش داده میشه دیگه برای گوگل قابل دید و لمس نباشه . ممنون میشم راه بهترش را معرفی کنید . آدرس سایت هم میدم برای بررسی بیشتر

        • وبسیما
          WEBSIMA
          04/12/2018

          پیشنهاد میکنم در صفحه مربوط به نتایج جستجو از تگ noindex در هدر استفاده کنید. حتما در این صفحه تگ canonical نیز داشته باشید تا هر جستجوی جدید به عنوان یک آدرس مجزا شناخته نشود.

  • مهدی خرسند
    18/11/2018

    با سلام واحترام

    تشکر از مقالات واقعا کاربردیتان
    من در کنسول برای دسکتاپ وموبایل فیچ اند رندر زدم در پاسخ گوگل آدرس های زیر را نتوانسته بود بخواند به نظر شما من باید فایل روبوتس را اصلاح کنم . اگر اینطور است لطف کنید دستور را برای من بنویسید واگر راه حل دیگری دارد راهنمائیم کنید.
    تشکر فراوان

    آدرسها:
    ***

    فایل روبوتس سایت ما
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Disallow: /readme.html
    Allow: /*.js$
    Allow: /*.css$

    • وبسیما
      WEBSIMA
      20/11/2018

      سلام دوست عزیز
      فایل robots.txt شما ایرادی ندارد به نظر میرسد این عدم دسترسی به دلیل عدم ارتباط صحیح گوگل با هاست یا سرور شما باشد. البته خود ما هم موارد زیادی را مشاهده میکنیم که در لحظه fetch گوگل دسترسی به برخی از منابع صفحه را ندارد ولی به طور کلی مشکلی با ایندکس کردن آنها نداشته است.
      اگر این اتفاق در روزهای آتی تکرار شد و همیشه آدرس های یکسانی را در این گزارش مشاهده کردید از طریق پشتیبانی هاست خود برای رفع آن اقدام نمایید.

  • mohammad irvani
    31/10/2018

    سلام

    من امروز فایل robots.txt رو ساختم و از عبارت Disallow: /tag استفاده کردم تا تگ های سایت ایندکس نشوند. اما از گذشته نزدیک به 600 تگ ایندکس شده اند و میخواهم این ایندکس ها حذف شوند. آیا باید کاری انجام بدم؟ یا این تگ ها با آپدیت robots.txt حذف می‌شوند از نتایج؟

    • وبسیما
      WEBSIMA
      03/11/2018

      سلام دوست عزیز
      بله این تگ ها به مرور حذف میشوند ولی اگر قصد دارید این فرآیند سریع تر انجام شود میتوانید از بخش remove urls درخواست خود را ارسال کنید. پیشنهاد میکنم مقاله وبسیما در همین زمینه با عنوان حذف کلی سایت از گوگل را مطالعه نمایید.

  • Abdul Samad Ghafouri
    28/10/2018

    سلام
    افزونه All in One SEO pack نصب کردم.

    دیروز هم سایت رو به گوگل معرفی کردم ، امروز دیدم Sitemaps ارور داده .

    البته قبلش Disallow: /wp-* این رو تویه robots ثبت کرده بودم ، حذفش کردم ولی فایده نداره و همچنان این ارور میده/
    پس از حذف هم فایل Robots از تب robots.txt Tester آپدیت زدم (Submit).
    ولی همچنان Sitemap ارور میده که هنوز بلاک هست.
    آیا زمان میبره این Robots اعمال بشه و سایت مپ بروزرسانی جدید دریافت کنه ؟
    چون فایل Sitemap کامل حذف کردم ، تست گرفتم بازم همین ارور دریافت میکنم .

    تصاویر :
    ***

    ممنون میشم راهنمایی کنید .

    • وبسیما
      WEBSIMA
      29/10/2018

      سلام دوست عزیز
      معمولا زمانیکه فایل robots.txt را مجدد submit میکنید مشکل سریعا برطرف میشود. پیشنهاد میکنیم نقشه سایت را نیز مجدد submit کنید شاید فرآیند شناسایی صفحات سریعتر انجام شود. تمام مسیری که طی کردید صحیح است و فقط باید منتظر باشید تا گوگل متوجه تغییرات بشود.

      • Abdul Samad Ghafouri
        29/10/2018

        سلام
        تشکر بابت پاسخگویی عالی و سریع

        دقیقا تا 24 ساعت مشکل داشت ، الان درست شده و خطای ندارم .

        سوال :
        اگر به فایل robots.txt این Disallow: /*?* رو اضافه کنم مشکلی داره ؟
        بدلیل اینکه ارور 404 دریافت کردم از فیلتر ها (تصویر پیوست شد)
        ***
        چون در URL Parameters دیدم ربات ها دارن این مورد سرچ میکنن
        البته از نظر من علامت “?” برای سایت مهم نیست و اگر بتونم از دسترس ربات ها خارجش کنم خوبه …
        نظر شما چی هست ؟

        سوال :
        از دیروز که ارور ندارم و نقشه سایت submit شده ، تعداد Indexed سایت خیلی پایین هست.
        این مورد باید صبر کنم ؟ یا مشکلی هست این همه کم هست ؟
        تصویر :
        ***
        تشکر

        • وبسیما
          WEBSIMA
          29/10/2018

          سلام دوست عزیز
          1- پیشنهاد میکنم این کار رو انجام ندید و اجازه بدید خود گوگل در مورد این صفحات تصمیم گیری کند. معمولا صفحات داینامیک را به صورت اتوماتیک ایندکس نمیکند.
          2- برای آنکه اطلاعات این بخش تکمیل شود باید کمی صبور باشید معمولا تعداد ایندکس های نمایش داده شده کمی با تاخیر است و از واقعیت فاصله دارد.

      • Abdul Samad Ghafouri
        02/11/2018

        درود
        وقت بخیر

        تشکر بابت پاسخگویی عالی
        فایل Robots.txt رو به حالت قبل و اولیه ریکاوری کردم و مشکل ایندکس شدن تقریبا حل شد و داره کم کم بالا میاد البته برای لینک ها !
        ولی تصاویر اصلا تکون نمیخوره …
        یکم نگران کرده که چرا پس از یک هفته حتی 1 تصویر هم ایندکس نشده …
        ***
        و اینکه ارور ها شدیدا در حال افزایش هست … چند تا تصویر لینکش گذاشتم ببینید /
        بعضی قسمت ها تویه تب Smartphone بلاک شده ..
        ***

        ممنون میشم راهنمایی کنید ؛ اگر هزینه ای هم داره مشکلی نیست ، حتما بهم خبر بدین پرداخت میکنم .
        خیلی وقته با سایت شما آشنا شدم و همیشه دنبال کردم و راضی هستم و بهتون کاملا اعتماد دارم .

        • وبسیما
          WEBSIMA
          04/11/2018

          سلام دوست عزیز
          از لطف شما به مجموعه وبسیما سپاس گزارم
          برای بررسی خطاها پیشنهاد میکنم از پنل جدید گوگل سرچ کنسول و در بخش index coverage اقدام کنید. اطلاعات بخش crawl errors معمولا با تاخیر زیاد آپدیت میشود و معیار خوبی برای بررسی سلامت سایت نیست.

      • Abdul Samad Ghafouri
        04/11/2018

        درود
        وقت بخیر

        تشکر بابت پاسخگویی سریع و عالی
        من از گوگل سرچ کنسول هم بررسی کردم ، ولی سر در نیاوردم …
        تقریبا همون ارور ها اونجا هم هست …

        فیلم زیر اگر میشه مشاهده کنید ، متوجه میشید . ( حدودا 5 دقیقه ای هست )
        ***
        امکانش هست با هزینه واسم بررسی کنید ؟
        میخوام فقط بررسی کنید که مشکل کجاست و چرا این همه ارور و چرا میگه بلاک هست
        اگر امکانش هست بهم اطلاع بدین که هزینه رو پرداخت کنم و سطح دسترسی رو بهتون بدم.

        باتشکر

        • وبسیما
          WEBSIMA
          05/11/2018

          سلام دوست عزیز
          متاسفانه امکان پذیرش پروژه هایی در این سطح را نداریم. پیشنهاد می کنیم این موضوع را از طریق افرادی که به صورت فریلنسر کار میکنند یا شرکت های کوچک تر پیگیری و رفع نمایید

      • Abdul Samad Ghafouri
        05/11/2018

        درود
        وقت بخیر

        تشکر بابت پاسخگویی سریع
        امکانش هست شرکت ها رو معرفی کنید ؟
        چون من فقط به شما اعتماد دارم ، هیچ کدوم مثل شما خدمات نمیدن …
        اگر شرکتی رو میدونید این کار رو انجام میده و از نظر شما مورد اعتماد هست بهم معرفی کنید
        تشکر.

        • وبسیما
          WEBSIMA
          10/11/2018

          از لطف و اعتماد شما به مجموعه وبسیما بی نهایت خرسندیم
          با توجه به اینکه ما در این حوزه فعالیت میکنیم هیچ گاه برای انجام این امور از خدمات شرکت های دیگر استفاده نکرده ایم در نتیجه نمیتوانیم توصیه مناسبی در این حوزه به شما داشته باشیم. شما میتوانید با مراجعه به بخش Monster Club در سایت آکادمی وبسیما افرادی که دوره های تخصصی سئو وبسیما را پشت سر گذاشته اند شناسایی کرده و در صورت تمایل از خدمات و راهنمایی آنها بهره مند شوید.

  • سیدمحمود غفاری
    03/10/2018

    سلام این فایل من است ایا این فایل مشکل دارد ؟

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php

    Sitemap: ***

    ایا نیاز است که ادرس نقشه سایت در فایل robot وجود داشته باشد؟

    • وبسیما
      WEBSIMA
      06/10/2018

      سلام دوست عزیز
      فایل شما هیچ مشکلی ندارد. قراردادن آدرس نقشه سایت در فایل robots.txt اجباری نیست ولی بودن آن توصیه شده است.

  • مجتبی اسکندری
    02/09/2018

    سلام
    من اخیرا یه فایل robots.txt جدید ساختم و اونو به سرچ کنسول هم معرفی کردم ولی وقتی ریقرش میکنم هنوز نسه قدیمی رو نشون میده که حاوی کد
    User-agent: *
    Disallow: /
    و این یعنی سایت من ایندکس نخواهد شد چند روزی هست که هر بار که ریفرش میکنم بازم نسخه قدیمی که نمیدونم چجوری داخل سایت قرار گرفته رو نشون میده
    میشه راهنمایی کنید که چه باید بکنم ؟؟
    ممنون

    • وبسیما
      WEBSIMA
      03/09/2018

      سلام
      دقیقا ریفرش را در کجا انجام میدهید. آدرس خود فایل روی سایت شما این محتوا را نشان میدهد یا در پنل گوگل وبمستر مشاهده میشود؟

      • مجتبی اسکندری
        03/09/2018

        هر دو جا متاسفانه هم در پنل گوگل وبمستر و هم وقتی آدرس رو تایپ میکنم و انتهاش ربات رو فراخوانی میکنم
        در حالی که متن داخل فایل رو خودم تغییر دادم و چیز دیگری است و هم چنین سابمیت هم کردم داخل نل ولی نمیدونم چرا تغیییر نمیکنه

        • وبسیما
          WEBSIMA
          04/09/2018

          احتمالا کدی بر روی سایت شما هست که داره این فایل رو به صورت داینامیک میسازه. تنظیمات سیستم مدیریت محتوای خودتون رو بررسی کنید.

  • سیدمحمود غفاری
    02/09/2018

    سلام مثل همیشه از مقالات خوب شما تشکر میکنم
    گوگل دائما پوشه های theme و plugins من را ایندکس میکند و بعد ارور 404 میدهد به نظر شما اگر از طریق robot.txt دسترسی گوگل به themes و plugins را ببندم این راه اصولی است ؟ یا بهتر است دسترسی باز باشد و به صورت دستی لینک های ایندکس شده را از گوگل حذف کنم ؟
    از دیدگاه سئو و همچنین اصولی بودن یا اصولی نبودن خیلی محبت میکنید به سوال بنده پاسخ دهید.

    • وبسیما
      WEBSIMA
      02/09/2018

      سلام دوست عزیز
      به جای مسدود کردن دسترسی گوگل به این بخش ها بهتر است قابلیت disable directory browsing را بر روی سایت خود فعال کنید. این کار از طریق تنظیمات هاست و یا با استفاده از افزونه های امنیتی وردپرس مانند itsecurtity قابل انجام است. با این کار دیگر به فولدر بندی های شما دسترسی نخواهد داشت و در عین حال فایل های CSS و JS شما را به خوبی بررسی میکند.

      • سیدمحمود غفاری
        02/09/2018

        سلام منظور شما از افزونه itsecurtity همان افزونه iThemes Security است ؟

        • وبسیما
          WEBSIMA
          03/09/2018

          بله دوست عزیز
          این افزونه امکانات خوبی برای حفظ امنیت سایت دارد.

      • سیدمحمود غفاری
        08/05/2019

        سلام
        ایا تنظیماتی از این افزونه وجود دارد که دسترسی به موتورهای جستجو را ببند که باعث کاهش رتبه شود؟
        به کدام قسمت‌ها باید توجه کنیم که سئو سایت صدمه ای وارد نشود؟

        • وبسیما
          WEBSIMA
          18/05/2019

          سلام دوست عزیز
          این افزونه تاثیری بر دسترسی گوگل به صفحات و عدم ایندکس آنها ندارد. با توجه به اینکه گزینه ها و امکانات بسیاری در آن وجود دارد نمیتوان در بخش نظرات مهمترین بخش ها و تنظیمات را اعلام کرد. پیشنهاد میکنم پاسخ این سوال را در فروم ها و سایت های تخصصی وردپرس جستجو کنید.

  • ata deyli
    26/08/2018

    با سلام و وقت بخیر
    من در گوگل وب مستر خودم، در بخش گوگل ایندکس و زیرمجموعه blocked resources ، اروری دارم که میگه 9 صفحه با ریسورس های بلاک شده. در اون بخش تمام لینک هایی رو که نشون میده مربوط به فایل های js و css در بخش libraries می باشد. (من برای برخی از صفحه ها، مثلا صفحه اصلی، از صفحه ساز quix استفاده کردم)
    Blocked resource
    ***
    سایت من جوملایی هست و در فایل robot دسترسی libraries بسته شده. در گوگل وب مستر هم تو تستش گفته که باید به این بخش دسترسی داشته باشی. سوالم اینه اگه دسترسی این بخش باز بشه، از نظر امنیت، ساختار سایت با خطر بیشتری مواجه میشود؟ اگر خیر، باید کل دسترسی به بخش libraries رو باز کنم یا فقط به همین فایل های js و css?
    با سپاس فراوان از مجموعه وب سیما

    • وبسیما
      WEBSIMA
      26/08/2018

      سلام دوست عزیز
      اگر این دو فایل در نحوه نمایش محتوای صفحات شما تاثیر دارند (به نظر میرسد برای گالری تصاویر هستند) بهتر است دسترسی گوگل به این فایل ها را باز کنید.
      برای این کار لازم نیست کل فولدر libraries در دسترس باشد فقط برای هرکدام یک دستور allow اضافه کنید که به این دو فایل دسترسی داشته باشد.

      Allow: /libraries/quix/assets/js/quix.js

      • ata deyli
        26/08/2018

        سلام
        بسیار ممنون از پاسخگویی تون.

        • وبسیما
          WEBSIMA
          27/08/2018

          خواهش میکنم دوست عزیز. موفق باشید. پیشنهاد میکنم سایر مقالات مرتبط با آموزش گوگل وبمستر را نیز مطالعه کنید.

  • امیر فلاح
    18/08/2018

    ضمن سلام.سایت من جوملا هست و فایل robots این هست بی زحمت ببینید مشکلی نداره از سایتها دانلود کردم.

    User-agent: *
    Disallow: /administrator/
    Disallow: /cache/
    Disallow: /cli/
    Disallow: /components/
    Disallow: /DOW/
    Disallow: /includes/
    Disallow: /installation/
    Disallow: /language/
    Disallow: /libraries/
    Disallow: /logs/
    Disallow: /media/
    Disallow: /modules/
    Disallow: /plugins/
    Disallow: /templates/
    Disallow: /tmp/

    • وبسیما
      WEBSIMA
      19/08/2018

      سلام دوست عزیز
      بنظر میرسه که مشکلی نداشته باشه ولی برای اینکه مطمئن شوید از بخش Blocked resources در پنل گوگل وبمستر صفحات خود را بررسی کنید تا فایل مهمی از دسترس گوگل خارج نشده باشد.

  • رحیم مرادی
    15/08/2018

    شرمنده فکر کنم فایل robots رو خوب نگاه نکردید چون فایل css اینا Allow هستش
    لطفا سوال اول هم جواب بدید ممنون

    • وبسیما
      WEBSIMA
      15/08/2018

      سلام
      حذف از این طریق مشکل رو برطرف نمیکنه شما باید دقیقا دلیل ایجاد خطا را شناسایی و برطرف کنید. درخواست حذف آدرس از گوگل برای 90 روز معتبر است و پس از آن به حالت قبل بازمیگردد.
      در مورد فایل ها درست می فرمایید اگر همه Allow هستند پس دیگه لزومی به استفاده از اونها نیست چون شما فولدرهای مادر رو هم محدود نکردید

  • رحیم مرادی
    14/08/2018

    سلام خسته نباشید
    تو بخش ارور 404 سایت چند تا ارور نمایش میده مثله این :
    /wp-includes/js/mediaelement/mediaelement-flash-video.swf
    تقریبا 200 مورد هستش من باید از ابزار Remove URLs این ارورها رو پاک کنم؟
    فایل robots من به این صورت هستش
    # All Bots
    User-agent: *
    Disallow: /cgi-bin/
    Allow: /wp-includes/js/
    Allow: /wp-includes/css/
    Allow: /wp-content/uploads/
    Disallow: /wp-admin/
    Allow: /wp-content/plugins/
    Disallow: /readme.html

    لطفا راهنمایی کنید که این فایل robots به چه صورت تنظیم کنم تا این مشکل پیش نیاد
    تشکر

    • وبسیما
      WEBSIMA
      15/08/2018

      سلام دوست عزیز
      فقط اون خطی که مربوط به wp-admin هست باید توی فایل robots.txt باشه بقیه موارد رو حذف کنید. با این کار عملا گوگل به تصاویر و فایل های css و js شما دسترسی ندارد.

  • محمد برهانی نیا
    24/07/2018

    سلام وبسایت من دانلود هستش
    ***
    تازه رفتم روی https برای همین برای ثبت نقشه برای robots.txt چه مقادیری وارد کنم مناسب هست ؟
    یکی از سایت های نوشته بود این ترکیب خوب هستش :

    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Sitemap: http:// site .com/post-sitemap.xml

    ممنون میشم راهنمایی کنید
    Sitemap: http:// site .com/page-sitemap.xml

    • وبسیما
      WEBSIMA
      25/07/2018

      سلام دوست عزیز
      شما دسترسی به بخش plugins را محدود کرده اید که کار درستی نیست. فقط دسترسی به بخش wp-admin را برای سایت های وردپرسی محدود میکنیم.

      • محمد برهانی نیا
        08/08/2018

        سلام مجدد
        wp-admin رو مسدود کردم اما یک پیامی برام در قسمت
        Status » Index coverage Indexed,» though blocked by robots.txt
        اومده که یک لینکی رو اجازه ایندکس robots.txt نمیده
        و جالبی اینجاست خود لینک رو نمیزاره تو متن ارور زده
        ***
        این لینک ریدایکت میشه روی پست اصلی ! حالا میشه راهنمایی کنید ؟
        از قسمت robots.txt کد Disallow: /wp-admin/ بردارم یا اصلا به این ارور توجه نکنم ؟

        • وبسیما
          WEBSIMA
          10/08/2018

          سلام دوست عزیز
          چیزی که در فولدر ادمین وردپرس هست به طور حتم مورد نیاز گوگل و کاربران شما نیست. اینکه گوگل دسترسی برای ایندکس آن ندارد خطا محسوب نمیشود و نیازی به تغییر در فایل robots.txt خود ندارید.

  • دلاور دلاور
    11/07/2018

    سلام خسته نباشید – خواهش میکنم جواب بدید ضروری هست
    در سایت زیر برای هر محصول به صورت اتومات یک صفحه برای ویدیو ان محصول سلخته میشود و صفحات اضافی بدون محتوا و ویدیو ایندکس میشوند
    در پنل سایت هم امکان غیر فعالسازی وجود ندارد
    مانند نمونه زیر

    ***
    ایا میشه از طریق ربات robots.txt میتوان درخواست کرد این صفحات بررسی نشوند این کار باعث مشکلاتی برای سایت نمیشود؟

    من از ربات خواستم صفحات زیر را بررسی نکند ( Disallow: /video/ ) و پیغام زیر امده برای من

    You requested that Google validate your fix of Index coverage issues on site https://www.***.com/; specifically pages affected by ‘Indexed, though blocked by robots.txt’. However, we found that some pages are still affected by this issue.

    To examine full details on the validation progress, and to learn how to fix remaining pages, please follow this link.

    • وبسیما
      WEBSIMA
      14/07/2018

      سلام دوست عزیز
      کاری که انجام دادید کاملا درست است و با توجه به محتوای این صفحه بهتر است که توسط گوگل ایندکس نشود. این پیام از گوگل نیز به همین موضوع اشاره میکند که شما دسترسی به این صفحات را محدود کرده اید و با توجه به اینکه خودتان این تصمیم را گرفته اید، خطا محسوب نمیشود.

  • جواد قنبری
    05/05/2018

    با سلام .

    این به چه معناست؟
    /_/ :Disallow

    متاسفانه تو هیچ سایت ایرانی و خارجی نتونستم که پیدا کنم .

    با تشکر

    • وبسیما
      WEBSIMA
      05/05/2018

      سلام دوست عزیز
      این کد یعنی هر آدرسی که در سایت شما بعد از این عبارت باشد توسط ربات گوگل ایندکس نشود.

  • Abdul Samad Ghafouri
    25/04/2018

    درود
    وقت بخیر

    حدود دو ماه پیش متوجه شدم پیوند یکتا فروشگام مشکل داره که بجای product-tag شده tag
    و بجای product-category شده category !
    این رو درستش کردم و هر دو رو به product-category و product-tag ویرایش و ذخیره کردم

    البته مشکل از زمانی شروع شد که طراح قالب با نصب قالب تمام محصولات دمو و دسته بندی هم فعال کرده بود … و این مورد به ربات های گوگل هم رسیده بود که محصول و تگ منتشر شده و بدبختی من از روزی شروع شده که قالب نصب شده …

    محصولات دمو و دسته بندی رو حذف کردم ، بعد گوگل شروع کرد به دریافت خطا از دسته بندی و تگ ها
    الان همون دسته بندی های که حذف کردم داره اخطار میاد و برام دردسر شده …
    از وردپرس استفاده میکنم ، هر روز با این وجود ارور دریافت میکردم که شامل این ها بود
    برای مثال :
    category/farhang-o-honar/daneshgahi/
    درصورتی که این دسته بندی دیگه وجود نداره .
    اومدم تو فایل robots لینک های که به این دسته بندی های حذف شده اشاره میکرد بستم
    حالا امروز همین دسته بندی ها اومده تو این مسیر 😐
    product-category/farhang-o-honar/daneshgahi/

    دیگه اگر مسیر product-category/ رو از robots ببندم کل دسته بندی هام بسته میشه
    الان موندم چیکار کنم

    ممنون میشم راهنمایی کنید
    آدرس فروشگاه : ***

    سپاس

    • وبسیما
      WEBSIMA
      26/04/2018

      سلام دوست عزیز
      صفحاتی که حذف شدند ولی هنوز ایندکس میشوند را ریدایرکت 301 کنید به دسته بندی مشابه یا صفحه اصلی سایت.

  • رشید ابراهیمی
    23/04/2018

    سلام .ممنون از آموزش خوبتون .
    سوال من اینکه من از افزونه های Google XML Sitemaps و Yoast استفاده میکنم .آیا اینها چیزی به صورت ربات مجازی می سازن؟
    من با وجود این ها باز هم میتونم فایل robots.txt رو ایجاد کنم ؟

    • وبسیما
      WEBSIMA
      23/04/2018

      سلام
      بله خود وردپرس هم به صورت پیش فرض فایل robots.txt را به صورت مجاز میسازد و این دو افزونه بر محتوای آن تاثیر میگذارند. اگر فایل robots.txt را به صورت دستی در هاست خود بسازید بر همه اینها اولویت داشته و محتوای آن به گوگل نمایش داده میشود.

  • سیروان شیخی
    03/04/2018

    سلام. اگر بخواهیم یک صفحه یا برگه را برای همه ربات ها غیر از ربات گوگل و بینگ ببندیم چه کدی را باید به ROBOOTS.TXT باید اضاف کنیم؟

    • وبسیما
      WEBSIMA
      07/04/2018

      سلام دوست عزیز
      یک دستور Disallow برای همه ربات ها قرار میدهید و در ادامه یک دستور Allow برای ربات گوگل با همان شرط قرار میدهید.

  • امین
    01/04/2018

    سلام
    ممنون بابت مقالات کاربردی سایتتون.
    من چند روزی هست که در قسمت crawl errors، ارور access denied برای فایل های درون پوشه آپلود ووکامرس دریافت میکنم.فایل های اونجا هم اکثرا پی دی اف و مربوط به آفیسه.هم برای وب و هم برای موبایل ارور های زیادی دریافت شده،افزونه ای هم برای حفاظت از مدیریت وردپرس داشتم که اونو غیر فعال کردم ولی باز هم ارور ها پابرجاست.دسترسی به روبات ها هم درسته در فایل robot.txt هر چی توی مقالات فارسی و انگلیسی هم جستجو میکنم کسی این مشکلو نداشته تا به حال.
    میشه کمکم کنین مشکل حیاتیست.

    • وبسیما
      WEBSIMA
      03/04/2018

      سلام دوست عزیز
      با توجه به اینکه این فایل ها تاثیری در محتوای صفحه برای گوگل ندارند عدم دسترسی به آنها هیچ مشکلی برای شما ایجاد نمیکند و وجود این خطاها طبیعی است. شما میتوانید با استفاده از همین فایل robots.txt دسترسی گوگل به این بخش را به صورت کامل محدود کنید.

      • امین
        03/04/2018

        خیلی خیلی ممنون بابت پاسخگویی شما.
        با این کد میشه دسترسی رو محدود کرد درسته؟
        Disallow: /wp-content/uploads/woocommerce_uploads/
        اگه درسته راهنمایی کنید من بزارمش توی فایل روبات

        خیلی ممنون

        • وبسیما
          WEBSIMA
          04/04/2018

          بله همین کاری که در نظر دارید درست هست

  • میلاد وردپرسیان
    07/11/2017

    سلام ببینید این کد برای ربات صحیحه؟
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    ممنون

    • وبسیما
      WEBSIMA
      08/11/2017

      سلام دوس عزیز
      بله کاملا درست هست

  • رحیمی
    16/10/2017

    در جواب شما .
    من میخوام برچبب هام ایندکس بشن اما این برچسب ها که چند صفحه هستند ، هر صفحه جداگانه ایندکس میشه در اصل نیاز است تا یک صفحه از هر برچسب ایندکس بشه
    مثلا برچسب کلمه کفش اسپرت” مثلا حدودا صد محصول این برچسب رو دارن و این صد محصول در این برچسب در ده صفحه نمایش داده میشه که
    page1
    با page 3 این تگ ، یک عنوان و یک متا دسکریپشن دارن که در اصل نباید صفحات این تگ ایندکس بشه
    امیدوارم منظورم رو متوجه شده باشید

    • وبسیما
      WEBSIMA
      16/10/2017

      سلام دوست عزیز
      در تنظیمات افزونه Yoast بخشی وجود دارد که شما میتوانید صفحه بندی ها را از دسترس گوگل خارج کنید و در این شرایط فقط صفحات اصلی هر برچسب یا دسته بندی ایندکس میشوند.

  • saeid
    14/10/2017

    سلام
    من یک مشکل دارم خواهش میکنم راه حلش رو بگین
    قسمت Blocked Resources نزدیک به 9 هزار لینک بلاک شده و دلیلش رو این زده ***
    چطور رفع کنم اینو؟
    من تبلیغی از علی بابا تو سایتم ندارم!

    • وبسیما
      WEBSIMA
      16/10/2017

      سلام دوست عزیز
      به احتمال زیاد سایت شما هک شده و یک اسکریپت مخرب بر روی آن راه اندازی شده است. سریعا سایت را به یک متخصص نشان دهید.

  • رحیمی
    10/10/2017

    سلام بر تیم وبسیما
    یه سوال فنی دارم ، یه سایت وردپرسی من
    صفحه تگ ها
    ***
    تگ ها ، صفحاتی هم که دارند ایندکس میشه
    این باعث شده که صفحاتی به وجود بیاد که عنوان متا و توضیحات متا ش تکراری باشه
    حلا در فایل robot.txt چه عبارتی بنویسم که این صفحات ایندکس نشه

    • وبسیما
      WEBSIMA
      13/10/2017

      سلام دوست عزیز
      چرا از برچسب هایی استفاده میکنید که دوست ندارید ایندکس شوند؟ اگر قصد دارید ایندکس را برای آنها غیرفعال کنید بهتر است حذف شوند.

  • اکرمی
    26/09/2017

    با سلام و تشکر از آموزش بسیار خوبتون. امکان داره robot.txt سایت ما رو هم چک کنید؟

    • وبسیما
      WEBSIMA
      27/09/2017

      سلام دوست عزیز
      بررسی کردم و بنظرم طبیعی میاد فکر نکنم مشکلی داشته باشید

  • hesezibaei.ir
    28/08/2017

    اینکه انقدر روان و قدم به قدم آموزش میدید واقعا برام ارزشمنده ممنون از زحمات شما…

    • وبسیما
      WEBSIMA
      30/08/2017

      خواهش میکنم دوست عزیز
      خوشحالیم که مورد استفاده و توجه شما قرار گرفته. اگر تجربه ای هم در زمینه کار با فایل robots.txt دارید با ما و دیگر دوستان در میان بگذارید

  • هادی
    26/08/2017

    سلام و درود خدمت دوستان وبسیما
    به جرات می تونم بگم بهترین آموزش در سطح وب رو قرار دادید . همه چیز رو به خوبی توضیح دادید واقعا عالی بود
    من فقط یکی دو تا از بخش ها رو که دیفالت بهشون اشاره شده محدود کردم.
    لطا سایت من رو ببینید ***
    بنظر شما چطوره ؟ اگه داخل آموزش اشاره ای به بهترین نوع فایل روبوتس می کردید خیلی خوب میشد.

    • وبسیما
      WEBSIMA
      30/08/2017

      سلام دوست عزیز
      خوشحالیم که این مقاله از نظر شما کاربردی بوده است. من فایل ربات شما را بررسی کردم پیشنهاد میکنم خط مربوط به wp-includes را از آن حذف کنید. بقیه موارد مناسب هستند.

  • اسماعیل
    21/08/2017

    سلام

    مگه نباید داخل فایل robots از تگ استفاده کنیم ؟

    • وبسیما
      WEBSIMA
      23/08/2017

      سلام دوست عزیز
      منظور شما از تگ چیه؟

  • دکوراسیون ایرانی
    13/06/2017

    ممنون از مطلب خوبتون
    ولی نمیدونم چرا من با اینکه ربوت رو بستم
    باز هم ایندکس میکنه 😐

    این سایته منه
    ***
    برای این آدرس
    ***
    باید بصورت جداگانه روبوت رو ببندم ؟

    • وبسیما
      WEBSIMA
      17/06/2017

      من بررسی کردم، نه در خود صفحه و نه در فایل robots.txt دسترسی به این صفحه رو محدود نکردید

  • دکوراسیون ایرانی
    13/06/2017

    ممنون از مطلب خوبتون

  • رها
    08/05/2017

    با سلام من فایل ربات را در سرورم دارم اما در گوگل وب مستر خطای Shows any instances when the crawl was postponed because robots.txt was inaccessible را میدهد. چکار باید بکنم؟

    • وبسیما
      WEBSIMA
      10/05/2017

      سلام
      این یعنی که فایل مورد نظر در دسترس گوگل نیست باید دلیل این موضوع مشخص شود. آدرس فایل را در مرورگر باز کنید ببینید آیا در دسترس هست یا نه

  • محمد
    07/05/2017

    سلام
    ممنون از مقاله خوبتون.
    یه مشکلی دارم. فایل روبوت در هاست خودم ساختم و در وبمستر گوگل هم ثبت شده و کلا فایل روبوت من شامل این دو خط هستش:
    User-agent: *
    Disallow: /cgi-bin/
    ولی در قسمت سایت مپ گوگل وبمستر 62 تا اخطار ثبت شده با توضیح Sitemap contains urls which are blocked by robots.txt در صورتی که لینک هایی که اینجا معرفی کرده برای مثال چک میکنم توی گوگل ثبت شده. سایت تازه تاسیس هستش.
    باید چیکار کنم این اخطار برطرف بشه ؟ اصلا توی فایل روبوت من جلوی چیزی گرفته نشده ولی این اخطارو میده. با تشکر

    • وبسیما
      WEBSIMA
      10/05/2017

      سلام دوست عزیز
      نقشه سایت خود را resubmit کنید

      • اسماعیل پویا
        28/12/2017

        ممنون از پاسخ هاتون به نظرات کاربران
        مگر داریم از وبسیما بهتر 😉

        • وبسیما
          WEBSIMA
          30/12/2017

          سلام دوست عزیز
          نظر لطف شماست

  • آگهی رايگان
    14/02/2017

    ممنون از مقاله خوبتون .
    موفق باشيد.

  • مرتضی
    06/02/2017

    سلام
    سایت من به شدت داره ایندکس هاش کم میشه
    کلا 1400 ایندکس داشت الان شده نزدیک 500 تا و کمترم میشه
    من نه پوسته عوض کردم نه کدی ودستکاری کردم اما پوشه wp-includes همش ایندکس میدش و من تو robot جلوشو گرفتم و کل صفحاتی که Index of /wp-includes داشتن و تو وبمستر ریمو کردم – الان همش داره ایندکسا کم میشه و امار بازدید میاد پایین با اینکه به حالت قبل برگردوندم بازم داره کم میشه

    تصویر ایندکسای الکی
    ***
    البته همه تگ هایی که تا یه هفته پیش ایندکس بودن پاک شد (کل تگ های ایندکس شده پاک شدن و فقط دو سه دونه از 500 تگ باقی موندن)

    تصویر robots
    ***

    • وبسیما
      WEBSIMA
      10/02/2017

      سلام دوست عزیز
      میدونید دقیقا چه آدرس هایی از ایندکس گوگل حذف شدند؟ صفحاتی که برای شما مهم بودند ولی دیگه از ایندکس گوگل خارج شدند

  • حسین
    05/12/2016

    سلام
    من سایتم تو سرچ اینترنت از وقتی براش فایل روبوت درست کرده بودم این پیغام رو میده
    A description for this result is not available because of this site’s robots.txt
    الان هم که کلا تو ربوتس همه چی رو باز گذاشتم بازم نرفته چکار کنم
    ***
    یه مدتیه اصلا ورودی از گوگل ندارم دیگه
    چطوری درست میشه ؟
    با جستجوی “دانلود رایگان نرم افزار آژانس تاکسی تلفنی” قبلا لینک اول گوگل بود حالا اصلا نمیاد
    لطفا کمکم کنید

    • وبسیما
      WEBSIMA
      06/12/2016

      سلام
      باید از طریق پنل گوگل وبمستر و با استفاده از ابزار fetch as google درخواست کنید که سریعتر صفحات شما بررسی بشه

  • سیروان
    30/10/2016

    سلام
    یه سوال داشتم در مورد معرفی کردن نقشه سایت در فایل ربات
    بنده
    # Sitemap
    ***
    رو تو آخر فایل ربات ازافه کردم

    آیا تاثیر مثبت یا نفی دارد؟

    آیا اصلا لازم است این کار یا خیر

    مممنونم

    • وبسیما
      WEBSIMA
      01/11/2016

      سلام دوست عزیز
      این کار اجباری نیست ولی میتونه تاثیر مثبت در شناسایی سریع نقشه توسط گوگل داشته باشه

  • حسین
    28/10/2016

    خیلی ممنونم ازتون
    الان در همینی که گفتین علامت * در آخرش به چه معنایی میشه؟
    یا مثلا /*? که علامت * در وسطش قرار میگیره به چه معناست؟

    • وبسیما
      WEBSIMA
      01/11/2016

      خواهش میکنم
      یعنی بعد از این آدرس هرچی بیاد شامل این قانون میشه. بعد از ستاره هرچیزی باشه فرقی نمیکنه

  • حسین
    25/10/2016

    سلام خیلی ممنونم.پس تقریبا درست نوشته بودم.
    میخواستم جلوی ایندکس شدن فایلهای ضمیمه رو بگیرم چون به همین فولدر میخورد.مثل آدرس زیر هستش
    ***
    فرض بفرمایید اسم فایل (عکس) ضمیمه شده filehazamimem هستش و فولدرش همون attachment و آدرس مطلب tasavire-baran به صورت زیر اگه عمل کنتم فولدر attachment از دسترس روباتها مخفی میمونه؟
    Disallow: /../../../attachment/

    • وبسیما
      WEBSIMA
      28/10/2016

      سلام دوست عزیز
      درستش میشه این:
      disallow: /attachment/*

  • حسین
    24/10/2016

    سلام
    این دستور چی میگه؟
    Disallow: /../../attachment/

    • وبسیما
      WEBSIMA
      24/10/2016

      سلام دوست عزیز
      این یعنی گوگل اجازه نداره به آدرس هایی که در فولدر attachment هستند دسترسی داشته باشه

  • علی
    19/10/2016

    سلام و عرض ادب خدمت شما
    ممنونم ب خاطر مقاله خوبتون
    سوالی داشتم ممنون میشم راهنمایی کنید
    بنده در سایتم دو بار وردپرس رو نصب کردم یکی در آدرس اصلی (site.com) و یکی در قسمت بلاگ سایتم (site.com/blog )
    میخواستم ببینم آیا باید هر کاری در نگاه سئو برای سایت اصلی کردم برای سایت بلاگ هم بکنم؟ مثلا ثبت کردن در وبمستر گوگل و اضافه کردن آمار گوگل و همینطور سایت مپ ها رو غیره
    سپاس

    • وبسیما
      WEBSIMA
      22/10/2016

      سلام
      اگر این بخش هم برای شما ارزشمند هست و قصد دارید روی سئو اون کار کنید باید همه این مراحل رو طی کنید

  • IRANI
    05/10/2016

    سلام .روز بخیر
    در گوگل وب مستر سایتم، داخل فایل روبوت، در مورد Crawl-delay: 10 هشدار داده
    این کد Crawl-delay: 10 در فایل روبوت به چه معنایی هست و آیا حتما باید باشه و از نظر سئو مفیده یا مضر؟

    ممنون

    • وبسیما
      WEBSIMA
      05/10/2016

      سلام
      بطور معمول این خط کد کمتر استفاده میشه و موجب میشه که ربات های گوگل کمتر سایت شما رو بررسی و بازدید کنند. برای سایت های بزرگ با ترافیک بالا میتونه فشار روی سرور رو کاهش بده ولی معمولا لزومی نداره که ازش استفاده کنید.

  • ایمیل مارکتینگ
    22/09/2016

    ممنون خیلی مفید بود
    از سایت خوبتون هم تشکر می کنم

  • سیروان
    13/09/2016

    سوال دوم من
    Disallow: /*? کردم
    آیا صفحاتی که از قبل ایندکس شدن خودشون حذف میشن؟

    • وبسیما
      WEBSIMA
      14/09/2016

      سلام
      بله حذف میشن ولی یکم زمان میبره

  • سیروان
    13/09/2016

    سلام و ممنون بابت این سایت خوبتون که در مورد همه چیز همه چیز میشه پیدا کرد
    من اگه بخوام صفحاتی که ؟ (علامت سوال دارند رو اجازه ندم ایندکس کنه )
    باید تو robot.txt بنویسم
    Disallow: /?
    ?????
    ممنون

    • وبسیما
      WEBSIMA
      14/09/2016

      سلام دوست عزیز
      از این عبارت استفاده کنید: Disallow: /*?

  • بهشاد
    09/09/2016

    با سلام. بنده چند وقت گذشته اودم تمام تگ هام رو پاک کردم، بعدش همه اون تگ هایی که پاک شدن، اومدن توی not found گوگل وبمستر. بعدش اومدم Disallow: /tag/ را به فایل robots.txt اضافه کردم، خیلی جالبه که حالا همه ی تگ ها ریدایرکت میشن به آخرین مطلب بنده. مشکل از کجاست؟

    • وبسیما
      WEBSIMA
      11/09/2016

      سلام دوست عزیز
      اون ریدایرکت شدن که به سیستم وردپرس و سایت شما برمیگرده و گوگل تقشی توش نداره ولی کلا مسیری که رفتید اشتباهه. شما دارید از ابزارهای وبمستر استفاده نامناسبی میکنید. نباید دسترسی گوگل رو به همه تگ ها می بستید بهتر بود از روش remove urls برای حذف صفحات ایندکس شده استفاده میکردید. پیشنهاد میکنم در دوره آموزش گوگل وبمستر شرکت کنید چون همه این بخش ها رو بصورت کامل آموزش میدیم.

  • محمد
    26/08/2016

    ممنون میشم بیشتر توضیح بدید . من چطوری میتونم این کارا انجام بدم اگه بشه دقیق بگید

  • محمد
    25/08/2016

    https://msn.com /
    http://msn.com/
    وقتی سایت را با هر دو میزنیم نمایش داده میشه و ریدایرکت نیست در صورتی که داخل نتایج گوگل فقط میزنه http ها ایندکس شدند و https ها خیلی کم ایندکس شده من باید چکار کنم که به این شکل باشه سایتم و https ها ایندکس نشند و داخل نتایج جست و جو فقط http قرار بگیره
    ممنون بابت جواب های به موقعتون

    • وبسیما
      WEBSIMA
      25/08/2016

      حتما با استفاده از تعیین دامنه اصلی سایت به گوگل اعلام کرده که دامنه مهم براش کدوم بوده و گوگل هم فقط همون رو ایندکس کرده.

  • محمد
    23/08/2016

    سلام . من الان برداشتم ریدایرکت کردم همه https ها را ولی میدونم که به این شکل تاثیری نداره برای سایتم. پس سایت msn.com چرا این کارا انجام داده ؟
    چه کاری انجام داده که هم https را داره هم http و وقتی داخل گوگل سرچ کنیم فقط http را نمایش میده و ایندکس کرده . ممنون میشم زودتر راهنمایی کنیم چون واقعا نمیدونم چکار کنم

    • وبسیما
      WEBSIMA
      25/08/2016

      سلام
      من اصلا سوال شما رو متوجه نمیشم. لطفا لینک ارسال کنید از صفحات msn

  • محمد
    22/08/2016

    با سلام . من سایتم را به تازگی با توجه به اخبار گوگل https را فعال کردم ولی به خاطر یک سری مشکلاتی که داشتم http را غیر فعال نکردم ولی مشکلی که هست میخوام به صورتی به گوگل بفهمونم که https سایت من فعاله ولی نیاد اونا را ایندکس کنه و به کاربران نمایش بده و داخل موتورهای جست و جو http ها را بیاره. شبیه سایت msn.com
    نمیدونستم سوالما دقیقا کجا بپرسم برای همین گفتم شاید چون باید داخل فایل ربوت بنویسم اینجا میخوره ممنون میشم زودتر راهنمایی ام کنید

    • وبسیما
      WEBSIMA
      23/08/2016

      سلام
      اگر https فعال باشه و گوگل اون رو نبینه فرقی با حالتی که غیرفعال هست نداره! سایت شما یا باید https باشه یا نباشه این روشی که پیش گرفتید بیشتر تاثیر منفی داره تا مثبت

  • ali
    20/08/2016

    با سلام و خسته نباشید .
    احتمالا اینجا جای مناسبی نیست برای این سوالم اما مجبورم ازتون بپرسم . .
    بنده سایت پربازدیدی داشتم اما مثل اینکه امروز متوجه شدم دیگه هیچ مطلب و ایندکسی در گوگل ندارم. یعنی فکرکنم گوگل سایت من را کلا حذف کرده .
    آدرس سایتم موجوده . لطفا بررسی و پاسخی برای حذف کلی سایتم بدید.
    ممنون.

    • وبسیما
      WEBSIMA
      21/08/2016

      سلام دوست عزیز
      من چک کردم گوگل 10 هزار صفحه از سایت شما ایندکس کرده. الان سایت شما همینه یا قالبش رو غیرفعال کردید که به این روز افتاده؟

  • جواد
    23/07/2016

    هم با www که جواب نداد یکبار هم بدون www

    پیشاپیش ممنون از راهنماییتان

    • وبسیما
      WEBSIMA
      24/07/2016

      بنظرم فایل htaccess رو هم بررسی کنید شاید از اونجا دسترسی ها محدود شده باشه

  • جواد
    22/07/2016

    سلام و خسته نباشید خدمت شما
    بنده سایتم رو با ورد پرس ساختم
    فایل robots.txt. نداشتم کلا
    تو قسمت robots.txt که میرم میگه شما فایل رو تو سرور دارید و گوگل نمیتونه به سایت شما دسترسی داشته باشه
    robots.txt fetch failed
    You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file. Learn more.

    فایل رو طبق اموزش ساختم و تو پوشه روت ذخیره کردم بازهم همین اررور رو میده
    تو پنل مدیریت هم گزینه مربوط به موتورهای جستجو غیر فعاله
    از سه افزونه فرم تماس 7 و امار ورد پرس و iThemes Security استفاده میکنم فقط
    کلا گوگل بهش دسترسی نداره و هیچ صفحه ای هم fetch نمیشه
    پیشاپیش ممنون از راهنماییتون

    • وبسیما
      WEBSIMA
      22/07/2016

      سلام
      سایت رو با www ثبت کردید یا بدون آن؟

  • ramin
    19/07/2016

    این درست شد خیلی ممنون. فقط الان که Site:empiremovie.in رو میزنم صفحه ها رو ایندکس کرده. این عادیه یا مشکل داره و باید جور دیگه ایندکس کنه؟؟؟؟ میشه شما یه نگا بندازید. خیلی ممنون.

    • وبسیما
      WEBSIMA
      20/07/2016

      این فایل رو کجا گذاشتید دقیقا؟ شما فرمودید هاست دانلود بصورت جدا دارید، یه وقت باعث نشه صفحات سایت شما ایندکس نشه

  • ramin
    19/07/2016

    پس این دستور الان درسته؟؟؟
    User-agent: *
    Disallow: /

    • وبسیما
      WEBSIMA
      20/07/2016

      این دستور دسترسی ربات ها به همه صفحات رو میبنده

  • ramin
    18/07/2016

    والا با دقت مطالعه کردم ولی بازم سر اینکه از کدوم دستور برای ایندکس نشدن کل هاست دانلود استفاده کنم موندم!!!
    اگه فقط Disallow: / رو تو فایل بنویسیم و آپلود کنم دیگه هاست دانلود ایندکس نمیشه؟؟؟

    • وبسیما
      WEBSIMA
      19/07/2016

      بله، درست فهمیدید که

  • ramin
    17/07/2016

    کدوم دستور رو قرار بدم؟؟؟؟

    • وبسیما
      WEBSIMA
      18/07/2016

      دوست عزیز مقاله رو به دقت مطالعه کنید و در بخش disallow آدرس بخش دانلود فایل ها را قرار دهید

  • ramin
    16/07/2016

    سلام خسته نباشید. واسه هاست دانلود که میخوام ایندکس نشه از کدوم دستور استفاده کنم و تو کجای هاست دانلود کپی کنم؟؟؟ راستی باید فایلش رو با چی بسازم؟؟؟ خیلی ممنون.

    • وبسیما
      WEBSIMA
      17/07/2016

      سلام دوست عزیز
      فایل متنی هست میتونید به راحتی با Notepad یا هر ادیتور دیگه بسازید. باید دقیقا در root هاست قرار بگیره. یعنی در فولدر public_html

  • امیر حیدری
    10/07/2016

    سلام ببخشید این دامنه من *** هستش بعد از گوگل دو سه روزی هس ک داخل گوگل نیس الان من جکا کنم؟میشه وبمسترشو بدم شما ی نگاهی بندازید ممنونتون میشم

    • وبسیما
      WEBSIMA
      11/07/2016

      سلام دوست عزیز
      بنظر میاد که سایت شما ناقض قوانین جمهوری اسلامی بوده و فیلتر شده. نتونستم سایت رو بررسی کنم

  • محمدرضا
    06/07/2016

    سلام
    من تازه سایتم رو راه انداختم
    متوجه شدم ه قبلا یه نفر این دامنه رو خریده بوده و وقتی منقضی شده من خریدمش
    بعد از این که تو گوگل اسم سایتو نوشتم و سرچ کردم سایت اومد و تو بخش متا اینو نوشته بود:
    A description for this result is not available because of this site’s robots.txt
    Learn more
    بعد از اینکه روی Learn more کلیک کردم به لینک زیر رفتم:
    ***
    تو اول صفحه گوگل ساپورت نوشته:
    Block URLs with robots.txt
    یعنی اینکه این دامنه بلاک شده!؟؟؟؟
    ممنون میشم راهنمایی کنید
    با تشکر از سایت خوبتون

    • وبسیما
      WEBSIMA
      08/07/2016

      سلام دوست عزیز
      الان که من چک کردم مشکلی نبود و سایت ایندکس شده بود. احتمالا مشکل رو حل کردید.
      حدسم اینه که خودتون گزینه ای رو فعال کردید که باعث شده دسترسی گوگل به سایت محدود بشه

  • نارام
    28/06/2016

    سلام
    خسته نباشید

    ببخشید وبلاگم تو صفحه‌ی اول گوگل بود تا همین یه هفته پیش ولی به طور ناگهانی از گوگل و سایر موتورهای جستجو حذف شده تا اینکه تو وبمستر دیدم قسمت robots.txt ارور میده
    کار خاصیم نکردم و نمیدونم دقیقا چیکار باید بکنم
    فایل ربات هم که کلی دستورات داره و چون به سرور دسترسی ندارم نمی‌تونم درستش کنم و از طرفی مایلم که کل وبلاگم ایندکس بشه و محدودیتی نباشه برای موتورهای جستجو
    ***
    لطفا اگه میشه راهنماییم کنید …

    • وبسیما
      WEBSIMA
      29/06/2016

      سلام دوست عزیز
      یعنی هیچ فعالیتی نکردید روی سایت؟ کارهایی مثل خرید بک لینک؟
      ارورهای robots.txt تو عکس نبود که ببینم ولی بهتره که با پشتیبانی شرکت ارائه دهنده بلاگ تماس بگیرید

  • محمد علی
    23/05/2016

    ضمن تشکر از مطلب مفید شما ، من سایتم رو در Mobile-Friendly Test گوگل آنالیز کردم و پیغام داد که 46 منبع توسط فایل ربات بلاک شدن ، سوالم اینجاست که باید بررسی کنم و تمام این منابع رو محدودیت هاشون رو باز کنم ؟
    من ادمین و اینکلود و کش و فید و کانت و کتگوری و ترک بک ها رو محدود کردم ، اشتباه است ؟
    واقعا سپسا گذارم که در این حد حرفه ای مطلب انتشار می دهید و به سوالات هم پاسخ میگویید.

    • وبسیما
      WEBSIMA
      24/05/2016

      خواهش میکنم دوست عزیز
      حقیقت اینه که دیگه کلا نیازی نیست دسترسی گوگل رو به پوشه های مدیریتی محدود کنیم. دوتا فایل هست که از پوشه Includes در هدر وردپرس فراخوان میشن و عدم دسترسی ربات به اون دو فایل موجب این خطاها میشه. پیشنهاد میکنم که کلا دسترسی رو محدود نکنید مگر برای صفحات خاصی که بصورت هدفمند قصد ندارید ایندکس شوند. همچنین میتونید مقاله مربوط به محدودیت دسترسی ربات گوگل یا همان Blocked Resources را مطالعه کنید.

  • علی پیامی
    05/05/2016

    سلام خدمت شما دوستان عزیز
    متشکر از مطالب خوبتون خلی کمکم کردن

    فقط یک سوال من چه چیزهایی رو باید غیر فعال کنم یا همون از چشم روبات مخفی کنم
    چه چیزهایی رو به نمایش بزارم؟
    ممنون میشم واضح راهنمایی کنید(مبتدی هستم)
    از کجا ارور های سایتم رو ببنیم
    من از اپن کارت فارسی استفاده میکنم
    آدرس سایتم
    pelikanshop.ir
    با تشکر

    • وبسیما
      WEBSIMA
      07/05/2016

      سلام
      در حال حاضر ربات های گوگل بسیار هوشمند هستند و تقریبا نیازی نیست چیزی رو ازشون مخفی کنند. فقط کافیه که نقشه سایت رو معرفی کنید. برای این کار هم میتونید با ساخت اکانت وبمستر گوگل شروع کنید.

  • مهدی
    22/04/2016

    سلام دوست عزیز شما در این مطلب لینک شکسته دارید Web Robots Database موفق باشید.

    • وبسیما
      WEBSIMA
      23/04/2016

      سلام
      ممنون که اطلاع دادید لینک جدید جایگزین شد

  • مهدی دمرچیلو
    09/03/2016

    سلام
    من حدود 500-600 تا از این ارور ها داشتم – فایل robots.txt رو درست کردم – چقدر طول میکشه تا در گوگل وب مستر این مورد تصحیح بشه و این 500-600 تا ارور برطرف و پاک بشه؟

    • وبسیما
      WEBSIMA
      10/03/2016

      سلام
      باید به گوگل اعلام کنید که ارورهارو رفع کردید. فکر کنم حداقل یک ماه طول بکشه

      • مهدی دمرچیلو
        12/03/2016

        ممنون از پاسختون
        غیر از این که انگلیسیمون ضعیفه، چطوری به گوگل بگم حالا؟ لینکش کجاس صفحه google webmasters هستش؟

  • رضا
    02/03/2016

    با عرض سلام و خسته نباشید
    ببخشید من یه سوال داشتم ؟ تیم برنامه نویس ما روبات تکستی که برای ما قرار داده به این صورت هستش

    ***

    خواستم بدونم به نظر شما این روبات تکست اصولا درسته ؟ آیا با توجه به وب سایت و شرایط و محتوای اون درسته نوشتن این روبات تکست ؟

    مآیا این روبات فعلی مستونه مشکلاتی برای وب سایت من داشته باشه ؟
    ممنون میشم اگه بهم کمک کنید

    • وبسیما
      WEBSIMA
      02/03/2016

      با سلام
      مشکلی ایجاد نمیکنه ولی کلا کاربردی هم نداره خیلی بخش هاش میتونید حذفشون کنید

  • payam
    17/02/2016

    بازهم سلام مجدد به شما.
    مطالب دیگه سایتتون رو خوندم عالی بودن.
    یه سوال داشتم گفتم چون مربوط به این مطلب میشه اینجا بنویسم.
    صفحه اصلی سایت رو fetch and render زدم و وقتی وارد شدم نوشته بود این URl خونده نمیشه:
    ***
    وقتی روی فایل robots.txt زدم این رو نمایش داد:
    User-agent: *
    Disallow: /
    فایل robot من:
    User-agent:*
    Disallow: /admin/
    Allow: /

    خواستم بدونم منظورش اینه که صفحه اصلی من رو روبات ها میشناسن یا نه؟
    ممنون وبسیمای عزیز.

    • وبسیما
      WEBSIMA
      18/02/2016

      سلام دوست عزیز
      مشکل از صفحه اصلی سایت شما نیست، این فایل توی اون صفحه لود میشه ولی قابلیت ایندکس توسط ربات گوگل را ندارد. در نتیجه به شما پیام داده که دسترسی به این فایل خاص نداشته

  • payam
    09/02/2016

    سلام
    چند روز پیش در یکی از مطالب دیگه سایتتون دیدگاه گذاشتم اما جوابی نگرفتم.
    لطفا کمکم کنید.
    من وقتی مطلبی رو انتشار میدم فقط صفحه اصلی سایتم توی نتایج گوگل میاد.
    پس از 4 روز هم این اتفاق میفته.یعنی دیر ایندکس میشن مطالبم.
    فایل htacces و robots.txt هم نذاشتم.

    میشه راهنماییم کنید که مشکل من چیه؟؟
    واقعا ممنون میشم.

    • وبسیما
      WEBSIMA
      09/02/2016

      سلام
      همونجا هم پاسخ شما ارسال شده ولی بنظر میاد فراموش کردید توی چه صفحه ای ارسال کردید. مشکل شما همون دیر ایندکس شدن صفحات است. اگر اعتبار و سابقه سایت شما زیاد بشه سرعت ایندکس هم بالاتر میره. میتونید تا اون زمان از ابزار Fetch and render در گوگل وبمستر استفاده کنید.

      • payam
        10/02/2016

        درست می فرمایید من معذرت میخوام تازه دیدم که جواب دادین.
        بله مطالبم دیر ایندکس میشن.
        مطالب هم کپی نیست و خودم تولید محتوا میکنم.
        نظرتون راجع به پینگ کردن چی هست؟

        • وبسیما
          WEBSIMA
          10/02/2016

          تاثیر نداره، بهترین راه همون استفاده از Fetch and render است

        • payam
          10/02/2016

          باشه چشم
          بازم ممنون که وقت گذاشتین.
          هم مطالبتون خوب هست و هم به نوعی یوایکس رو رعایت می کنید با وقتی که میذارید.
          پیروز باشید.

        • وبسیما
          WEBSIMA
          10/02/2016

          خواهش میکنم دوست عزیز، موفق باشید

  • ایلیا
    26/01/2016

    با سلام
    سایت ما وردپرس هستش و از yoast استفاده می کنیم، دوتا از ساب سایتمپ های ما ارور 403 forbiden می دن، در صورتی که هیچ مشکلی ندارند و کامل باز می شوند. یک هفته پیش هر دو ساب رو فچ کردیم یکیشون درست شده ولی دومی همچنان ارور میده با اینکه در فچ کردن سابمیت میشه کامل و فچ میشه باز هم ارور 403 میده مشکل از چی می تونه باشه؟ ایا با تغییر افزونه ممکنه مشکل حل بشه؟
    سپاس از شما

    • وبسیما
      WEBSIMA
      27/01/2016

      سلام
      نمیشه اینجوری دلیلش رو تشخیص داد ولی من خودم همیشه نقشه سایت Yoast رو غیرفعال میکنم و به جای اون از افزونه Google XML Sitemaps استفاده میکنم

  • توحید
    23/01/2016

    در مورد اینکه سوال کردین آیا خود این صفحات در رزبلاگ ایندکس میشن اگه منظورتون ادرس وبلاگ هستش که باید بگم اولش ایندکس میشد ولی وقتی با خرید قسمت انتقال همه ادرسهای ربلاگ به ادرس اختصاصی تمامی ادرسها رو به ادرس اخصاصی انتقال دادم دیگه ایندکس نشدن در حقیقت اینکار واسه شناساندن ادرسم به عنوان ادرس اصلی بوده و فکر نمیکنم این کار باعث ایندکس نشده بوده باشه

    • وبسیما
      WEBSIMA
      24/01/2016

      بله
      اگر خودشون ایندکس نمیشن نمیتونه مشکل از اونجا باشه

  • توحید
    23/01/2016

    سلام وب سیمای عزیز
    فرمایش شما متین ولی من عین همین قالبو توی دوتا سایت دیگه هم دارم که خیلی خوب ایندکس میشن باز من ایرادات رو بررسی میکنم و رفع میکنم من از طریق قسمت تماس با ما براتون اطلاعات گوگل وبسترمو میفرستم بررسی کنید واقعا دیگه کلافه شدم موندم چیکار کنم

    • وبسیما
      WEBSIMA
      24/01/2016

      اطلاعات گوگل وبمستر را ارسال نکنید. دسترسی برای ایمیل websima2@gmail.com ایجاد کنید و از همین طریق اطلاع بدید

  • سعید
    20/01/2016

    با سلام.خیلی خیلی از مطالب مفید و البته پیگیر بودنتون ممنونم,شاید باورتون نشه ولی ماشالله اینقدر تو کامنتها پیگیر بودید که من کل کامنتهارو خوندم و خیلی چیزها از همین کامنتها و جوابشون یاد گرفتم.جسارتا دوتا سوال دارم,ممنون میشم راهنماییم کنید.
    1.چطور میشه کاری کرد که سایت فقط با یک آدرس ایندکس بشه یعنی یا با (www)و یا بدون (www)؟؟؟و اینکه با بهتره یا بدون؟؟؟
    2.فرض کنید ما یک سایت خبری داریم که هر روز پستهای زیادی براش مینویسیم,خب قطعا به مرور فضای هاست پر میشه,اگه نخواهیم هاستمونو ارتقا بدیم,بهترین راهکار برای ایجاد فضا برای پستهای جدید چیه؟؟
    با خودم فکر کردم بهتره پستهای قدیمی مثلا دو سال پیشو حذف کنیم تا فضا خالی بشه اما بعد فکر کردم خب اینجوری مطالبم هنوز تو ایندکس گوگل هست و وقتی کاربر با اون ایندکسها وارد سایت بشه و اون مطلب حذف شده باشه خیلی بد میشه واسه سایت.
    یا فرض کنید یک فروشگاه همه جوره داریم که همه چیز توش هست ,حالا اگه خواستیم یک کالایی رو دیگه نیاریم و اونو از سایت حذف کنیم چیکار کنیم که با این مشکل رو به رو نشیم؟؟؟
    راستی بابت زحماتی که برای این وبسایت میکشید سپاسگذارم ,به نظرم بهترین راه پیشرفت تو محیط وب پاکی ,صداقت و حرفه ای بودنه که اینا اعتبار به وجود میاره و اعتبار هم مادر تمام موفقیتها هست.احساس میکنم شما دارید در این راه قدم میذارید,امیدوارم همیشه شاد,سلامت و موفق باشید.

    • وبسیما
      WEBSIMA
      23/01/2016

      سلام دوست عزیز
      1- فرق نمیکنه از نظر سئو، شما باید دامنه اصلی سایت رو به گوگل معرفی کنید که در مقاله تعیین دامنه اصلی سایت در موردش صحبت کردیم.
      2- حذف صفحات به دلیل عدم تمایل به ارتقای هاست اصلا منطقی نیست هزینه ای که برای سئو و کسب جایگاه اون صفحات انجام شده خیلی بیشتر از هزینه ارتقای هاست شماست. در این موارد از هاست دانلود یا CDN استفاده میشه. برای کالایی که موجود ندارید هم توی صفحه میزنید که این کالا دیگه موجود نیست و بجاش مثلا از فلان کالا دیدن کنید.

      از توجه و لطف شما سپاس گزاریم
      موفق باشید

  • توحید
    20/01/2016

    سلام به مدیر محترم خسته نباشید
    من تمامی مقاله های شما رو راجع به ایندکس شدن سایت خوندم
    راهنمایی های شما خیلی مفید بودن من پنج تا دامنه رنکدار دارم سه تا از سایتام به سرعت نور مطالبشون ایندکس میشن ولی دوتاشون مشکل ایندکس دارن تا حدی که صفحه اصلی سایت هم ایندکس نمیشه من تمامی مراحلی که توی مقالات توضیح دادین رو انجام دادم ولی باز این دو سایتم ایندکس نشدن الان یک ماهی میشه که میگذره ولی هیچ ایندکسی صورت نگرفته در صورتی که بقیه سایتهام روند رو به رشد چشمگیری داشتن همه سایتها طی بازه زمانی دوماهه راه اندازی شدن میخواستم ازتون خواهش کنم شما به صورت حرفه ای تر این دو سایت رو انالیز و کنید و کاری کنید مشکل من حل بشه هرجوری بخواید جبران میکنم لازم به ذکره تمامی سایتها به سیستم رزبلاگ متصل هستن البته با ابزارهایی که در قسمت خرید رزبلاگ بود دامنه های خودمو به عنوان دامین اصلی معرفی کردم و مشکلی بابت اینکه به دلیل ساب دامین بودن ایندکس نشه ندارم ازتون خواهش میکنم مشکل منو بررسی کنید بعد بگید چجوری جبران کنم
    آدرس سایتهایی که مشکل ایندکس دارن
    ***
    اینم یه نمونه از سایتم که خیلی خوب ایندکس میشه
    ***
    منتظر جوابتون هستم ایمیلمو هم وارد کردم میتونید ایمیل بفرستید با تشکر فراوان

    • وبسیما
      WEBSIMA
      23/01/2016

      سلام
      از بیرون که بنظر نمیرسه مشکلی وجود داشته باشه. باید از طریق پنل مدیریت وبمستر بررسی بشه. آیا خود این صفحات توی رزبلاگ هم در دسترس هستند و ایندکس میشن؟
      کدنویسی قالب شما خیلی ایرادات بزرگ و مهمی داره و از خط اول اشتباه داره تا پایین! میتونید از طریق ابزار validator.w3.org خودتون بررسی کنید.

  • پویا
    26/11/2015

    بله از ورد پرس استفاده می کنم، راهکار حل مشکلم رو میشه لطف کنین.

    • وبسیما
      WEBSIMA
      28/11/2015

      از پنل مدیریت سایت به بخش تنظیمات-> خواندن مراجعه کنید. یه گزینه ای هست به عنوان : از موتورهای جستجو درخواست کن محتوای سایت را بررسی نکنند.
      اگر تیک خورده غیرفعالش کنید

  • پویا
    24/11/2015

    البته من واسه حل این مشکل یه فایل به نام robots.txt وبا محتوای
    User-agent: *
    Allow: /
    تو هاست آپلود کردم، ولی بازم مشکلم حل نشد

  • پویا
    24/11/2015

    سلام وقتی سایتم رو تو گوگل سرچ میکنم این پیامو میده :(به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد – بیشتر بیاموزید.) واسه حل این مشکل چیکار کنم، من میخوام گوگل سایتم و نشون بده، اصلا نمیدونم این روبات کجا هست..لطفا راهنماییم کنین

    • وبسیما
      WEBSIMA
      25/11/2015

      سلام، شما دسترسی گوگل به سایت رو محدود کردید! از وردپرس استفاده میکنید؟

  • محمور شکرانه
    13/11/2015

    سلام و تشکر از پاسختون:
    به فرموده شما خط دوم را حذف و لینک سایت مپ را ایتطور گذاشتم،درست است ؟
    User-agent: *
    Disallow: /http://www.bursiran.com/sitemap_index.xml
    سایتم افزونه Yoast SEO دارد و اتفاقا لینک بالا را از Yoast گرفتم.
    اما در مورد مشکل اصلی،واقعا نمی دانم چکار کنم،هاست من پارس دیتا است و برای چندمین بار پرسیدم میگه از ما نیست،و تا حالا حتی یک نفر گزارش نداده است. فرمودید اطلاعات دسترسی ! ،بفرمائید چه اطلاعاتی تقدیم کنم. و از چه طریق بفرستم ؟
    بعضی دوستان می گویند احتمال دارد از نصب افزونه ای باشد مثلا می تواند از این دو اافزونه ها باشد :(wp-optimiez , و یا iThemes Securityion) – با احترام

    • وبسیما
      WEBSIMA
      14/11/2015

      با سلام
      بله در حال حاضر بنظرم درست است.
      دسترسی به گوگل وبمستر را برای ایمیل websima2@gmail.com فراهم نمایید.
      این دو افزونه نمیتوانند دلیل ایندکس نشدن صفحات شما باشند.

  • محمور شکرانه
    10/11/2015

    سلام و خسته نباشید
    واقعا از سایت خوب و کاربردی تون بی نهایت تشکر می کنم،هر کس بیاد یک سایت راه بندازه و بعد از یک هفته می فهمه ارزش سایت شما چقدره و چقدر براش زحمت کشیده میشه،امیدوارم دوستان ارزش و اهمیت کار شما را درک کنند و قدردان و قدرشناس خوبی برای نگاه و محبت شما باشند.
    جناب وبسیما در رابطه بحث امروز سه تا سوال دارم،با اجازتون طرح می کنم:
    1-صفحه ربات robots.txt من از اول راه اندازی سایت وردپرسی به شکل زیر است،سایتم است ( http://www.bursiran.com/ ) آیا این شکل از robots.txt درست است
    User-agent: *
    Disallow: /wp-admin/

    2-از یک سال پیش که سایتم را به گوگل کنسول معرفی کردم عکس سایتم نمی آید،5-4 ماه پیش از شما پرسیدم فرمودید نگران نباشم خودش درست می شود ! اما نشد ! به نظر شما این مقدار طبیعی است ؟ ممنون می شوم اگر نگاهی بفرمائید.
    3-حدود یک ماه است در Search Consol پیام زیر را دریافت می کنم:
    http://www.bursiran.com/: Googlebot can’t access your site
    آیا این موضوع به سوال اولم ربط دارد و اگر نه چکار کنم؟ هاستم می گوید از ما نیست !
    4- طی یک ماه اخیر با وجود افزایش فعالیت سایتم (افزایش پستهای جدید و تولیدی حد اقل روز 5 پست ) روزی چند تا صفحه ایندکسم کم می شود ؟
    پوزش می خوام اگر به ظاهر بعضی از سوالات ربطی به این بحث نداشته باشد،گفتم شاید مرتبط باشد،در هر صورت ممنون میشوم اگر راهنمایی شوم. با احترام شکرانه

    • وبسیما
      WEBSIMA
      11/11/2015

      سلام
      از توجه و لطف شما سپاس گزاریم.
      مورد اول که مشکلی نداره بنظرم، حتی شما میتونید خط دوم رو هم حذف کنید. البته جای لینک نقشه سایت توی این فایل خالیه. شما از افزونه ای برای نقشه سایت استفاده نمی کنید؟
      2- ما هم سایت های زیادی در وبمستر داریم که عکس اونها نمایش داده نمیشه ولی بخوبی کار میکنند و بازدید بالایی دارند. بدون ایجاد دسترسی امکان بررسی نداریم
      3- این پیام خیلی جدی و مهمه بنظرم، شاید بزرگترین مشکل سایت شما همین باشه. باید دلیلش رو پیدا کنید. یا دسترسی ربات های گوگل به کلی به سایت شما مسدود شده و یا اینکه سرور شما ضعیف است و با قطع شدن در ساعات مختلف روز موجب دریافت این پیام میشه. به هر صورت تا زمانیکه گوگل به سایت شما دسترسی نداشته باشه خبری از ایندکس هم نیست.
      4- دلیلش همون مورد سوم میتونه باشه.
      موفق باشید.

  • ابراهیم
    07/11/2015

    سلام.ممنون از زحمات شما
    مطالب من با دو لینک تو گوگل ایندکس میشه. لینک اصلی و لینک صفحه گوگل.
    مثال :
    http://www.molkaneh.com/surface-hub
    http://www.molkaneh.com/surface-hub/?print=1
    من میخوام از ایندکس شدن لینک صفحه پرینت همه مطالب جلوگیری کنم. البته از افزونه پرینت هم استفاده نمی کنم و قالب خودش این قابلیت رو داره.
    میشه از طریق robots.txt این کار رو کرد. ممنون میشم راهنمایی کنید

    • وبسیما
      WEBSIMA
      07/11/2015

      سلام
      بله، این خط رو توی robots.txt اضافه کنید:
      Disallow: */?print=1

  • Narges
    04/11/2015

    سلام روزتون خوش
    ببخشید من دو مشکل دارم که خیلی درگیرم کرده وبسایتم تو نتایج جستوجوی گوگل قرار نمی گیره تو webmaster هم dns و robots.txt ارور داده نمیدونم چیکار کنم والا
    ممنون میشم کمکم کنید

    • وبسیما
      WEBSIMA
      05/11/2015

      سلام
      وقتی DNS ارور میده یعنی مشکل از سرور و تنظیمات اون هست. باید شرکت ارائه دهنده هاست تماس بگیرید

  • اپکس
    04/11/2015

    خیلی ممنون از لطف شما

  • آراد
    31/10/2015

    سایت باید راحتی داشته باشد

  • halehafzar
    26/10/2015

    بله متاسفانه هیچ صفحه ی دیگری را نشان نمی دهد البته من تنها یک هفته است که صفحات سایتم را توسط ابزار fetch وب مستر ایندکس کرده ام اما چیزی که برام سوال است این است که چرا این پوشه را ایندکس می کند
    چگونه می توانم دسترسی به این پوشه را محدود کنم؟
    به طور کلی چه پوشه هایی در فایل robot قرار بگیرد بهتر است ؟
    با تشکر

    • وبسیما
      WEBSIMA
      26/10/2015

      سلام
      شما احتمالا دسترسی گوگل به سایت را کلا محدود کردید! یه جای کار رو دارید اشتباه مبکنبد. اگر آدرس سایت رو اعلام کنید بهتر میشه نظر داد.

  • halehafzar
    25/10/2015

    با سلام
    ممنون از پاسخگوییتون
    علت اینکه میخواهم wp-content را در robot.txt قرار دهم این است که هنگامی که برای بررسی ایندکس شدن یکی از وب سایت هایم عبارت site:نام دامنه را سرچ میکنم تنها این پوشه را به عنوان ایندکس شده نشان می دهد . که این از نظر امنیتی جالب نیست . بنظر شما مشکل از چه چیزی می تواند باشد؟
    به طور کلی چه پوشه هایی در فایل robot قرار بگیرد بهتر است ؟
    با تشکر

    • وبسیما
      WEBSIMA
      25/10/2015

      سلام
      یعنی هیچ آدرس دیگری از سایت را شناسایی نمی کند؟ شما باید دسترسی مستقیم به این پوشه را محدود کنید نه اینکه دسترسی گوگل به آن را ببندید. احتمالا مشکلاتی در سایت شما وجود دارد که این فولدر ایندکس میشود.

  • halehafzar
    19/10/2015

    با سلام
    بنده سایتی دارم که با وردپرس نوشته شده است یک سری صفحات وجود دارد که بنده نمیخواهم گوگل آنها را ایندکس کندو در نتایج گوگل نمایش دهدآیااگر آدرس آن صفحات را در این فایل قرار دهم مشکل حل می شود؟
    همچنین برای امنیت بیشتر نمیخواهم به پوشه هایی همچون wp-content دسترسی داشته باشد آیا با قرار دادن آن در این پوشه مشکلی برای ایندکس شدن بقیه صفحات پیش نمی آید؟

    ممنون از سایت بسیار خوبتون

    • وبسیما
      WEBSIMA
      20/10/2015

      سلام
      بهتر است که فولدر wp-content را از دسترس گوگل خارج نکنید. همچنین برای آن صفحات خاص میتوانید از افزونه سئو وردپرس به نام Yoast استفاده کنید که امکان خارج کردن هر برگه یا نوشته از ایندکس گوگل بصورت مجزا و از داخل پنل مدیریت را برای شما فراهم میکند.

  • اسماعیل
    17/10/2015

    سلام
    امروز یه پیام از طرف گوگل اومد با این محتوا
    http://uupload.ir/files/dp0p_firefox_screenshot_2015-10-13t20-32-47.152z.png
    زیاد متوجه مشکل نشدم
    ممنون میشم راهنمایی کنید

    • وبسیما
      WEBSIMA
      17/10/2015

      سلام
      طی 24 ساعت گدشته گوگل چندین بار تلاش کرده که به سایت شما سر بزنه ولی موفق نشده، سایت شما توی این مدت خارج از دسترس بوده؟ با پیشتیبانی هاست تماس بگیرید و دلیلش رو بپرسید.

  • محمد علی
    14/10/2015

    با سلام
    علت دریافت Status : Temporarily unreachable در قسمت Fetch as Google هنگام Fetch یک آدرس چیست ؟

    با تشکر فراوان

    • وبسیما
      WEBSIMA
      15/10/2015

      سلام
      یعنی چنین آدرسی وجود ندارد، احتمالا شما آدرس را اشتباه وارد می کنید. مقاله ابزار Fetch and render را مطالعه کنید تا پاسخ خود را دریافت کنید.

  • محمد علی
    14/10/2015

    با سلام
    همان طور که مستحضرید ، در سرویس جدید گوگل وب مستر ( سرچ کنسول ) ، دیگر آیتم Blocked urls وجود ندارد.
    بنابراین بهتر است در متن این پست این نکته را نیز ذکر بفرمایید و اگر این ویژگی جایگزینی در ویرایش جدید سرچ کنسول دارد ، معرفی گردد.
    با تشکر

    • وبسیما
      WEBSIMA
      15/10/2015

      سلام دوست عزیز
      ماین مقاله رو آپدیت نکردیم ولی بخش جدید گوگل رو در مقاله ای مجزا معرفی کردیم که با نام آموزش Blocked Resources در سایت موجود است.

  • mehran
    08/10/2015

    سلام
    من از وردپرس استفاده میکنم
    سایتم به مدت یک روز از طرف هاست قطع بود
    و با این خطا روبرو شدم
    لطفا راهنمایی کنید
    باتشکر
    ***

    • وبسیما
      WEBSIMA
      08/10/2015

      سلام
      پیام مربوط به همون قطعی یک روزه میشه، به شما اطلاع داده که دسترسی به سایت امکان پذیر نبوده برای چند ساعت

      • mehran
        10/10/2015

        سلام
        مرسی از سیستم پاسخگویی سریع و عالیتون
        همچنان پس از گذشت 10 روز از رفع مشکل قطعی یک روزه سایت
        در وبمستر تولز قسمت crawl errors – robots.txt fetch همچنان علامت تعجب زرد رنگ باقی مانده
        آیا مشکلی سایتو تهدید میکنه یا به مرور زمان رفع خواهد شد؟
        راه حل چیه؟

        • وبسیما
          WEBSIMA
          10/10/2015

          سلام
          خواهش میکنم دوست عزیز
          مشکلی نیست اگر دوباره قطع نشه بعد از چند روز به شرایط عادی برمیگرده.

        • mehran
          13/10/2015

          سلام
          من بعد از اون رفع مشکل ارور زرد رنگ robots.txt fetch و در دسترس نبودنش
          متاسفانه یکی دو روز اوکی بود همه چی
          که مجددا وبمستر این دفعه این ارور رو میده !!!! و کلن قرمز شده و robots.txt tester هیچی نشون نمیده و هیچی هم نمیتونم وارد کنم
          robots.tst tester
          robots.txt fetch failed
          You have a robots.txt file that we are currently unable to fetch. In such cases we stop crawling your site until we get hold of a robots.txt, or fall back to the last known good robots.txt file.
          llk,lممنون میشم اگه منو راهنمایی کنید

        • وبسیما
          WEBSIMA
          15/10/2015

          سلام یک فایل با همین اسم روی سرور بسازید و مطابق آموزش مقاله محتویات داخلش رو تکمیل کنید.

        • mehran
          18/10/2015

          سلام من یک فایل به همون اسم رو سرور ساختم
          ولی گوگل دیگه هیچ لینکی رو از سایت fetch نمیکنه و ارور Temporarily unreachable رو میده
          به هاست تیکت زدم گفت شاید در اون زمان سایت از ip خارج در دسترس نبوده ولی گفت الان هیچ مشکلی نیست
          الان 15 روزه که من این مشکل رو دارم و هیچ راه حل کارآمدی پیدا نکردم !!!
          Over the last 24 hours, Googlebot encountered 2 errors while attempting to access your robots.txt. To ensure that we didn’t crawl any pages listed in that file, we postponed our crawl. Your site’s overall robots.txt error rate is 100.0%.
          You can see more details about these errors in Webmaster Tools.
          Recommended action
          If the site error rate is 100%:
          Using a web browser, attempt to access http://kharkeyf.com/robots.txt. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.
          If your robots.txt is a static page, verify that your web service has proper permissions to access the file.
          If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.

        • وبسیما
          WEBSIMA
          20/10/2015

          سلام
          همونطور که خودش گفته وقتی شما فایل رو بصورت مستقیم دسترسی دارید یعنی مشکلی نیست، حالا اگر گوگل بهش دسترسی نداره یعنی دسترسی ربات گوگل به سایت شما محدود شده است. گفته که فایروال و تنظیمات سرور رو بازبینی کنید.

  • محمد
    05/09/2015

    سلام
    ببخشید من یه سوال داشتم شاید یکم بی ربط باشه
    استفاده از رباتهای بازدید کننده از سایت برای بهبود سایت در نتایج گوگل چقدر مفیده؟
    ممنون میشم اگه راهنمایی کنید

    • وبسیما
      WEBSIMA
      05/09/2015

      سلام
      هیچی، اگر منفی نباشه مثبت نیست

  • محمد احمدی اکبری
    22/07/2015

    ممنون از راهنمایی های شما و ممنون از وبسایت بسیار زیبای شما

    • وبسیما
      WEBSIMA
      23/07/2015

      خواهش میکنم دوست عزیز، موفق باشید

  • مصی
    12/06/2015

    سلام . من سایتم قبلا دست یه نفر دیگه بوده … اون طرف یه کاری کرده که دیگه سایت داخل گوگل سرچ نمیشه …. نمیدونم چی کار کرده ..
    راهنمایی کنید برای حل این مشکل ….
    ممنون

    • وب سیما
      13/06/2015

      سلام
      بدون ادرس سایت چه کاری میتونم انجام بدم؟!

      • مصی
        13/06/2015

        سلام ببخشید ….
        http://www.bsbmu.ir

        • وب سیما
          14/06/2015

          کسی کار خاصی نکرده! گوگل صفحات شما رو پیدا میکنه و ایندکس هم کرده. فقط برای عبارت خاصی در جستجو به کاربران پیشنهاد نمیده! دلیلش هم اینه که سایت شما استانداردها و اصول سئو و بهینه سازی رو به هیچ عنوان رعایت نکرده. بعنوان مثال کافیه که توی سایت GTmetrix یک گزارش از عملکرد سایتتون بگیرید و مشاهده کنید که چه وضعیت نامناسبی داره.

        • مصی
          17/06/2015

          پس علت این که وقتی من عنوان فارسی سایت رو داخل گوگل سرچ میکنم و هیچ نتیجه ای از سایت من نمیاد عدم رعایت اصول سئو است؟
          اگر علت دیگه ای داره لطفا راهنمایی کنید….

        • وب سیما
          18/06/2015

          بله دقیقا.

        • مصی
          22/06/2015

          سلام . خسته نباشد
          پیشنهاد شما برای سئو کردن سایت و همچنین بالا بردن سرعت سایت چیست ؟
          ایا استفاده از افزونه WordPress SEO خوب است ؟

        • وب سیما
          22/06/2015

          سلام
          سوالتون خیلی کلی بنظر میرسه، برای هردوشون توی مقالات وبسیما آموزش های کاملی هست. بطور کلی این افزونه خوبه ولی اگر که درست استفاده بشه. سبز شدن چراغش به معنی درست سئو کردن صفحه نیست! باید اصولی این کار انجام بشه.

  • نیما
    22/05/2015

    ممنون از مطلب مفیدتون من میخواستم سایت برای بعضی از کلمات گوگل سایت رو بالا نیاره.من برای مشتری سایتی درست کردم که بهینه برای موتور ها است اون موقع از مشتری هزینه برای بهینه سازی درخواست کردم نداد .ولی من سایت را از اول درست کرده بودم . الان برای بعضی از کلمات سایت بالا اومده و اون کلمه ای که من نمیخواستم از سایت خود من زده بالا یه کدی میخواستم که گوگل برای اون کلمه سایت رو بالا نیاره ممنون میشم

    • وب سیما
      23/05/2015

      سلام
      روشی برای این کار وجود نداره! البته من به شما پیشنهاد میکنم که این کار رو نکنید و با قویتر کردن خودتون جایگاه رو پس بگیرید نه با تضعیف دیگران

  • عبدالهی پور
    11/05/2015

    1-سلام دوست عزیز لطفاً بهترین افزونه امنیتی وردپرس را معرفی کنید و آیا به نظر شما استفاده از این جور افزونه ها مفیده؟
    دوست عزیز شما که خودتون از کاربران وردپرس هستین بهترنیست یه مقدار هم فعالیت روی مقاله های تخصصی وردپرس انجام بدید؟؟؟
    باتشکر
    خدانگهدار

    • وب سیما
      17/05/2015

      سلام
      سایت مدرسه وردپرس تحت نظر وبسیما و در جهت آموزش بهتر وردپرس طراحی و راه اندازی شده است. شما میتونید به اون سایت مراجعه کنید و سوالات و نظرات خودتون رو بیان کنید.
      همچنین سایت مبتدی در زمینه آموزش php و بخش آموزش گوگل وبمستر هم از دیگر خدمات رایگان وبسیما هستند.
      از نظر من بهترین افزونه IT Security است.

  • صبا
    11/04/2015

    سپاسگزارم مشکل من با fetch as google حل شد

  • صبا
    11/04/2015

    عذرخواهی میکنم که منظورم رو بد بیان کردم متاسفانه به اشتباه از مشخصه noindex در متاتگ robots استفاده کردم و اسایت من در سرچ گوگل ناپدید گردید با حذف این تگ آیا دوباره سایت من مثل قبل در گوگل دیده خواهد شد؟ از ابزار fetch از گوگل برای صفحات اصلی سایت استفاده کردم

    • وب سیما
      11/04/2015

      سلام، بله با همین روش مشکل برطرف میشه

  • هومن نورمحمدی
    25/03/2015

    عالی بود با اینکه سایت من در صفحه اول گوگل است ولی این مطلب خیلی بدردم خورد

    • صبا
      11/04/2015

      باز هم ممنون به خاطر مطالب خوبتون
      برای سایت من یه مشکلی پیش اومده و از دو روز پیش که اشتباهی تگ در مسترپیج بود و آپلود شد سایت در سرچ گوگل دیده نمیشه .
      من مجدد sitemap رو آپلود کردم و تگ فوق رو اصلاح کردم چه راه هایی وجود داره که سریعتر به حالت قبل در سرچ گوگل برگرده؟
      سپاسگزارم

      • صبا
        11/04/2015

        ببخشید این خط کد من نمایش داده نشد.
        منظورم تگ noindex در مسترپپیج هست

        • وب سیما
          11/04/2015

          ببخشید منظورتون رو از مسترپیج متوجه نمیشم، دقیقا کد کجا نمایش داده نمیشه؟

      • وب سیما
        11/04/2015

        خواهش میکنم، شما میتونید از ابزار fetch as google در وبمستر تولز استفاده کنید.

  • سایت تفریحی
    25/03/2015

    سلام عالی بود ممنون اما میشه بهم توو یک فایل تکست کدهای روبوت تکست رو بدید بذارم توو بخش روبوت تکست گوگل وبمستر؟؟برام ایمیل کنید لطفا ممنون

  • mortaza
    23/02/2015

    سلام استاد فکر نمی کنید که فایل روبات تکست خودتون ناقصه!(سواله بر نخوره بهتون!)

    • وب سیما
      24/02/2015

      سلام
      نه! برای وردپرس تا همین حد کافیه و نیاز به دستورهای اضافی نیست. قرار نیست این فایل همیشه شلوغ باشه و اگر هدف گذاری خاصی دارید باید تغییرش بدید. در حالت عادی خیلی باهاش کاری نداریم.

  • مهرزاد
    27/01/2015

    سلام. من یه سایت دارم که خودش روبات داره و داده ها رو می گیره. این صفحم با اینکه صفحه اصلیم هست اصلااا بازدید نداره ولی صفحه ی اخبارم که روبات نداره خیلی بازدید داره.میشه توضیح بدین؟
    http://www.mihannerkh.ir (دارای روبات و بازدید کم درحد 10 یا 20 تا)
    http://www.mihannerkh.ir/news(بدون روبات و سیستم دستی بازدید حدود 800 تا در روز)

    • وب سیما
      27/01/2015

      سلام
      کلا این دوتا صفحه رو چرا با هم مقایسه میکنید؟! یکی پر از مطلب و نوشته و دیگری یک صفحه ثابت با محتوای ثابت که فقط عددهاش داره کمی تغییر میکنه.
      بعد این روباتی که شما دارید با این روباتی که توی این مقاله توضیح داده شده کاملا متفاوته و دو موضوع جدای از هم هستن

  • نیما
    13/01/2015

    واقعا کار این قسمت را هیچوقت نمیدونستم . منظورم وبمستر تولز بود

    • وب سیما
      13/01/2015

      سلام دوست عزیز، پیشنهاد میکنم به بخش آموزش وبمستر تولز هم سری بزنید میتونه براتون جالب باشه.

  • davood
    02/01/2015

    سلام
    یه سوالی داشتم ، اگه صفحات سایت ما روبات رو ننوشته باشه توی گوگل ایندکس میشه؟ یا حتما باید توی سورس صفحه نشان داده شه
    مثال توی صفحه خودم :فقط اینو نشون میده

    <meta name="keywords" content="—-

    ولی متا روبوت رو نشون نمیده ، لازم هست که حتما نشون بده؟
    ممنون

    • وب سیما
      03/01/2015

      سلام
      نه ضرورتی نداره، شما وقتی که بخواهید از روبات مخفی بشه از این کدها استفاده میکنید و در حالت پیش فرض گوگل تمام صفحات را دسترسی خواهد داشت.

  • امین
    15/11/2014

    عالی. ممنون که جواب گو هستید.

    • وب سیما
      15/11/2014

      خواهش میکنم دوست عزیز، موفق و پایدار باشید.

  • امین
    14/11/2014

    خب الان روبوتکست من اینه :
    http://enterpc.ir/robots.txt
    میشه چک کنید ببینید درست نوشته شده یا نه ؟ ممنون میشم.

    • وب سیما
      15/11/2014

      چیز خاصی که توش نیست! ولی خب بنظرم مشکلی هم نداره. البته با توجه به استفاده ی شما از وردپرس اصلا نیازی به ساخت این فایل ندارید و خود وردپرس فایل رو بصورت مجازی میسازه

  • سیامک
    08/11/2014

    بله درسته کاملا درست میگید. از دیروز خداروشکر درست شد
    بی نهایت سپاسگزارم

    • وب سیما
      08/11/2014

      خواهش میکنم دوست عزیز موفق و پایدار باشید

  • سیامک
    06/11/2014

    سلام وبسمیا
    اقا خیلی به کمکتون نیاز دارم
    تو وبمستر همه وبلاگهام یه پیامی با این مظمون اومده:
    Googlebot can’t access your site –
    و توضیحاتش
    Over the last 24 hours, Googlebot encountered 17 errors while attempting to access your robots.txt. To ensure that we didn’t crawl any pages listed in that file, we postponed our crawl. Your site’s overall robots.txt error rate is 100.0%.
    نمیدونم چرا از دیروز اینطور شده.
    باورتون نمیشه ولی بازدیدی هم از گوگل تقریبا میشه گفت ندارم
    خواهش میکنم راهنماییم کنید تنها سایتی که میتونم جواب بگیرم شمایید.چون قبلا نتیجه اش رو دیدم
    تورو خدا فقط لطفا زودتر راهنماییم کنید
    مرسی

    • وب سیما
      07/11/2014

      سلام دوست عزیز
      معمولا وقتایی این مشکل پیش میاد که سرور شما در دسترس نباشه، ولی با توجه به اینکه شما وبلاگ دارید و سرور اصلی مال میهن بلاگ است این اتفاق خیلی عجیبه!
      طی دو سه روز اخیر چندین شکایت مشابه از سرویس دهی میهن بلاگ دریافت کردیم، بنظرم اگر چند روز صبر کنید مشکلات سرورهاشون رو حل میکنن.

  • محمد طبرسی
    25/10/2014

    سلام با توجه به اینکه دوستمون در مورد وبلاگ رز بلاگ توضیح داد منم همون مشکل رو دارم نمیدونم باید چیکار کنم
    چه جوری تموم اون ساب دامینها رو به یک دامنه انتقال بدم؟؟؟

    • وب سیما
      25/10/2014

      این سیستم رزبلاگ مثل اینکه مشکلات زیادی برای کاربرانش ایجاد کرده، شاید اگر به خودشون اطلاع رسانی کنید یه کاری انجام بدن. من تا حالا سیستم کدنویسی داخلی و طراحی قالبش رو ندیدم و نمیدونم چقدر دست کاربر برای تغییرات باز گذاشته شده. ولی بطور حتم این مشکل از طرف خودشون باید به راحتی حل بشه

  • ehsan
    26/09/2014

    سلام من سایتم اصلا این قسمت براش خالیه بهترین کدی که میتونم بزارم داخلش چی هست؟

    • وب سیما
      27/09/2014

      سلام، بستگی به سایتتون داره، اگر آشنایی ندارید همون خالی باشه بهتره

  • باران
    07/09/2014

    Url blocked by robots.txt.
    Sitemap contains urls which are blocked by robots.txt.

    سلام.من در گوگل مپ در قسمت نقشه این warning را دریافت کرده ام…یعنی چی ؟ روبوت تکستمم چیز خاصی نداره…و اینه :البته اسم سایت رو عوض کردم اینجا..
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /cgi-bin/
    Disallow: /wp-content/plugins/
    Sitemap: http://example.com/sitemap_index.xml

    حالا نظر شما چیه ؟

  • يك مدا
    13/07/2014

    سلام
    من سايت جديدي رو بالا اوردم كه بيشتر مطالبش عكس هست يكي از دوستانم براي ايندكس بهتر تصاوير سايت توصيه كردن اين كد رو در ربوت تكست قرار بدم
    User-agent: Googlebot-Image
    Allow: /

    بعد گذاشتن اين كد گوگل وبمستر اين خطا رو نشون ميده
    http://1moda.ir/: Googlebot can’t access your site

    الان بايد چي كار كنم كه اين خطا رفع بشه؟

    خيلي ممنون ميشم راهنماييم كنيد

    • وب سیما
      14/07/2014

      سلام دوست عزیز
      این دستور بصورت پیش فرض هست و نیازی به نوشتنش ندارید، این کد نمیتونه دلیل عدم دسترسی گوگل به سایت شما باشه، احتمالا تغییرات دیگه ای دادید یا مشکل سروری داشتید. به هر حال اون کد رو حذف کنید.

  • دستگاه پخت نان سنگک
    06/07/2014

    مرسی عالی بود

  • علي
    24/05/2014

    با سلام
    با توجه به دستور
    Disallow: /wp-content
    در وردپس ،پوشه هاي عكس ها جستجو نمي شود،حال براي جستجوي عكس ها و نمايش آنها در موتور جستجوي عكس گوگل بايد چه دستوري نوشت تا عكس ها در گوگل به نمايش در بيايند
    در ضمن افزونه ،افاضه كردن خودكار (alt) به عكس ها نصب و فعال مي باشد

    • وب سیما
      25/05/2014

      سلام دوست عزیز
      چرا باید از همچین دستوری استفاده کنید؟! فقط پوشه های wp-admin و wp-includes رو توی فایل روبات خودتون قرار بدید. دلیلی نداره که wp-content رو هم وارد کنید. اگر هم اصرار به این کار دارید میتونید فولدرها رو مجزا معرفی کنید. مثل /wp-content/themes

  • m
    30/03/2014

    نه با زدن site:www.site.ir تو گوگل پست هام میاد نه با کپی کردن کامل عنوان پست ها.بعدش خود وبمستر گوگل زده 30 تا پست ایندکس شده الان 2 هفتس اینطوریه.100 درصد یه مشکلی هست که نمیدونم چیه…

    اما در مورد اون قسمت که پیشنهاد شغل دائم ما به شما:حرف شما درسته که تو یه صفحه جدا باید بزارمش ملی من اونو برای نسبت متن به کد گذاشتم چون تو صفحه اول چیز زیادی نوشته نشده و نسبت مت به کد رعایت نشده.
    بنظرتون خوبه که اونو از قسمت ادامه مطلب پستها پاک کنم فقط تو صفحه اصلی باشه یا کلا پاک کنم تو یه صفحه جدا بزارم.اخه اینطوری نمیدونم تو صفحه اصلی چی بنویسم که با اون کارم بتونم text ratio رو رعایت کنم

    • وب سیما
      30/03/2014

      اون نسبت متن به کد باید رعایت بشه ولی با مطلبی که به موضوع صفحه هم مربوط بشه. اگر فقط توی صفحه اصلی باشه مشکلی نداره ولی تو صفحه داخلی ها مشکل ایجاد میکنه.
      وبمستر همیشه امارش ار واقعیت عقبه و اوایل کار یک سایت بصورت روزانه اطلاعات رو آپدیت نمیکنه. د رحال حاضر بنظرم مشکل ایندکس ندارید شماو مهم اینه که توی کلمات مورد نظرتون جایگاه خوبی پیدا کنید.

  • m
    30/03/2014

    همچنان وبلاگ من مشکل ایندکس داره حدود 20 پست اخیری که گذاشتمو گوگل طی 3 هفته قبل تا الان ایندکس نکرده.آیا ممکنه از robots.txt باشه.تو رزبلاگ جدیدا امکانی اضافه شده که اختیار کامل به کاربرو میده تا robots.txt رو دستکاری کنه.بنظرتون مشکل از چیه ؟
    هر کاری رو این وبلاگ انجام دادم ولی ایندکس نمیشه.CDN وصل کردم.محتوای تکراری به هیچ وجه تولید نکردم.80 درصد پست هامو خودم تایپ کردم.عنوان خوب و پیوند یکتای کوتاه و مناسب برای پستها گذاشتم.سرعت لودینگ رو بالا بردم برای عکس های آلت و سایز تعریف کردم.ارور های w3 رو به یکی کاهش دادم.تو گوگل وبمستر ثبت کردم وبلاگو سایتمپو معرفی کردم تو شبکه های اجتماعی فعالیت دارم میکنم.حتی بیشتر پست ها رو تو گوگل فتچ کردم.ولی بعد 2 هفته یه چندتایی بیشتر ایندکس نشده.

    اگر در توانتونه یه نگاهی بندازید ببینید مشکل چیه.

    ضمنا بنظرتون آیا این سایت خوبیست ؟ http://seositecheckup.com
    فاکتور های فوق العاده زیادی رو اندازه گیری میکنه تا نمره آنالیز یک سایت رو در نظر بگیره…حتی فاکتور هایی بیشتر از woorank

    • وب سیما
      30/03/2014

      به جز 3 تای آخر، بقیه ایندکس شده بود ولی با زدن آدرس نتونستم پیداشون کنم، با جستجوی دقیق عنوان دوم هر مطلب پیداش کردم توی گوگل!
      حتی اکانت گوگل پلاس شما رو هم شناخته. فقط یه نکته اینکه اون بخش “پیشنهاد شغل دائم ما به شما” رو از زیر صفحات حذف کنید. یه متن به این طولانی نباید توی همه صفحات تکرار بشه. براش یک صفحه مجزا بسازید و لینکش رو توی صفحات قرار بدید. تراکم کلمات کلیدی شما توی صفحه کم میشه اینجوری.

      اون سایت رو هم چک کردم، یک سری ایرادات داشت ولی در کل کامل و قوی بنظر میرسه.

  • M
    29/01/2014

    یه سری میگن باید لینک روبات سایت رو تو سایت لینک کنی اینجوری گوگل راحت تر میتونه صفحات رو برسی کنه راسته بنظرتون؟

    • وب سیما
      29/01/2014

      نیازی به این کار نیست! خودش میفهمه و پیدا میکنه

  • M
    20/01/2014

    وبسیمای عزیز.من یه وب دارم ولی چندین آدرس دارم.اون ساب دامین ها مخصوص رزبلاگ هست که کاربرا بر اساس سلیقشون یکی رو انتخاب کنن.و من دامنه Ir رو که خریدم به همشون ترجیح دادم.در مورد کدی که گفتین پیداش کردم
    جالبش اینجاس تو وبم بود کدش و من آدرس رو فقط تغییر دادم و روی دامنه ای که میخواستم گذاشتم.مقالشم تو نت خوندم.الان یعنی درست انجام دادم؟چون من تست میکنم ریدایرکت نمیشه رو اصلی.یا مدلش اینجوریه که گوگل میتونه بفهمه که اون آدرس اصلیمه و بقیه آدرسا ایندکس نمیشن.میشه شما یه سر بزنین از سورس کد نگا کنین ببینین مشکلی داره یا نه؟
    واقعا ممنونتونم حرف ندارید شما

    • وب سیما
      20/01/2014

      همین که اون کد توی صفحه باشه و آدرس اصلی مطلب رو معرفی بکنه کافیه برای گوگل. این روش با توجه به اینکه شما امکان ریدایرکت رو نداشتید بهترین راهه و برای روبات های گوگل کاملا قابل درک.

  • M
    19/01/2014

    فوق العاده بود.سلام همینطور که میدونید رزبلاگ خودش دارای دامنه های زیادی هست حدودا ۵ ساب دامین داره.
    site.rozblog.com
    site.rozfa.com
    site.rozfa.ir
    site.rzb.ir
    site.r98.ir
    منم یه دامنه ir خریدم براش بعدش تک تک اینا رو من به گوگل معرفی کردم قدیما بدون www الان که نگا میکن ۶ دامنه بدون www ایندکس شده و ۶ دامنه با www ایندکس شده در گوگل دارم که سر جمع میشه ۱۲ تا که این خودش محتوای تکراری حساب میشه.یعنی فاتحه هی میبینم ایندکس نمیشه.ما که دسترسی به فایل Robots.txt نداریم چه کاری میتونیم بکنیم که فقط یک دامنه داشته باشیم بدون www بقیه از دید گوگل خارج شه.یا ردایرکت شه همه رو ir .ضمنا من مقاله “ثبت دامنه اصلی سایت” رو خوندم انجام هم دادم طبق روشتون نتیجه نگرفتم.آیا کدی هست اصولی که از لحاظ گوگل به وب لطمه نزنه ؟

    • وب سیما
      19/01/2014

      من با سیستم رزبلاگ کار نکردم ولی شما میتونید از تگ re=”canonical” استفاده کنید و همه رو به یک دامنه اصلی وابسته کنید. اینجوری محتوای صفحات تکراری نمیشه و آدرس ها متفاوت میشن.
      البته من نمیدونم دلیل شما از داشتن این همه وبلاگ چیه! چرا فقط یکی رو مدیریت نمی کنید؟

      • محمد طبرسی
        25/10/2014

        سلام نحوه ی کار با این کد چه جوریه؟؟؟؟؟جواب میده؟؟

        • وب سیما
          25/10/2014

          سلام، بله جواب میده ولی باید کمی کدنویسی هم بلد باشید، اگر نحوه کار صحیحش رو نمیدونید پیشنهاد میکنم که این کار رو انجام ندید!

  • نیما
    06/01/2014

    سلام
    از کاربران رزبلاگ هستم.وبسایتم هم با www و هم بدون www باز میشه
    ازتون درخواست کد باز کردن سایت با www رو دارم(دایرکت) اگر ممکنه یک کدی که در رزبلاگ کار کنه و همین طور هنگام انتقال از حالت بدون www به حالت www ، بیننده وقفه و زمانی رو احساس نکنه دارم
    با تشکر فراوان از شما

    • وب سیما
      07/01/2014

      سلام دوست عزیز، متاسفانه این کد رو باید در فایل هایی قرار بدید که نیاز به دسترسی به هاست دارن ولی سیستم های وبلاگی مثل رزبلاگ بعید میدونم همچین قابلیتی رو به کاربران خودشون بدن.

  • کوتاه کننده لینک
    27/12/2013

    ممنون.

    • وب سیما
      28/12/2013

      خواهش میکنم

  • احسان
    08/11/2013

    با سلام و درود
    ممنون از راهنمایی های بسیار مفید و سازنده تون
    چند وقتی هستش که من میخام محتوای صفحاتی که دارای فایلهای docxجهت دانلود هستند و آدرس اونها بضورت داینامیک تولید میشه رو از دید روباتها مخفی کنم.اما موفق نمیشم
    سپاسگزار میشم راهنماییم کنید.
    باعرض معذرت من این سوال رو اشتباها در قسمت سایت مپ نوشتم که همین جا به حاطرش پوزش میخام

    • وب سیما
      09/11/2013

      سلام دوست عزیز
      روش های زیادی برای این کار وجود دارد ولی برای راهنمایی بهتر باید نحوه آدرس دهی صفحات سایت و خود سایت رو بررسی کنیم. شما از چه سیستم مدیریت محتوایی استفاده میکنید؟

      • احسان
        09/11/2013

        با عرض سلام
        متشکر از جواب سریعتون
        سیستم مدیریت محتوایی که ما استفاده میکنیم رو برنامه نویس نوشته و مثل مدیریت محتواهای وردپرس و جوملا و امثالهم نیست.
        آدرس سایت:www.ferdowsigroup.com
        قسمت مرکز دانلود بدلیل اینکه گوگل محتوای فایلهای docxرو میخونه میخاستم اونارو از دید گوگل بات مخفی کنم.

        • وب سیما
          09/11/2013

          همانطور که در مقاله نیز اشاره شده شما میتوانید یک پسوند خاص را از دید گوگل پنهان کنید. در مثال مقاله فایل gif مثال زده شده و شما میتوانید آن را به docx یا هر پسوند دیگری تغییر دهید تا توسط گوگل ایندکس نشود.

          User-agent: Googlebot
          Disallow: /*.gif$

  • طراحی سایت
    02/10/2013

    جالب بود .ممنون از شما

  • سریال دانلود
    01/10/2013

    عالی بود متشکر…
    راستی اگر صفحه اصلی سایت با استفاده از تک noindex استفاده بشه چه اتفاقی میافته؟
    کلا سایت در گوگل ایندکس نمیشه؟
    حتی صفحه اول؟

    • وب سیما
      01/10/2013

      خواهش میکنم دوست عزیز.
      هر صفحه از سایت هویت مستقلی داره و اگر تگ noindex رو در صفحه اصلی سایت بکار ببرید فقط همون صفحه ایندکس نمیشه ولی اگر در تمام صفحات قرار بگیره هیج صفحه ای از سایت شما ایندکس نمیشه

  • قالب وردپرس
    30/09/2013

    جالب بود ممنون…

مشاهده همه