שליטה על הרובוט של גוגל

ממש כמו מכונית על שלט או הטלוויזיה בסלון הבית שלכם כך גם עובד הרובוט של גוגל, גוגל היא טכנולוגיה המפעילה מליוני רובוטים קטנים הנשלחים כמעט לכל אתר אינטרנט הקיים ברשת.
אותם רובוטים סורקים את הרשת באופן יומיומי, את התכנים את העמודים הפנימיים ואת המצב הטכני של האתר, ועל פי כך קובעת את דירוג האתרים.
אך לא תמיד נרצה לאפשר גישה לדפים מסוימים כמו עמודים המכילים אזור אישי או אפילו פרטים המכילים מספרי אשראי וכד'

במאמר הבא נבין האם יש לנו שליטה על חסימות עמודים מסוימים בתוך האתר ואיך ניתן לעשות זאת.

קובץ רובוטס

קובץ רובוטס קיים בכל אתר המכבד את עצמו, הקובץ מורה לרובוטים של גוגל לאיזה עמודים בעלי האתר אפשרו גישה ולאיזה מהם הם לא יוכלו להגיע.
ניתן למצוא האם לאתר יש קובץ רובוטס ואיזה עמודים אינם מורשים לגישה על ידי הקלדת כתובת הדומיין של האתר ולאחר מכן הוספה /robots.txt/ ומיד תועברו לקובץ הרובוטס של האתר.

שליחת קובץ רובוטס לגוגל

אם אתם בעלי אתרים ואין לכם עדיין קובץ רובוטס עדכני לאתר, היכנסו לכלי מנהל האתרים של גוגל או הירשמו במידה ואינכם רשומים עדיין. בדקו האם גוגל מזהה קובץ רובוטס באתר שלכם במידה ולא הכינו קובץ רובוטס חדש בקובץ txt ושלחו אותו דרך הכלי. לחצו כאן למדריך המלא לשימוש בכלי מנהל האתרים.
משתמשי וורדפרס יכולים להוריד תוסף בשם yoast ולעדכן את הקובץ ישירות דרכו.