Robots.txt สำคัญอย่างไร

ใครบอกว่า Robots.txt ไม่สำคัญวันนี้ผมมีคำตอบมาให้ครับ

ก่อนหน้านี้เว็บนี้ปกติแล้วอยู่ดีๆทราฟฟิกหาย Indexed ก็ลดน้อยลง และจากสถิติที่ได้เก็บไว้นั้นมีการเปลี่ยนแปลงเยอะจึงได้หาสาเหตุและก็ได้มาพบกับไฟล์ Robots.txt ที่มีการเปลี่ยนแปลงไป ดูจาก Webmaster Tools Google ครับ

เนื่องจากเว็บมี Robots จากที่ต่างๆ เข้ามา  crawler มากจึงมีการแก้ไขไฟล์ Robots.txt ขึ้นมาแล้วผลออกมาเป็นอย่างรูปที่เห็นครับ

สถิติการรวบรวมข้อมูล
กิจกรรมของ Googlebot ใน 90 วันล่าสุด

gootum_search_chart

จำนวนหน้าที่รวบรวมข้อมูลต่อวัน
สูงสุด           199,194
ค่าเฉลี่ย       81,277
ต่ำสุด           623

gootum_search_chart
จำนวนกิโลไบต์ที่ดาวน์โหลดต่อวัน
สูงสุด            2,335,883
ค่าเฉลี่ย        837,611
ต่ำสุด            3,116

gootum_search_chart
เวลาที่ใช้ในการดาวน์โหลดหนึ่งหน้า (หน่วยหนึ่งในพันของหนึ่งวินาที)
สูงสุด 2,049
ค่าเฉลี่ย 1,322
ต่ำสุด 455

จากกราฟแสดงให้เห็นว่าไฟล์ Robots.txt สำคัญมากมาย เพราะว่าถ้าเราใส่ Robots.txt ผิด หรือว่าใส่ไม่ถูกต้องเว็บคุณนั้นอาจจะกลายเป็นเว็บที่ไม่มีการเข้ามาเก็บ Indexed จาก Search แม้ลิ้งค์เดียวก็เป็นไปได้ อ่าน ความหมาย robots.txt ได้ที่นี่ครับ

กราฟมันตกเพราะว่ามีการแก้ไขไฟล์ไม่ให้เข้ามา crawler  ข้อมูลภายในเว็บหลังจากมีการแก้ไขข้อมูลก็กำลังกลับมาเป็นปกติสังเกตุจากกราฟครับว่าทราฟฟิกต่างๆเริ่มกลับมาแล้ว วิธีการดูว่าเราทำผิดถูกยังไงนั้นดูได้จาก URL ถูกจำกัดโดย robots.txt ‎(601,122)‎  ให้เราดูว่าลิ้งค์ที่ถูกรายงานนั้นมันจำเป็นต้องให้เข้าไหม รึว่าเป็นข้อมูลที่เราไม่อยากให้เข้ามาเก็บ indexed ถ้าหากอยากให้เข้าก็ควรต้องไล่แก้ไขไฟล์ Robots.txt ใหม่ครับ

ข้อดีของการใส่ Robots.txt
– ลดทราฟฟิกของการเข้ามา crawler  ของ Server ได้เพราะจะไม่ทำให้ CPU พึ่งปรี๊ดตลอดเวลา
– ไม่ให้เก็บข้อมูลที่สำคัญของเรา เช่น VDO xxx, file present, etc
– เลือกข้อมูลที่มีคุณภาพในการค้นหาได้ เพื่อเพิ่ม Quality score ให้กับเว็บไซต์เราเอง
– อื่นๆอีกมากมาย

ข้อเสียของการใส่ Robots.txt
– คนอื่นสามารถรู้พาทต่างๆของเว็บเราได้
– คิดไม่ออกล่ะ

จงให้ความสำคัญกับไฟล์ Robots.txt นะครับ ก่อนที่อะไรมันจะสายเกินไป ไม่มี indexed ไม่มีทราฟฟิกแล้วจะเสียใจ ขอให้โชคดี

  • ขอบคุณมากครับ เป็นบทความที่เยี่ยมมากๆเลยครับ

  • ผมว่ามีส่วนมากเลย

    เพราะเห็นบอทมาทีไร เล่น get robots.txt ก่อนพวกเลย

    – -a

  • xomaod

    robots.txt ของเรดิโอ ป่าวหว่า ที่มีปัญหา หุหุ
    แวะมาเยี่ยม จารย์ตั้ม

  • สำคัญจริงๆครับ confirmed!!

    ปล.คุณตั้มผมขอแลกลิงค์กับท่านด้วยนะครับ เพิ่มให้ที่ Blogroll แล้วครับ

  • ผมเจอปัญหาอีกแบบนึงครับ

    คือ index ครบ robot มาเก็บปกติ
    แต่ว่า keyword ทุกตัวตกอันดับไปแบบหาไม่เจอเลยว่าอยู่หน้าไหน
    ค้นแบบ site:Domain ก็พบปกติ

    ค้นหาแบบ keyword พบแต่ใน images.google.com

    ไม่ทราบว่ามีใครเป็นเหมือนกันบ้า่ง

  • ขอบคุณมากครับ ค้นหาเจอกูเกิ้ล ได้ความรู้เพิ่มมากมายเลย

  • ขอบคุณมากๆครับ