รับทำ SEO Blog Blogs บล็อก Blog SEO

ใครบอกว่า Robots.txt ไม่สำคัญวันนี้ผมมีคำตอบมาให้ครับ

ก่อนหน้านี้เว็บนี้ปกติแล้วอยู่ดีๆทราฟฟิกหาย Indexed ก็ลดน้อยลง และจากสถิติที่ได้เก็บไว้นั้นมีการเปลี่ยนแปลงเยอะจึงได้หาสาเหตุและก็ได้มาพบกับไฟล์ Robots.txt ที่มีการเปลี่ยนแปลงไป ดูจาก Webmaster Tools Google ครับ

เนื่องจากเว็บมี Robots จากที่ต่างๆ เข้ามา  crawler มากจึงมีการแก้ไขไฟล์ Robots.txt ขึ้นมาแล้วผลออกมาเป็นอย่างรูปที่เห็นครับ

สถิติการรวบรวมข้อมูล
กิจกรรมของ Googlebot ใน 90 วันล่าสุด

จำนวนกิโลไบต์ที่ดาวน์โหลดต่อวัน
สูงสุด            2,335,883
ค่าเฉลี่ย        837,611
ต่ำสุด            3,116

เวลาที่ใช้ในการดาวน์โหลดหนึ่งหน้า (หน่วยหนึ่งในพันของหนึ่งวินาที)
สูงสุด 2,049
ค่าเฉลี่ย 1,322
ต่ำสุด 455

จากกราฟแสดงให้เห็นว่าไฟล์ Robots.txt สำคัญมากมาย เพราะว่าถ้าเราใส่ Robots.txt ผิด หรือว่าใส่ไม่ถูกต้องเว็บคุณนั้นอาจจะกลายเป็นเว็บที่ไม่มีการเข้ามาเก็บ Indexed จาก Search แม้ลิ้งค์เดียวก็เป็นไปได้ อ่าน ความหมาย robots.txt ได้ที่นี่ครับ

กราฟมันตกเพราะว่ามีการแก้ไขไฟล์ไม่ให้เข้ามา crawler  ข้อมูลภายในเว็บหลังจากมีการแก้ไขข้อมูลก็กำลังกลับมาเป็นปกติสังเกตุจากกราฟครับว่าทราฟฟิกต่างๆเริ่มกลับมาแล้ว วิธีการดูว่าเราทำผิดถูกยังไงนั้นดูได้จาก URL ถูกจำกัดโดย robots.txt ‎(601,122)‎  ให้เราดูว่าลิ้งค์ที่ถูกรายงานนั้นมันจำเป็นต้องให้เข้าไหม รึว่าเป็นข้อมูลที่เราไม่อยากให้เข้ามาเก็บ indexed ถ้าหากอยากให้เข้าก็ควรต้องไล่แก้ไขไฟล์ Robots.txt ใหม่ครับ

ข้อดีของการใส่ Robots.txt
- ลดทราฟฟิกของการเข้ามา crawler  ของ Server ได้เพราะจะไม่ทำให้ CPU พึ่งปรี๊ดตลอดเวลา
- ไม่ให้เก็บข้อมูลที่สำคัญของเรา เช่น VDO xxx, file present, etc
- เลือกข้อมูลที่มีคุณภาพในการค้นหาได้ เพื่อเพิ่ม Quality score ให้กับเว็บไซต์เราเอง
- อื่นๆอีกมากมาย

ข้อเสียของการใส่ Robots.txt
- คนอื่นสามารถรู้พาทต่างๆของเว็บเราได้
- คิดไม่ออกล่ะ

จงให้ความสำคัญกับไฟล์ Robots.txt นะครับ ก่อนที่อะไรมันจะสายเกินไป ไม่มี indexed ไม่มีทราฟฟิกแล้วจะเสียใจ ขอให้โชคดี