ซื้อขายรถยนต์มือสอง

ความหมาย robots.txt

May 28th, 2007 Posted by Gootum | 18 Comments

blog.gootum.com/seo-blog/robotstxt”>ความหมาย robots.txt


การกำหนดวิธีที่ป้องกันไม่ให้ spider หรือ bot เข้ามาเก็บหน้าเว็บเพจต้องห้ามของเรา Spider หรือ Bot เป็นโปรแกรมของ Search Engine ที่ทำตัวเป็นนักค้นหาและท่องเว็บจากนั้นจะทำการบอกให้ ระบบ Search Engine Database ว่าควรเก็บหน้าเว็บเพจนั้นไว้หรือไม่
robots.txt เป็น fileที่บอก Search engine ว่า ” ไม่ต้องมาเก็บเว็บไซต์ของฉัน หรือหน้าเว็บบางหน้า หรือไฟล์บางไฟล์ โรบอต (Robot) เป็นโปรแกรมเก็บข้อมูลในอินเตอร์เน็ต ซึ่งบางครั้ง เรียกว่าสไปเดอร์ (Spider) หรือ ครอว์เลอร์(Crawler) จะทําหน้าที่รวบรวมไฟล์ HTML
เพื่อมาเป็นข้อมูล สําหรับสร้างดัชนีค้นหา ให้กับ เสิร์จเอ็นจิน (Search Engine) โดยทั่วไปแล้ว โรบอตจะกลับมาที่เว็บไซต์ที่อ่านไปแล้ว เพื่อตรวจสอบ การเปลี่ยนแปลง ตามระยะเวลาที่กําหนด

ดังนั้นเราต้องสร้างไฟล์ robots.txt ขึ้นมา เพื่อกำหนดว่าจะให้ Robot เข้าไปยังโฟลเดอร์ไหนได้บ้าง เราสามารถกำหนดได้ ข้อดีของมันคือ ยกตัวอย่างเช่น คุณมีไฟล์รูป xxx แล้วดันไปอัพในโฟลเดอร์ xxx/test.jpeg หากคุณไม่ซ่อน Robot ไว้รับรองได้เป็นดาราในเนตแน่นอนครับ ดังนั้นเราต้องมีอะไรที่ไม่ให้บอทมันวิ่งมาเก็บไฟล์ในโฟลเดอร์นี้เป็นต้น หากถามว่าทำไมต้องอัพ xxx ขึ้นไป อันนี้ผมยกตัวอย่าง อิอิ(อย่าอยากรู้นักเลยนะ เหอะๆ)

robots.txtจะต้องนำมาวางไว้ที่ Root Directory (ไดเรกเทอรี่เริ่มต้นของเวบไซค์)

ตัวอย่างไฟล์ robots.txt
# Robots Fixed
# Design For Gootum
# http://www.Gootum.com
# Contact gootum@live.com

User-agent: *
Disallow: /xxx/
Disallow: /pic/
Disallow: /images/

ความหมาย และคําอธิบาย

# Robots Fixed
# Design For Gootum
# http://www.Gootum.com
# Contact gootum@live.com

ปิดกั้นด้วย # เป็นคําอธิบาย (comment) เพื่อให้ Spider ไม่สนใจข้อความในบรรทัดนี้
จากตัวอย่างคือไม่ให้ Robot เข้าไปเก็บข้อมูลที่โฟลเดอร์
/xxx/
/pic/
/images/

User-agent : webcrawler
Disallow :
อนุญาตให้ webcrawler ทําดัชนีได้โดยไม่มีข้อกําหนด

User-agent : lycra
Disallow : /
ไม่อนุญาตให้ lycra ทําดัชนีที่ Server นี้ โดยปิดกั้นด้วย /

User-agent: *
Disallow:

หากแบบนี้คืออนุญาตทั้งหมดครับดูตัวอย่างได้ที่ http://blog.gootum.com/robots.txt

Posted in Blog Blog, Google Blog, SEO Blog, รับทำ SEO Tags: , , , , ,

Related Posts

«
»
You can leave a response, or trackback from your own site.
  • http://oggsonclearance.hpage.com/ Uggs on clearance

    involving item they’ve got Chanel lipstick as many outlets selling Chanel

  • http://www.shopnflbroncosjerseys.com/peyton-manning-jerseys-c-21.html Peyton manning jersey

    Hello can I quote some of the advice from this post if I state look after a link burdening someone to your site?

  • http://muberrypurse.hpage.com/ Mulberry purse

    These kinds of luggage can be Louis Vuitton Watches tendencies while in the self-control

  • http://www.pharmacydiscountnetwork.us Gennifer Cooley

    A big thank you for your post.Much thanks again. Great.

  • http://www.webspawner.com/users/hermsshoes/index.html Hermes shoes

    Truly the way to find a Coach purses cheap simply work out the trend have

  • SuckX

    didn’t dig of you’r words

  • http://www.welove-movie.com หนังhd

    แล้วถ้าผมเอาออก มันจะเพิ่ม index ใช่ไหมครับ

    ว่าแต่มันจะดีกว่าไหม ถ้าผมจะเอา robot.txt ออกไป

  • http://www.myallmovie.com หนังออนไลน์

    ขอบคุณมากครับ

  • beauty buff

    คงไว้ตรง root

  • http://movie.maimeearaitum.com/ ดูหนังออนไลน์

    ขอบคุณครับผม

  • http://toptentoyou.blogspot.com toptentoyou

    แล้วเขาสร้าง Robots.txt ไว้ตรงไหนครับ ไม่เข้าใจเลย

    ช่วยตอบทีครับ

  • http://www.usnzone.com/forum admid

    ดีมากๆเลยคับ

  • Pingback: ความหมาย robots.txt | จุ๊บแจง

  • http://www.cheap-store.net NatZ

    ขอบคุณครับ

  • http://www.xn--72czpba5eubsa1bzfzgoe.com ดูหนังออนไลน์

    ไปนั่ง hack เว็บที่ไม่ได้ปิด Robot ของหน้า admin ไว้ ตลกดี 555

  • Pingback: Robots.txt สำคัญอย่างไร | Blog Blogs บล็อก Blog SEO รับทำ SEO

  • http://www.ohmygott.com ohmygott

    แหล่มหลายเด้อ ไม่รู้มาก่อนเลยนะเนี่ย

  • http://www.kalasinnews.com Tum

    ขอบคุณมากๆ ครับ แจ่มหลายๆ เด้อ :grin: