Tips : Robots.txt Optimization

Posted by Gootum on Thursday, October 25th 2007

25
Oct

Blog SEO Tips Robots.txt Optimization

วิธีการเขียน Robots.txt ของ Wordpress เขียนป้องให้ Robots เก็บข้อมูลของเราที่จำเป็นเท่านั้นเพื่อลดทราฟฟิกและตำแหน่งค้นหาของเว็บไซต์เราที่จะทำให้อยู่อันดับต้นๆได้อีกด้วย ไม่เชื่อลองดู ส่วนใครอยากให้เก็บข้อมูลโฟลเดอร์ไหนก็สามารถลบออกได้แล้วแต่ความต้องการของแต่ล่ะคนนะครับ อันนี้เป็นแนวทางในการเขียนไฟล์ Robots.txt เท่านั้นเองส่วนใครมีโฟลเดอร์ที่มากกว่านี้ก็สามารถใส่เพิ่มได้ด้วยเช่นกัน ไปดูเลยตามตัวเองครับ

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads    

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*     

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*     

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /     

# digg mirror
User-agent: duggmirror
Disallow: /     

# Does anyone care I love Google Apache htaccess    

Sitemap: http://blog.gootum.com/sitemap.xml

เพียงเท่านี้ก็เสร็จ

Popularity: 6% [?]

Social Bookmark Blog : These icons link to social bookmarking sites where readers can share and discover new web pages.

Blog Related Content

SEO

Tips : Speeding Up Your Web Site

ความหมาย robots.txt

ขั้นตอนการทำ SEO - Search Engine Optimization

1 นาทีก็ติด google หน้าแรกได้

Subscribe to the post comments feeds or Leave a trackback

6 Comments Already

nongpoom Said,

October 27th, 2007 @1:11 am

คือเขียนไม่เป็นน่ะครับ copy ไปได้เลยหรือเปล่า

แล้ว robot.txt มันอยู่ส่วนไหนของ WP ครับ

Gootum Said,

October 27th, 2007 @12:28 pm

Copy ไปใส่ได้เลยครับ ถ้ายังไม่มีไฟล์ให้สร้างใหม่แล้วก็เอาไปไว้นอกสุดของโฮสครับเช่น
http://blog.gootum.com/robots.txt

ตอนนี้ของคุณคือปล่อยให้ผ่านหมด iguzz.com/robots.txt
User-agent: *
Disallow:

สามารถแก้ไขไฟล์นี้ได้เลยครับ

nongpoom Said,

October 27th, 2007 @2:52 pm

สอบถามเพิ่มเติมครับ

ไม่มีไฟล์สร้างใหม่ เป็นยังไงครับ

Diallow category มันจะ index หน้า page เราน้อยลง หรือเปล่าครับ มันจะทำให้ bot เห็น

เฉพาะหน้าแรกของเราหรือเปล่าครับ แล้ว Disallow feed มีประโยชน์ยังไงครับ

ถามเพิ่มนะครับ ในกรณีทีเรา update blog ทุกวัน

จะทำยังไงให้ bot มันมาเก็บทุกวันครับ เคยอ่านใน

Sitemap webmaster tool ของ google แต่ทำไม่เป็นครับ

ขอบคุณนะครับ

Gootum Said,

October 28th, 2007 @2:12 am

1.ไม่มีไฟล์สร้างใหม่ เป็นยังไงครับ < < ผมคิดว่ายังไม่มีไฟล์ robots.txt หน่ะครับตอนนี้คุณมีแล้วไม่ต้องสร้างใหม่
2.Diallow category มันจะ index หน้า page เราน้อยลง หรือเปล่าครับ มันจะทำให้ bot เห็นเฉพาะหน้าแรกของเราหรือเปล่าครับ แล้ว Disallow feed มีประโยชน์ยังไงครับ << อันนี้ไม่ต้องก็ได้ครับผมยกตัวอย่างให้ดู จะใส่ก็ได้ไม่ใส่ก็ได้ในกรณีใส่มันก็ไม่เก็บครับ index ก็น้อยลง
3.ถามเพิ่มนะครับ ในกรณีทีเรา update blog ทุกวัน จะทำยังไงให้ bot มันมาเก็บทุกวันครับ << การอัพเดด blog ทุกวันดีครับมีการเคลื่อนไหวของข้อมูลเป็นผลดีต่อเว็บค่อยๆเพิ่มหน้าไปเรื่อยๆแต่ห้ามเพิ่มทีเดียวพรวด bot มันไม่ได้มาเก็บทุกวันหรอกครับแต่หากเราอัพเดดเรื่อยๆมันก็มาเก็บเรื่อยๆครับ
4.Sitemap webmaster tool ลองดูวิธีทำที่นี่ครับ http://blog.gootum.com/google-blog/sitemapxml-sitemap_indexxml แต่วิธีทำนั้นก็ต้องอ่านใน google ผมไม่ได้เขียนไว้ครับ

thanapong A Said,

July 19th, 2008 @11:25 am

สอบถามเพิ่มเติมครับ
ผมตั้งชื่อ Mainpage.html เป็นhomepage แต่google search แล้วปรากฎว่าเอา page ที่ไม่ใช่ homepage มา ส่วนที่ เป็น homepage กลับไม่ติด google เลย สาเหตุเกิดจากอะไรครับ แก้ไขยังไรได้บ้างครับ