Seo Master present to you:
ต่อไปเรามาดูคำสั่งในไฟล์
robot.txt กัน คำสั่งแรก User-agent: คือคำสั่งที่เราจะให้
Robot ของค่ายไหนเข้ามาเก็บข้อมูลได้บ้าง เช่น User-agent: Googlebot หรือจะให้เฉพาะ
Robot บางตัวเข้ามาเก็บข้อมูล เช่น User-agent: Googlebot User-agent: Scooter หรือให้
Robot ทุกตัวเข้ามาเก็บข้อมูลก็ User-agent:*
ต่อไปมาดูคำสั่ง Disallow: คือคำสั่งที่จะบอกให้
Robot ว่าไม่อนุญาตให้เก็บไฟล์หรือข้อมูลไหนบ้าง เช่น Disallow: / ตามด้วยเครื่องหมาย / ก็คือบอกให้
Robot รู้ว่าไม่อนุญาตให้เก็บไฟล์ทุกไฟล์ในเว็บของเราเลย หรือ Disallow: เว้นว่างคำสั่งนี้คืออนุญาตให้
Robot เก็บไฟล์ข้อมูลได้ทุกไฟล์ เป็นต้น
เรามาลองดูตัวอย่าง ในตัวอย่างนี้คือให้
Robot Search Engine เข้ามาเก็บข้อมูลได้แต่ยกเว้น Folder templates 3rdparty และ libs เป็นต้น
User-agent: *
Disallow: /templates/
Disallow: /3rdparty/
Disallow: /libs/
เรามาลองดูตัวอย่างอีกซักตัวอย่าง ในตัวอย่างนี้คือให้อนุญาตให้เฉพาะ
Robot Google สามารถเข้ามาเก็บข้อมูลได้
Search Engine ตัวอื่นๆไม่อนุญาตให้เก็บข้อมูล
User-agent: Google
Disallow:
User-agent: *
Disallow: /
ลองประยุกต์ใช้ดูตามรูปแบบการใช้งานของเว็บเรานะครับ แต่ถ้ายังไม่ค่อยเข้าใจหรือเบื่อที่จะเขียน หรือพิมพ์เอง แนะนำเว็บที่ Gen Code
robot.txt ให้เราตามลิงค์เลยครับ
Gen Robot ส่วนวิธีการใช้งานก็ง่ายๆครับ ลองศึกษาดูไม่ยากเกินความสามารถแน่นอน2013, By: Seo Master