Robots.txt Generator - Prin intermediul fisierului robots.txt motoarele de cautare primesc semnale cu privire la ce pot accesa si ce nu in cadrul unui website. Fisierul robots.txt se incarca in radacina site-ului. Este un fisier text, simplu, care utilizeaza un parametru de selectie a paginilor care sa fie analizate sau nu de catre robotii motoarelor de cautare (User-agent & Disallow).