Kaip geriausia valdomis losimo automatai (scrapers) maname svetainėje?

Galiu paprašyti patarimų iš patyrusių. Man reikia, kad mano nauja svetainė būtų saugiai ir efektyviai indeksuojama, bet boku, kad kai kurie losimo automatai (scrapers) gali per daug „gauti“ turinį per greitai. Ar yra geriausi techniniai sprendimai, kaip optimizuoti robots.txt ir meta tagus, kad tiksliai nurodytų, kokį turinį turėtų indeksuoti, o kurį ne? Galbūt turite patirtį su CAPTCHA ar išsaugoti turinį iš tiesiems robotų? Naujas patirtis būtų labai vertinus.