urllib.robotparser — Control de acceso a arañas de Internet

Ernesto Rico Schmidt el 26 de mayo de 2019

robotparser implementa un analizador para el formato de archivo robots.txt, incluyendo una función que verifica si un agente de usuario determinado puede acceder a un recurso.

Lee el resto