Web scraping con proxies: guía responsable

Los proxies resuelven los límites por IP, no un mal diseño del scraper. Cómo combinar ambos con responsabilidad.

15 min de lectura

El scraping, a cualquier escala, choca con los mismos problemas: los sitios limitan cuántas solicitudes puede hacer una dirección y tratan con más sospecha ciertos tipos de dirección. Los proxies abordan ambos, pero son solo una parte de un buen scraper.

Empiece por la etiqueta

  • Compruebe primero si existe una API oficial o una exportación de datos.
  • Lea el robots.txt y las condiciones del sitio.
  • Identifique su scraper con honestidad cuando se exija y mantenga ritmos de solicitud moderados.
  • Evite recopilar datos personales sin una base legal.

Elija el tipo de IP adecuado

Las IP de centro de datos son las más baratas para sitios tolerantes. Las IP residenciales rotativas ayudan en sitios que filtran los rangos de alojamiento. Las IP ISP estáticas convienen para flujos autenticados. Consulte la guía de proxies residenciales frente a los de centro de datos para más detalles.

Diseñe pensando en el fallo

Cuente con 429 (demasiadas solicitudes), 403 y tiempos de espera agotados. Reintente con retroceso exponencial, cambie a otra IP ante bloqueos repetidos y registre el código de estado por IP para que los patrones sean visibles.

Python
import random, time, requests

PROXIES = ["http://USER:PASS@HOST1:PORT", "http://USER:PASS@HOST2:PORT"]

def fetch(url, tries=4):
    for i in range(tries):
        proxy = random.choice(PROXIES)
        try:
            r = requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=15)
            if r.status_code == 200:
                return r.text
            if r.status_code in (403, 429):
                time.sleep(2 ** i + random.random())
        except requests.RequestException:
            time.sleep(1 + random.random())
    return None

Controle el ancho de banda

En los planes medidos por GB, bloquee imágenes, fuentes y contenido multimedia y consulte endpoints JSON siempre que sea posible. Mida una muestra para prever su consumo mensual.

Lea las reglas antes de escribir el rastreador

Empiece por robots.txt, pero sepa lo que es. El Protocolo de exclusión de robots (RFC 9309) es un archivo servido desde la raíz de cada origen que indica a los rastreadores qué rutas no deben solicitar, agrupadas por user-agent, y en el que prevalece la regla coincidente más específica. Si el archivo devuelve un estado 4xx, los rastreadores pueden tratar el sitio como si no tuviera restricciones; si devuelve 5xx o no se puede alcanzar, el estándar dice que se asuma que todo está fuera de límites hasta que vuelva a funcionar. Crawl-delay no forma parte del estándar y no todos los rastreadores lo respetan, pero si un sitio publica uno, trátelo como una petición de ir más despacio.

robots.txt es una convención para rastreadores, no una licencia. Los términos del servicio pueden restringir el acceso automatizado sea cual sea el contenido del archivo, y otras normas pueden regir lo que haga con los datos: los derechos de autor del contenido, los derechos sobre bases de datos en algunas jurisdicciones y la legislación de protección de datos, como el RGPD en la UE o la KVKK en Turquía, si los datos identifican a personas. Esto es información general, no asesoramiento jurídico; si el proyecto es comercial, haga que lo revise alguien cualificado. No eluda nunca la autenticación, los muros de pago ni los controles de acceso, y trate un CAPTCHA o una página de acceso denegado como una señal para ir más despacio o detenerse, no como un obstáculo que las herramientas deban vencer.

Herramientas proxyComprobador de cabeceras HTTPSolicite una URL pública y vea sus cabeceras de respuesta, la cadena de redirecciones y si están presentes las cabeceras de seguridad habituales.Explorar

Construya el limitador de frecuencia antes que la rotación

Un pool de direcciones mayor no le da derecho a una carga mayor. El servidor sigue soportando cada solicitud, y los límites pueden aplicarse por cuenta, por cookie de sesión, por bloque de red o por huella digital, no solo por IP. Fije el presupuesto por host de destino, no por proxy: un tope de solicitudes en curso (de dos a cinco es un buen punto de partida, a modo de ilustración), un retardo mínimo con jitter aleatorio entre solicitudes y una regla adaptativa que reduzca a la mitad la frecuencia ante un 429 o 503 y la vuelva a subir en pequeños pasos tras una racha de éxitos, de forma muy parecida al control de congestión de TCP.

La cortesía tiene un coste de tiempo que debe planificar y que ninguna cantidad de IP elimina. Descargar 100,000 páginas a 2 solicitudes por segundo lleva 50,000 segundos, unas 13.9 horas; a 5 solicitudes por segundo lleva 20,000 segundos, unas 5.6 horas. Si eso es demasiado lento, la respuesta es un alcance más acotado, actualizaciones incrementales o un acuerdo con el sitio, no más direcciones.

Reintentos que ayudan en lugar de perjudicar

La espera exponencial (backoff) con jitter evita que muchos procesos reintenten al unísono. El “full jitter” espera un tiempo aleatorio entre cero y min(cap, base × 2^attempt), lo que reparte los reintentos por toda la ventana. Si una respuesta 429 o 503 incluye una cabecera Retry-After, que contiene un número de segundos o una fecha HTTP, espere al menos ese tiempo. Use tiempos de espera de conexión y de lectura separados, limite tanto los intentos como el tiempo total por URL y decida qué significa cada estado antes de escribir el bucle:

  • Reintentar con backoff: tiempos de espera agotados, restablecimientos de conexión, 429, 502, 503 y 504. Suelen ser transitorios o una petición de ir más despacio.
  • Reintentar una vez con una conexión o sesión nueva: fallos que parecen específicos de un nodo de salida, como errores de conexión repetidos del lado del proxy.
  • No reintentar: 404 y 410 significan que la página ya no existe, así que regístrelos. 401 y 403 son decisiones de acceso, no fallos pasajeros, y repetirlos desde muchas direcciones es una forma rápida de conseguir que bloqueen todo un rango.
  • Trate el 407 como un problema de su propia configuración: es el proxy pidiendo credenciales, no el sitio web rechazándole.

La función siguiente combina estas piezas: una comprobación de robots.txt que sigue las reglas de estado anteriores, backoff con full jitter, gestión de Retry-After y una política de estados. Es una plantilla para adaptar, no un rastreador terminado.

Python
import random
import time
import urllib.robotparser

import requests

UA = "ExampleBot/1.0 (+https://example.com/bot-info)"
PROXY = "http://USER:PASS@HOST:PORT"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {"User-Agent": UA}

robots = urllib.robotparser.RobotFileParser()
resp = requests.get("https://example.org/robots.txt", headers=HEADERS, proxies=PROXIES, timeout=15)
if resp.status_code == 200:
    robots.parse(resp.text.splitlines())
elif resp.status_code >= 500:
    robots.disallow_all = True
else:
    robots.allow_all = True

def backoff(attempt, base=1.0, cap=60.0):
    return random.uniform(0, min(cap, base * 2 ** attempt))

def polite_get(url, tries=5):
    if not robots.can_fetch(UA, url):
        return None
    for attempt in range(tries):
        try:
            r = requests.get(url, headers=HEADERS, proxies=PROXIES, timeout=(5, 20))
        except requests.RequestException:
            time.sleep(backoff(attempt))
            continue
        if r.status_code == 200:
            return r.text
        if r.status_code in (429, 503):
            wait = r.headers.get("Retry-After", "")
            time.sleep(min(float(wait), 300) if wait.isdigit() else backoff(attempt))
        elif r.status_code in (500, 502, 504):
            time.sleep(backoff(attempt))
        else:
            return None
    return None

Trate cada proxy como un componente con una puntuación de salud

En una ejecución larga, las salidas individuales se estropean: un nodo queda limitado por frecuencia, una pasarela se reinicia, caduca una credencial. Mantenga contadores por proxy o por sesión (éxitos, 429, 403, timeouts, bytes) y separe los fallos del proxy de los fallos del destino. Conexión rechazada, tiempos de espera del proxy, 407 y 502 generados por la pasarela apuntan al proxy; los 403 y 429 del sitio apuntan al destino y a su comportamiento. Los códigos de error del comprobador de proxies (auth, refused, timeout, not_http_proxy, tls y otros) usan la misma división, de modo que puede verificar un proxy sospechoso con independencia de su rastreador.

Añada un cortacircuitos (circuit breaker). Tras un número determinado de fallos consecutivos, por ejemplo cinco (ilustrativo), retire ese proxy de la rotación durante un periodo de enfriamiento, como diez minutos, y pruébelo después con una sola solicitud antes de restituirlo. Descartar un proxy de forma permanente al primer error desperdicia capacidad pagada, mientras que machacar uno que falla quema ancho de banda en los planes con medición.

Haga que el rastreo sea reanudable y más barato

  • Conserve una cola persistente con el estado de cada URL, el número de intentos y el último error, para que una caída o un despliegue reanude el trabajo en lugar de volver a descargar.
  • Normalice y deduplique las URL (parámetros de seguimiento, orden de la cadena de consulta, barras finales) antes de que entren en la cola.
  • Use solicitudes condicionales: guarde el valor de ETag o Last-Modified y envíe If-None-Match o If-Modified-Since la próxima vez. Una respuesta 304 no tiene cuerpo, lo que ahorra datos en los planes medidos por GB y carga en el sitio.
  • Acepte compresión; la mayoría de los clientes HTTP gestionan gzip de forma transparente y suele reducir bastante el HTML y el JSON.
  • Guarde las respuestas sin procesar antes de analizarlas, de modo que un error del analizador implique reprocesar archivos en lugar de gastar solicitudes de nuevo.
  • Valide el contenido, no solo el estado: un 200 que contiene una página de bloqueo o un formulario de inicio de sesión es un fallo, así que exija un elemento esperado antes de contar una página como éxito.

Mantenga cada sesión internamente coherente

Cuando use sesiones sticky, dé a cada sesión su propio almacén de cookies y mantenga estables sus cabeceras durante toda su vida: el mismo User-Agent, el mismo Accept-Language, etcétera. Una cookie emitida a una dirección y presentada desde otra, o un conjunto de cabeceras que cambia entre solicitudes consecutivas desde la misma dirección, es un motivo para que un sitio le plantee un desafío. El comprobador de user agent de este sitio muestra lo que expone un navegador, incluidas las client hints, el idioma y la zona horaria, lo que le ayuda a ver qué dicen de su cliente sus propias cabeceras. La coherencia significa evitar contradicciones accidentales en su propio cliente; no significa imitar el software de otras personas allí donde las reglas de un sitio lo prohíban.

Qué supervisar en producción

  • Tasa de éxito por destino y por proxy o sesión, con validación de contenido aplicada.
  • Percentiles de latencia (mediana y percentil 95), porque los promedios ocultan la cola lenta que bloquea a los procesos de trabajo.
  • Bytes por registro obtenido con éxito y coste por cada 1,000 registros, que convierte la facturación del proxy en un coste unitario que puede comparar entre tipos de IP.
  • La proporción de respuestas 429 y 403 a lo largo del tiempo; una tendencia al alza significa que su frecuencia o su patrón necesitan atención antes de que lleguen los bloqueos.
  • Frescura de los datos: cuándo se obtuvo con éxito cada página por última vez, comparado con la frecuencia con que necesita actualizarse.

Preguntas frecuentes

¿Por qué sigo recibiendo respuestas 403 con una IP nueva?

La dirección es solo una señal. Los sitios también tienen en cuenta las cabeceras, las características de su cliente HTTP, las cookies, la frecuencia y el patrón de las solicitudes, y si el contenido exige una cuenta. Un 403 que se repite con muchas IP distintas suele indicar que la causa no es la dirección, así que seguir rotando no ayudará. Vaya más despacio, vuelva a leer los términos del sitio y compruebe si existe una API oficial.

¿Qué frecuencia de solicitudes es segura?

No existe una cifra universal. Empiece por una baja, por ejemplo una solicitud por segundo por host a modo de ilustración, observe la proporción de respuestas 429 y la tendencia de la latencia, y suba la frecuencia en pasos pequeños. Si el sitio publica un límite de frecuencia, una cuota de API o un Crawl-delay en robots.txt, eso fija su techo.

¿Puedo extraer datos que están tras un inicio de sesión?

Solo con permiso explícito o para datos a los que tenga derecho de acceso, y dentro de los términos del sitio. Muchos términos prohíben el acceso automatizado a las cuentas, y las páginas con sesión iniciada suelen contener datos personales que cubre la legislación de protección de datos. Prefiera una API oficial o una exportación; si debe automatizar su propia cuenta, use una IP estática para que la cuenta no se vea desde muchos lugares a la vez.

¿No sabe qué plan le conviene?

Describa su caso de uso y los países de destino y le recomendaremos un producto, o le diremos con franqueza si otro tipo le conviene más.