Soluciones

Proxies para un web scraping fiable

Los scrapers fallan por motivos previsibles: demasiadas solicitudes desde una sola dirección, direcciones que parecen automatizadas y sesiones que se rompen a mitad de camino. El tipo de proxy adecuado resuelve los dos primeros; un buen diseño del scraper resuelve el tercero.

Web scraping
Proxy residencialDesde 350 TRY / mes

El desafío

Qué hace difícil esta tarea

  • Límites de solicitudes por IP

    Los sitios limitan cuántas solicitudes puede enviar una dirección. Si concentra el tráfico en una sola IP, la limitan o la bloquean en cuestión de minutos.

  • Puntuación de reputación de la IP

    Los sitios defensivos clasifican las direcciones como de centro de datos, residenciales o móviles y las tratan de forma distinta desde la primera solicitud.

  • Contenido que depende de la geografía

    Los precios, la disponibilidad y los resultados cambian según el país del visitante, así que un scraper de una sola ubicación solo ve una versión de la web.

El enfoque

Cómo ayudan los proxies adecuados

  1. Adapte el tipo de IP al destino

    Use IP de centro de datos para sitios tolerantes y API, IP residenciales rotativas para sitios de consumo protegidos e IP ISP donde importe una identidad estable.

  2. Rote o mantenga la IP a propósito

    Rote en cada solicitud para descargas sin estado; use sesiones fijas cuando un inicio de sesión, un carrito o un flujo paginado deba conservar una dirección.

  3. Segmente el país correcto

    Los planes residenciales indican segmentación por país para que recopile la versión de la página que ve su público.

En detalle

Los detalles que deciden el resultado

Dimensionar un scraper: el presupuesto de IP y el presupuesto de ancho de banda

Todo trabajo de scraping tiene dos límites independientes. El presupuesto de IP es cuántas solicitudes por minuto puede enviar una dirección antes de que el destino la limite; ese número debe medirse, pero para un sitio de ejemplo se asumen 4. El presupuesto de ancho de banda es cuántos bytes se mueven, lo cual solo importa en los planes con tráfico medido. Tomemos una carga ilustrativa de 24,000 páginas al día, unas 17 solicitudes por minuto. A 4 solicitudes por minuto por IP, eso requiere unas cinco direcciones, así que incluso el paquete más pequeño de proxies IPv4 de centro de datos, 30 IP a 250 TRY al mes, hace trabajar cada dirección a unas 0.6 solicitudes por minuto.

La facturación residencial invierte la aritmética, porque se paga por gigabytes y no por direcciones. Las mismas 24,000 páginas, a unos 150 KB cada una (cifra ilustrativa), suman 3.6 GB al día, o 108 GB en un periodo de 30 días. Eso supera en un 8 % el plan de 100 GB (3,500 TRY) y le empujaría al plan de 200 GB (7,000 TRY), de modo que recortar imágenes, fuentes y rastreadores compensa más de lo que parece. Ajustado a 100 GB, el coste es de unos 0.005 TRY por página, frente a aproximadamente 0.0003 TRY en el paquete de centro de datos de 30 IP.

Los trabajos muy grandes y constantes vuelven a invertir la lógica. Los planes residenciales rotativos ilimitados cambian un precio fijo por tráfico ilimitado: el plan mensual cuesta 75,000 TRY, lo que equivale a 2,500 GB a la tarifa del plan de 300 GB, de 30 TRY por GB, o a unos 83 GB al día. Por debajo de ese volumen, los planes por GB son más baratos; por encima, el ilimitado gana sobre el papel. Las condiciones del uso ilimitado, como los límites de uso razonable o los topes de concurrencia, no se publican en este sitio, así que consulte con ventas por WhatsApp antes de construir un pipeline sobre esa suposición.

SituaciónLímite determinanteFamilia de planes a cotizar primero
Sitio tolerante, número de páginas muy altoSolicitudes por minuto por IPPaquetes de proxies IPv4 de centro de datos (de 30 a 1,000 IP)
Sitio de consumo protegido, volumen moderadoGigabytes y tasa de bloqueoPlanes de proxies residenciales (de 5 a 300 GB)
Sitio protegido, volumen constante muy altoCoste por GB a escalaResidencial rotativo ilimitado (diario, semanal, mensual)
Contenido de red móvil o endpoints de confianza del operadorConfianza de la dirección y cuotaPaquetes móviles rotativos (5, 10, 100 GB) o ilimitado mensual
Su propio inicio de sesión tras una identidad estableContinuidad de la sesiónProxy ISP (IP turcas estáticas)

Diseño de sesiones, reintentos y esperas progresivas

Decida la rotación según la unidad de estado, no por costumbre. Una descarga sin estado, como una ficha de producto o un resultado de búsqueda, puede salir desde una IP distinta cada vez. Un flujo con estado, como un inicio de sesión, un token de paginación ligado a una sesión o un carrito, debe permanecer en una misma dirección, así que solicite una sesión fija en un plan de proxies residenciales o use una IP estática de proxy ISP. Mantenga un almacén de cookies por cada IP de salida, porque reutilizar desde otra dirección las cookies de una es un motivo habitual de que se invaliden las sesiones. Con los paquetes de centro de datos la rotación la hace usted mismo, por ejemplo en round-robin con un periodo de enfriamiento por IP.

Trate los fallos por clases. Los errores de conexión, los tiempos de espera agotados y una respuesta 407 (se requiere autenticación del proxy) apuntan a la ruta del proxy o a sus credenciales, no a un bloqueo. Un 403, un 429 o una página con código 200 que contiene un desafío apuntan al destino. Ante un 429, respete la cabecera Retry-After cuando exista; si no, espere de forma exponencial con jitter aleatorio, por ejemplo unos 2, 4, 8 y 16 segundos, y reintente desde una IP distinta en lugar de insistir con la misma. Limite los reintentos a tres o cuatro por URL, para que un bloqueo persistente no consuma todo un plan por GB.

Un proxy solo cambia la ruta de red. El handshake TLS de su cliente HTTP, el orden de las cabeceras y la versión del protocolo llegan igualmente al destino sin cambios a través de un túnel CONNECT, de modo que un cliente que parece un script sigue pareciendo un script con una IP residencial. Mantenga las cabeceras coherentes, con un User-Agent de navegador real y un Accept-Language que coincida, reutilice las conexiones con keep-alive para evitar un handshake nuevo por solicitud y use un navegador headless solo donde las páginas necesiten JavaScript de verdad, porque un renderizado completo suele costar varias veces los bytes del HTML sin procesar.

Un código de estado 200 no prueba que haya funcionado. Cuente una respuesta solo cuando contenga los campos que esperaba.

Supervisar la flota y demostrar que funciona

Verifique cada endpoint antes de la primera ejecución en producción. El comprobador de proxies gratuito admite hasta 10 proxies por solicitud, detecta automáticamente HTTP o SOCKS5 e informa de la IP de salida, la latencia y un código de error, de modo que puede revisar un lote de una sola pasada. Los códigos separan las causas con claridad: auth significa credenciales incorrectas, refused o timeout significa que el endpoint o el puerto no es accesible, y connect_denied o tls apuntan al propio túnel. Después abra el comprobador de dirección IP en un navegador que use el proxy para confirmar la dirección que verá el destino, y repítalo en un endpoint rotativo para confirmar que la dirección cambia.

En producción, registre una fila por solicitud: dominio de destino, tipo de IP, IP de salida o un hash de ella, código de estado, bytes, latencia, número de reintentos y un indicador de contenido válido. Con esa tabla puede calcular la tasa de bloqueo por dominio y por tipo de IP y retirar de su lista las direcciones que fallan, por ejemplo las que tengan menos del 80 % de respuestas válidas en al menos 100 solicitudes, un umbral que debe ajustar a su destino. Configure alertas por tendencias y no por fallos aislados: una tasa de bloqueo que se duplica en una hora suele indicar un cambio de reglas en el destino, no una avería de red.

La rotación reparte la carga; no concede permiso. Si un sitio le pide que pare o ofrece un feed oficial, utilícelo.

Guía de trabajo

Un plan de implementación práctico

Cuatro pasos desde la primera prueba hasta una operación estable y supervisada.

  1. Busque primero una fuente autorizada

    Compruebe si hay una API, un feed o una exportación masiva oficiales, y lea robots.txt y las condiciones antes de construir nada. Los campos que realmente necesita suelen decidir todo el diseño.

  2. Haga un piloto por tipo de IP

    Descargue entre 500 y 1,000 URL representativas con el tipo candidato más económico y registre la tasa de contenido válido, los bytes por página y la latencia. Pase al siguiente tipo solo si los resultados no alcanzan su umbral.

  3. Fije límites por dominio

    Defina la concurrencia máxima, las solicitudes por minuto y un periodo de enfriamiento por IP, con retardos con jitter y espera exponencial ante respuestas 429 y 5xx.

  4. Escale por etapas y revise cada semana

    Duplique el volumen solo mientras la tasa de bloqueo siga por debajo de su umbral, y compare cada semana el coste por cada mil páginas válidas para que un cambio de plan sea una decisión basada en datos.

Escenarios resueltos

Cómo se ve en la práctica

Ejemplos ilustrativos: las cifras son supuestos para mostrar el razonamiento, no resultados medidos.

Rastreo de un directorio público

Un equipo de investigación rastrea 300,000 páginas de un directorio público durante una semana, unas 1,800 por hora. Reparte el trabajo entre las 100 IP de un paquete de proxies IPv4 de centro de datos (400 TRY al mes), unas 18 solicitudes por hora por IP, con rotación round-robin y un periodo de enfriamiento. La tasa es ilustrativa: la tolerancia real del sitio debe medirse en un piloto.

Páginas de categorías de un comercio protegido

Un piloto contra un comercio que rechaza los rangos de centros de datos devuelve páginas válidas en el 40 % de las solicitudes desde IP de centro de datos y en el 95 % desde IP residenciales (cifras ilustrativas). Con unos 200 KB por página, un plan de proxies residenciales de 50 GB (2,500 TRY) cubre aproximadamente 250,000 páginas, es decir, 0.01 TRY por página. El equipo usa IP residenciales solo para este comercio y reserva las de centro de datos para el resto.

Exportación autenticada desde un portal de socios

Un equipo de finanzas descarga informes diarios de un portal de socios en el que tiene credenciales y cuyas condiciones permiten la exportación automatizada. Como el portal vincula las sesiones a una dirección, el trabajo se fija a una IP estática del plan de proxies ISP de 3 IP (180 TRY al mes) con un único almacén de cookies. Cualquier otra dirección arriesgaría una petición de reautenticación en cada ejecución.

Qué medir

Haga el seguimiento desde el primer día para que los problemas aparezcan como números y no como sorpresas.

  • Tasa de contenido válido por dominio y tipo de IP, contada por la presencia de los campos esperados y no por el HTTP 200.
  • Tasa de bloqueo, es decir, la proporción de solicitudes que terminan en 403, 429 o una página de desafío, seguida por tipo de IP y por hora.
  • Coste por cada 1,000 páginas válidas, combinando el precio del plan, los reintentos y los bytes desperdiciados.
  • Bytes por página, en promedio y en el percentil 95, que determinan el tamaño del plan por GB.
  • Proporción de reintentos y latencia en el percentil 95, porque unos valores crecientes señalan una limitación de tasa antes de que aparezcan los bloqueos definitivos.

Errores comunes

Patrones que desperdician presupuesto o provocan bloqueos.

  • Contar el HTTP 200 como éxito, de modo que los bloqueos blandos y las plantillas vacías contaminan el conjunto de datos sin que nadie lo note.
  • Rotar las IP en mitad de un flujo que necesita estado, lo que invalida los tokens y obliga a volver a autenticarse.
  • Reintentar al instante con la misma IP tras un 429, lo que convierte un límite de tasa en un bloqueo.
  • Descargar imágenes, fuentes y rastreadores en un plan medido por GB, multiplicando el coste sin ningún valor para los datos.
  • Comprar por el tamaño del pool en lugar de por la tolerancia medida por IP, de modo que la capacidad se desperdicia o se queda corta.

Consejos prácticos

  • Respete el robots.txt y los términos publicados; muchos sitios ofrecen una API.
  • Limite el ritmo por dominio y añada variación aleatoria en lugar de lanzar ráfagas.
  • Bloquee imágenes y contenido multimedia para reducir el ancho de banda en los planes medidos por GB.
  • Registre los códigos de estado HTTP por IP para detectar los bloqueos pronto.

Use los proxies de forma responsable

Recopile solo los datos a los que tiene permiso de acceso, respete los límites de solicitudes y la legislación sobre privacidad, y no use nunca los proxies para atacar, sobrecargar o defraudar un servicio. El mal uso puede poner fin a su acceso.

¿Qué proxy es mejor para el scraping?

Depende del destino. Centro de datos para sitios tolerantes, residencial rotativo para los protegidos, ISP para sesiones estables. La tabla comparativa de la página de inicio resume las ventajas y desventajas.

¿Cuántos proxies necesito?

Divida las solicitudes por minuto que necesita entre la tasa segura por IP para el destino. Empiece poco a poco, mida la tasa de bloqueo y después escale.

¿Es legal el scraping?

Depende de los datos, de los términos del sitio y de su jurisdicción. Busque asesoramiento legal para proyectos comerciales; los proxies no cambian la legalidad.

¿Tengo que montar yo mismo la rotación con los paquetes de centro de datos?

Sí. Los paquetes de proxies IPv4 de centro de datos le dan una lista de direcciones estáticas con autenticación por usuario y contraseña, y no hay rotación automática. Rote en su propio código, por ejemplo en round-robin con un periodo de enfriamiento por IP. Los endpoints residenciales rotativos cambian la dirección de salida por usted.

¿Debo usar HTTP o SOCKS5 para un scraper?

La mayoría de las bibliotecas de scraping hablan proxies HTTP de forma nativa, y las páginas HTTPS pasan como un túnel CONNECT. SOCKS5 resulta útil para tráfico que no es HTTP o para herramientas que solo lo admiten. En los planes de centro de datos y residenciales, la compatibilidad de protocolos depende de los listados del proveedor y no hay un selector al pagar, así que confirme su protocolo con ventas por WhatsApp antes de construir nada a su alrededor.

¿Cómo extraigo páginas con mucho JavaScript sin agotar un plan por GB?

Busque primero datos estructurados incrustados en la página, o el endpoint JSON que la propia página llama públicamente, que es mucho más ligero que un renderizado completo. Si necesita un navegador headless, bloquee imágenes, fuentes y contenido multimedia y almacene en caché los recursos estáticos entre ejecuciones. Mida los bytes por página con una muestra pequeña antes de elegir el tamaño del plan.

Empresas

¿Necesita volumen, ubicaciones a medida o una configuración apta para compras corporativas?

Hable con ventas sobre grandes cantidades de IP, contratos largos e incorporación dedicada. Indíquenos los países de destino y el perfil de tráfico y le propondremos una solución.