Soluciones

Proxies para la recopilación de datos

La investigación, la analítica y los pipelines de aprendizaje automático dependen de grandes volúmenes de datos públicos. Los proxies hacen predecible la recopilación al eliminar los cuellos de botella por IP y aportar las vistas regionales que necesita su conjunto de datos.

Recopilación de datos
Proxy IPv4 de centro de datosDesde 250 TRY / mes

El desafío

Qué hace difícil esta tarea

  • Cuellos de botella de rendimiento

    Una sola IP limita las páginas por minuto que cualquier pipeline puede extraer de una fuente.

  • Diversidad de fuentes

    Algunas fuentes dan la bienvenida a la automatización, mientras que otras filtran con dureza las direcciones de centros de datos.

  • Cobertura y sesgo

    Recopilar desde una sola ubicación produce un conjunto de datos sesgado cuando el contenido varía por región.

El enfoque

Cómo ayudan los proxies adecuados

  1. Organice sus IP por niveles

    Envíe el tráfico masivo a IP de centro de datos o IPv6 y reserve las residenciales para las fuentes que las necesiten.

  2. Distribuya por región

    Use la segmentación residencial para muestrear el contenido tal como aparece en cada país de interés.

  3. Planifique en torno a la rotación

    Elija pools rotativos para el rastreo sin estado e IP estáticas para la recopilación autenticada.

En detalle

Los detalles que deciden el resultado

Diseño del pipeline: que la fuente decida el pool

Un pipeline de recopilación es más fácil de operar cuando cada fuente se describe una sola vez en la configuración y todo lo demás se deriva de ella. Un perfil de fuente contiene el dominio, el nivel de pool, el máximo de solicitudes simultáneas, el retardo mínimo entre solicitudes, la política de reintentos y la versión del parser. El planificador alimenta colas por dominio, los workers toman de ellas respetando esos límites, y un enrutador asigna el proxy que indica el perfil. Cuando una fuente empieza a bloquear, cambia un perfil en lugar de editar código, y puede ver exactamente qué pool es responsable del coste.

La asignación por niveles se convierte entonces en una simple consulta de tabla. Las fuentes abiertas y tolerantes van a IP de centro de datos, donde el tráfico figura como ilimitado y la factura mensual es fija. Las fuentes que sirven IPv6 y necesitan muchas direcciones pueden usar los paquetes IPv6, con una salvedad importante: todas las direcciones proceden de una única subred /64, y algunas defensas aplican límites al prefijo completo en lugar de a cada dirección, por lo que 2,500 direcciones pueden comportarse como un solo cliente. Las fuentes protegidas van a IP residenciales rotativas facturadas por GB. Las fuentes que requieren inicio de sesión usan IP estáticas para que la sesión conserve una sola dirección.

Tipo de fuentePoolBase de facturaciónRango de precios (TRY al mes)
Tolerante, volumen masivoIPv4 de centro de datosTarifa fija; tráfico indicado como ilimitado30 IP: 250 · 1,000 IP: 2,000
Compatible con IPv6, con gran demanda de direccionesIPv6 (una /64)Tarifa fija; HTTP y HTTPS indicados100 IP: 100 · 15,000 IP: 2,250
Protegida, varía según el paísResidencial rotativoPor GB, periodo de uso de 30 días5 GB: 350 · 300 GB: 9,000
Requiere inicio de sesiónISP estáticoPor IP; mensual hasta 12 meses3 IP: 180 · 1,000 IP: 30,000

Cálculo del presupuesto: solicitudes, bytes y cortesía

Parta del volumen que necesita y calcule hacia atrás. Ejemplo ilustrativo: 500,000 páginas al día equivalen a unas 5.8 solicitudes por segundo de media. Con un tiempo de respuesta supuesto de 1.2 segundos, hacen falta aproximadamente siete solicitudes en curso a la vez, algo que cualquier pequeño conjunto de workers maneja sin problema. El número de IP lo fija entonces la cortesía, no la concurrencia. Si una fuente tolera una solicitud cada diez segundos por dirección, necesita unas 58 direcciones para esa fuente, por lo que el paquete de centro de datos de 100 IP a 400 TRY al mes la cubre con margen.

Calcule ahora el coste del mismo trabajo por bytes. Suponga que un documento HTML descargado pesa de media 40 KB: 500,000 páginas son 20 GB al día, o unos 600 GB al mes. En los planes residenciales por GB, de 30 a 70 TRY por GB, la factura es muy distinta de la de un plan fijo de centro de datos, y por eso el tráfico residencial debe reservarse para las fuentes que lo necesitan. Reduzca los bytes siempre que las condiciones lo permitan: solicite respuestas comprimidas con Accept-Encoding, envíe If-None-Match o If-Modified-Since para que las páginas sin cambios devuelvan un diminuto 304, y omita las imágenes, tipografías y scripts que no analice.

La cortesía también le protege a usted. Un pool de 58 direcciones que envíe una solicitud cada diez segundos sigue entregando 5.8 solicitudes por segundo a la fuente, lo que supone una carga real para un sitio pequeño. Limite la tasa agregada por dominio, no solo la tasa por IP, y reparta los trabajos grandes a lo largo del día. Aplique un retroceso exponencial (backoff) ante respuestas 429 y 5xx, respete Retry-After cuando esté presente y pause una fuente por completo cuando su tasa de errores supere un umbral que usted defina. Los reintentos multiplican el coste en los planes por GB, así que los límites de reintentos son un control presupuestario además de una cortesía.

Mida los bytes por página en sus propios objetivos antes de elegir un plan; las cifras anteriores son supuestos, no valores típicos.

Cumplimiento y gobernanza de datos dentro del pipeline

El cumplimiento resulta más sencillo cuando lo impone el pipeline en lugar de depender de que las personas lo recuerden. Descargue y almacene en caché el robots.txt de cada dominio, actualícelo a diario y haga que el módulo de descarga rechace las rutas no permitidas. Mantenga un registro revisado de las condiciones de cada fuente y un indicador de si existe una API oficial o una exportación masiva; si existe, úsela, porque es más barata, más rápida e inequívoca. Si una fuente ofrece una forma de identificar su rastreador o una dirección de contacto para el acceso masivo, utilice ese canal en lugar de sortear el sitio.

Decida qué no va a almacenar. Que algo sea público no significa que esté libre de obligaciones: los nombres, las direcciones de correo electrónico, las fotos y otros datos similares pueden ser datos personales según leyes como el RGPD o la KVKK de Turquía, y recopilarlos puede requerir una base jurídica aunque sean visibles. Prefiera pipelines que extraigan solo los campos que necesita, descarten el resto en el momento del análisis y mantengan un límite de conservación. Esto es información general, no asesoramiento jurídico; para conjuntos de datos comerciales que incluyan a personas, obtenga asesoramiento cualificado antes de empezar la recopilación.

Por último, haga que cada registro sea trazable. Almacene con cada fila la URL de origen, la hora de descarga en UTC, el estado HTTP, el nivel de pool, el país de salida y la versión del parser. La procedencia le permite eliminar todo lo de una fuente si esta se opone, reproducir una cifra que cuestione una parte interesada y detectar cuándo una muestra específica de una región está sesgando el conjunto de datos. También le proporciona pruebas de buen comportamiento: si el propietario de un sitio se pone en contacto con usted, puede mostrar las tasas de solicitudes y responder con rapidez, y debe detener primero el trabajo y hablar después.

Guía de trabajo

Un plan de implementación práctico

Cuatro pasos desde la primera prueba hasta una operación estable y supervisada.

  1. Inventaríe y clasifique las fuentes

    Enumere cada fuente con sus reglas de robots.txt, sus condiciones, su API o exportación oficial y si publica registros AAAA (compruébelo con la herramienta de consulta DNS). Descarte o rediseñe todo lo que no esté autorizado a recopilar.

  2. Asigne niveles y presupuestos

    Dé a cada fuente un pool, un límite de solicitudes por dominio y un presupuesto diario de bytes, y escríbalos en la configuración en lugar de en el código.

  3. Haga un piloto al uno por ciento

    Ejecute el uno por ciento del volumen previsto durante varios días. Mida los bytes por página, la distribución de estados y los duplicados, y recalcule después el tamaño del plan a partir de datos medidos.

  4. Escale por etapas con retroceso automático

    Aumente el volumen por fases, con alertas sobre las tasas de 403 y 429 y una pausa automática por fuente, y revise cada semana el coste por mil registros.

Escenarios resueltos

Cómo se ve en la práctica

Ejemplos ilustrativos: las cifras son supuestos para mostrar el razonamiento, no resultados medidos.

Un directorio tolerante, 120,000 páginas al día

Eso son unas 1.4 solicitudes por segundo. Con una solicitud cada cinco segundos por IP, siete direcciones bastarían, así que el paquete de centro de datos de 30 IP a 250 TRY al mes ya es más que suficiente. El límite que importa es la carga sobre el directorio, por lo que el equipo limita la tasa agregada y reparte las descargas a lo largo del día (cifras ilustrativas).

Tres países, barridos semanales

Un equipo muestrea 5,000 páginas de listados en cada uno de tres países cada semana mediante IP residenciales segmentadas por país, descargando solo HTML con un supuesto de 150 KB por página. Un barrido son 3 × 5,000 × 150 KB, unos 2.25 GB, de modo que cuatro barridos consumen unos 9 GB y el plan de 10 GB a 650 TRY encaja, con poco margen para reintentos.

Una fuente compatible con IPv6

Una fuente publica registros AAAA, confirmados con la herramienta de consulta DNS. El equipo prueba el paquete IPv6 de 500 IP a 300 TRY al mes, pero, como todas las direcciones comparten una misma /64, aplica un único token bucket a todo el pool y compara las tasas de éxito con el paquete de centro de datos de 100 IP a 400 TRY antes de comprometerse.

Qué medir

Haga el seguimiento desde el primer día para que los problemas aparezcan como números y no como sorpresas.

  • Tasa de éxito por clase de estado y por fuente: proporción de respuestas 2xx frente a 403, 429 y 5xx, registrada cada hora.
  • Bytes por registro correcto, que se traducen directamente en el coste de los planes por GB y muestran cuándo los parsers o los reintentos están desperdiciando tráfico.
  • Coste por 1,000 registros en TRY, por nivel de pool, para ver cuándo compensa mover una fuente a otro pool.
  • Actualidad de los datos: antigüedad del registro más antiguo del conjunto de datos de cada fuente en comparación con el objetivo de actualización.
  • Tasas de duplicados y de fallos de análisis, ya que los cambios de diseño silenciosos y las descargas repetidas elevan el coste sin añadir datos.

Errores comunes

Patrones que desperdician presupuesto o provocan bloqueos.

  • Dimensionar el número de IP según la concurrencia en lugar de la tolerancia de la fuente, lo que sobrecarga la fuente o desperdicia gasto.
  • Tratar los miles de direcciones de una misma /64 IPv6 como identidades independientes, cuando una defensa que limita por prefijo ve un único cliente.
  • Permitir reintentos ilimitados en planes por GB, donde un bloqueo puede convertirse en una tormenta de reintentos que consuma la cuota mensual en horas.
  • No guardar la procedencia, de modo que no se puede explicar, corregir ni eliminar un registro cuando lo pide una fuente o un regulador.
  • Recopilar datos personales “porque son públicos”, lo que aun así puede requerir una base jurídica según la ley de protección de datos.

Consejos prácticos

  • Guarde la URL de origen, la hora, el tipo de IP y el país con cada registro.
  • Reduzca el ritmo automáticamente ante respuestas 429 y 403.
  • Prefiera las API oficiales y las exportaciones masivas.
  • Mantenga los datos personales fuera de su pipeline salvo que tenga una base legal.

Use los proxies de forma responsable

Recopile datos públicos de forma lícita y respetuosa: respete el robots.txt y los términos, cumpla la legislación de protección de datos y evite sobrecargar los servicios.

¿Cómo elijo entre IPv6 e IPv4?

IPv6 para fuentes que sirven IPv6 y necesitan cantidades enormes de direcciones; IPv4 para un alcance universal.

¿Los proxies rotativos hacen legal la recopilación?

No. La legalidad depende de qué recopila y cómo, no del proxy.

¿Cómo debo presupuestar el ancho de banda?

Muestree páginas reales, mida los bytes y multiplique. Bloquear imágenes y scripts puede reducir el consumo de forma drástica.

¿Tengo que respetar el robots.txt?

El robots.txt es una convención y no una ley, pero expresa la voluntad del propietario del sitio, e ignorarlo puede infringir las condiciones de uso o debilitar su posición en una disputa. Recomendamos respetarlo y usar una API o una exportación oficial cuando exista. Esta es una orientación general, no asesoramiento jurídico.

¿Cómo sé si una fuente funciona por IPv6?

Consulte sus registros AAAA con la herramienta de consulta DNS: sin registro AAAA el sitio es solo IPv4, y una salida solo IPv6 normalmente no puede llegar a él. Que exista el registro es necesario pero no suficiente, así que haga una pequeña prueba a través del paquete. El proveedor indica HTTP y HTTPS para IPv6; SOCKS5 no está confirmado.

¿Cómo evito desperdiciar GB cuando se reinicia un rastreo largo?

Persista su cola y un registro de las URL descargadas con su ETag o hash de contenido, para que un reinicio reanude el trabajo en lugar de repetirlo. Haga que las descargas sean idempotentes y elimine las URL duplicadas antes de encolarlas. Cada página repetida cuesta dinero real en los planes residenciales por GB, que además tienen un periodo de uso de 30 días, así que planifique sus descargas para que quepan en él.

Empresas

¿Necesita volumen, ubicaciones a medida o una configuración apta para compras corporativas?

Hable con ventas sobre grandes cantidades de IP, contratos largos e incorporación dedicada. Indíquenos los países de destino y el perfil de tráfico y le propondremos una solución.