Como ya sabéis tengo algunos proyectos que mantengo y que tengo la tarea de evolucionar para mejorar entre otras cosas el rendimiento.
Algunos de los problemas más comunes que me estoy encontrando están relacionadas con los registros DNS de los dominios ya que son públicos y los bots... hacen de las suyas:
- Hay un montonazo de bots que se dedican al scrapping de estos datos para después hacer peticiones para intentar entrar de forma maliciosa. Esto es un coñazo porque estos bots ejecutan peticiones a lo loco y sobrecargan las máquinas
- Y por otro lado están los bots de entrenamiento IA que son aún peores. Estos bots hacen scrapping de todo tipo de urls (incluyo añaden parámetros a las urls) lo que hace que tengas un montón de tráfico que gestionar que realmente no te aportan nada
Ya tengo varias capas de protección contra esto (tengo algunos posts sobre ellos con nginx) pero la verdad es que es algo "rudimentario" y quería buscar algo diferente.
He estado investigando varias opciones y herramientas pero al final me he decantado por Cloudfare. Ya se que llevan muuuuchos años y que es una empresa bastante conocida pero como es tan grande pensaba que no iba a compensar tantos servicios que tiene.
Básicamente lo que estoy usando con Cloudfare es la gestión de los servidores DNS y las entradas DNS. Qué consigo con esto? pues que ahora Cloudfare gestionará todas mis entradas DNS y esto implica que también gestiona el tráfico que pasa por esos dominos.
Esto también es un arma de doble filo porque:
- Por un lado tengo la protección de cloudfare ante bots y además hace proy-pass de las entradas DNS por lo que tengo "ocultadas" las direcciones IP finales lo que me da un extra de privacidad
- Pero por otro lado, todo el tráfico pasa por ellos por lo que "saben" todo el contenido que pasa por esos dominios y si cloudfare falla (que ya ha pasado) pues me quedo sin acceso a los datos
