Scraping
Pour peupler une base de données d'appels d'offres sur laquelle est branché un moteur de recherche, j'ai utilisé le framework Scrapy.
Via celery, le scrapper était relié au back-end du moteur de recherche d'appels d'offres. La récupération ainsi que le traitement des données étaient automatisés.
Plusieurs outils étaient utilisés. Il y avait scrapoxy qui permettait de changer régulièrement dadresse ip. Splash permettait de simuler un navigateur web et donc, d'exécuter du javascript.
Docker et docker-compose faisait tourner les différents conteneurs.
