En un coup d'œil
- Missions: Développez des solutions de scraping web et d'extraction de données en Python.
- Entreprise: Rejoignez QualityAI, leader mondial en ingénierie de qualité alimentée par l'IA.
- Avantages: Salaire compétitif, avantages santé, travail à distance et développement professionnel.
- Autres infos: Environnement dynamique avec des opportunités de croissance de carrière exceptionnelles.
- Pourquoi ce job: Faites partie d'une équipe innovante et impactez des projets passionnants chaque jour.
- Qualifications: Expérience en développement Python et compétences en scraping web requises.
Le salaire estimé est compris entre 61650 - 75350 € par an.
Are you interested in working with the World’s leading AI-powered Quality Engineering Company?
Ready to advance your career, team up with global thought leaders across industries and make a difference every day?
Join us at Quality AI!
We are looking for a
Python Developer (Web Scraping & Data Extraction) to join our growing team in United States
Location
US/CAN/ARG/MEX
About The Role
We're looking for an experienced Python developer who is strong in web scraping and data extraction to join our data engineering team.
You'll build and maintain reliable, scalable pipelines that collect data from websites, APIs, and other online sources.
This data feeds analytics, research, and decision-making across our business.
Key Responsibilities
- Design, develop, and maintain scalable web scraping and crawling solutions in Python
- Extract data from static pages, Java Script-heavy sites, and REST/Graph QL APIs
- Build robust pipelines that handle anti-bot measures, rate limits, CAPTCHAs, dynamic content, and site structure changes
- Clean, validate, normalize, and transform raw data into analysis-ready datasets
- Monitor scraper health, set up alerting, and quickly fix breakages to keep data fresh and accurate
- Optimize scrapers for speed, reliability, and cost, including proxy management and concurrency
- Store and manage data in relational and non-relational databases and cloud storage
- Write clean, tested, well-documented code and take part in code reviews
- Work with analysts, data scientists, and business stakeholders to turn data needs into technical solutions
- Ensure scraping practices comply with terms of service, robots. txt, and data privacy regulations
- Mentor junior developers and help set team standards for scraping and data quality
- Required Qualifications
- 5-8 years of professional Python development experience, including at least 3 years focused on web scraping or data extraction
- Strong hands-on experience with Scrapy, Beautiful Soup, Requests/HTTPX, and Selenium, Playwright, or Puppeteer
- Experience with asynchronous and concurrent programming (asyncio, multithreading, multiprocessing)
- Solid understanding of HTTP, HTML/CSS, DOM structure, XPath/CSS selectors, cookies, sessions, and authentication flows
- Experience with proxies, user-agent rotation, headless browsers, and techniques for avoiding detection
- Proficiency in data processing with Pandas, Num Py, and regular expressions
- Working knowledge of SQL and at least one No SQL database (e. g., Postgre SQL, Mongo DB)
- Experience building and scheduling data pipelines (e. g., Airflow, Prefect, or cron-based orchestration)
- Familiarity with Git, CI/CD, Docker, and automated testing (pytest)
- Experience with a cloud platform (AWS, Azure, or GCP)
- Strong debugging and problem-solving skills, and clear written and verbal communication
- Bachelor's degree in Computer Science, Engineering, Mathematics, Finance, or a related field (or equivalent experience)
- Preferred Qualifications (Finance / Fintech / Investments)
- Background in financial services, fintech, asset management, or investment research
- Experience collecting and structuring data such as market prices, company filings (SEC/EDGAR), earnings reports, news, ESG data, alternative data, or fund and security reference data
- Familiarity with financial concepts such as equities, fixed income, funds, portfolios, and risk and return metrics
- Understanding of data quality, lineage, and audit requirements in regulated environments
- Awareness of financial data licensing, compliance, and data governance considerations
- Experience with financial data providers and APIs (e. g., Bloomberg, Refinitiv, Alpha Vantage, Yahoo Finance, Polygon)
- Knowledge of NLP or text extraction from PDFs, filings, and unstructured documents
- Experience with big data tools (Spark, Kafka) or data warehouses (Snowflake, Big Query, Redshift)
- Exposure to Kubernetes, infrastructure as code, or distributed scraping architectures
- Key Competencies
- Reliability mindset: builds scrapers that keep running and recover gracefully when sites change
- Data quality focus: treats accuracy and completeness as non‑negotiable
- Ownership: takes responsibility for solutions end to end, from design to monitoring
- Collaboration: communicates clearly with technical and non-technical stakeholders
- Ethical judgment: respects legal, compliance, and data privacy boundaries
Benefits
Why Quality AI?
- Be a part of a company who strives to support for diversity and inclusion in the workplace – we are one, we are many at Quality AI.
Celebrate culture, share knowledge with engineers from around the globe, and inspire each other through our differences.
We have more than 40% women and around 120 different nationalities.
- Local and global opportunities – we offer you internal rotation and international mobility opportunities to grow your career.
- Clear view of your career and progression with the company – Quality AI is growing massively (since 2021 – tripled our employees base – we now have more than 8,000 engineers) and giving you the opportunity to grow with us.
- Work hard and play harder with our flexible and casual culture.
- Take care of health with enrollment into one of our competitive healthcare benefits from Day 1.
- Never stop experimenting and learning with QCraft – our Learning & Development platform: 50,000+ courses, 300+ virtual labs, mentorship and leadership programs, professional tribes, sponsored certifications, and much more.
- Earn bonuses via our Client Referral and Employee Referral Program’s. Refer and earn – tap your network for net-worth.
- We recognize our employees work via our Qudos platform - You can earn bonuses and spot awards by celebrating your and your peers’ achievements.
• Intrigued to find more about us?
- Visit our website at https://www. qualitestgroup. com/
- #J-18808-Ljbffr
Python Developer (Web Scraping & Data Extraction) employeur : QualityAI
QualityAI est un employeur exceptionnel qui valorise la diversité et l'inclusion, offrant un environnement de travail collaboratif où les employés peuvent célébrer leurs différences tout en partageant des connaissances avec des ingénieurs du monde entier. Avec des opportunités de rotation interne et de mobilité internationale, ainsi qu'un accès à plus de 3000 cours de formation via notre académie Tech, QualityAI s'engage à soutenir la croissance professionnelle de ses employés dans un secteur en pleine expansion. Rejoignez une entreprise qui allie expertise technique et innovation pour garantir des systèmes performants dans des conditions réelles.
Conseils d'expert StudySmarter🤫
Voici comment nous pensons que tu pourrais décrocher Python Developer (Web Scraping & Data Extraction)
✨Construire ton réseau tech
Connecte-toi avec des professionnels de l'ingénierie et du développement logiciel via des meetups tech ou des conférences comme DevFest. C'est un excellent moyen d'apprendre sur les dernières tendances et de te faire connaître dans le milieu.
✨Contribuer à des projets open-source
Montre tes compétences en rejoignant des projets open-source sur GitHub. Non seulement cela renforce ton portfolio, mais ça te permet également de collaborer avec d'autres développeurs et de bâtir ta réputation dans le monde tech.
✨Préparer un excellent entretien
Pour décrocher un emploi à plein temps, il est crucial de préparer des réponses aux questions techniques et comportementales. Fais des simulations d'entretiens avec des amis ou en utilisant des plateformes dédiées pour te sentir plus à l'aise.
✨Postuler sur notre site
N'oublie pas de consulter notre site pour des opportunités chez QualityAI. Postuler directement peut te donner un accès privilégié à nos offres et montrer ton intérêt spécifique pour notre entreprise. Allez, fonce !
Nous pensons qu'il te faut ces compétences pour exceller en tant que Python Developer (Web Scraping & Data Extraction)
Quelques conseils pour ta candidature 🫡
Démarre avec un CV percutant:Pour un poste d'ingénieur en développement logiciel, mets en avant tes compétences techniques comme les langages de programmation que tu maîtrises. N'hésite pas à inclure les projets sur lesquels tu as travaillé, surtout ceux qui montrent ton impact dans des situations concrètes. Les employeurs adorent voir ce que tu es capable de créer !
Valorise tes projets personnels:Si tu as des projets personnels ou des contributions sur GitHub, assure-toi de les inclure dans ta candidature. Cela te permet de montrer non seulement tes compétences techniques, mais aussi ta passion et ton engagement pour le développement logiciel. C'est un excellent moyen de te démarquer des autres candidats !
Personnalise ta lettre de motivation:Prends le temps de personnaliser ta lettre de motivation pour QualityAI. Explique pourquoi tu es attiré par cette entreprise et comment tes compétences peuvent répondre à leurs besoins. C'est l'occasion de montrer un côté plus humain de ta candidature et d'expliquer ce qui te motive !
Soigne la mise en page:Une mise en page claire et concise est cruciale pour les candidatures dans le domaine de l'ingénierie logicielle. Utilise des sous-titres et des listes pour rendre ton CV et ta lettre plus facile à lire. Cela montre aussi que tu as un sens de l'organisation, ce qui est super important dans notre domaine !
Comment te préparer à un entretien d'embauche chez QualityAI
✨Maîtrise des Outils de Développement
Assure-toi d'être à l'aise avec les outils et les langages de programmation que privilégie QualityAI. Par exemple, si tu sais qu'ils utilisent beaucoup Java ou Python, revisite tes concepts clés et sois prêt à discuter de tes projets antérieurs qui mettent en avant ces compétences.
✨Prépare des Exemples de Projets Concrets
Rassemble des exemples concrets de projets sur lesquels tu as travaillé, surtout ceux qui mettent en avant des défis techniques. Sois prêt à expliquer tes choix, tes erreurs et comment tu as résolu des problèmes - cela montre ton process de réflexion et ta capacité à apprendre.
✨Sois Prêt pour des Tests Techniques
Il est fréquent d'avoir des tests techniques lors des entretiens dans l’ingénierie logicielle. Prépare-toi à résoudre des problèmes de codage en direct. Pratique sur des plateformes comme LeetCode ou HackerRank pour rester affûté et confortable face à la pression.
✨Montre Ton Intérêt pour l’Innovation
Dans le cadre d'un poste à temps plein, les employeurs cherchent des passionnés qui se tiennent à jour avec les dernières tendances technologiques. N’hésite pas à parler de tes lectures récentes, de conférences auxquels tu as assisté ou même de projets open-source que tu pourrais avoir suivis ou rejoints.
