Observability Pipeline Engineer in , us

Opportunité : Vous recherchez une occasion de combiner des compétences techniques approfondies avec une vision globale pour avoir un impact sur les systèmes dont les gens dépendent chaque jour ? Vous comprenez que l'observabilité commence par les données, et que chaque tableau de bord, alerte et enquête n'est aussi bon que la télémétrie qui le sous-tend.

En tant qu'ingénieur pipeline d'observabilité dans notre équipe, vous serez responsable de la télémétrie qui alimente la journalisation, la surveillance et l'analyse de sécurité dans des environnements commerciaux et gouvernementaux accrédités. Vos clients vous feront confiance non seulement pour construire et faire fonctionner le pipeline dans Cribl et Splunk, mais aussi pour l'évoluer - en livrant l'intégration des sources en tant que code, en appliquant l'IA au travail de parsing et de schéma qui a traditionnellement consommé des jours, et en construisant un pipeline qui détecte ses propres échecs avant que quiconque en aval ne soit affecté.

Dans notre équipe, vous élargirez vos compétences en OpenTelemetry et en normes de télémétrie. Ce rôle construit le pipeline lui-même. Le travail se situe en amont des tableaux de bord, alertes et recherches utilisés par tout le monde, et sa qualité détermine la leur.

Le candidat idéal vient d'un parcours en ingénierie des données, plateforme de logs, SIEM ou infrastructure d'observabilité et a géré des pipelines à fort volume en production sous des contraintes réelles de coût et de rétention.

Ce que vous allez faire :

• Construire et faire évoluer le pipeline de télémétrie qui transporte les logs, métriques et événements à travers chaque environnement accrédité, y compris les sources, le parsing, l'enrichissement, la normalisation, le routage et les destinations.
• Ingénierie de la plateforme de logs Splunk depuis l'architecture distribuée et la conception d'index jusqu'à l'intégration des données et la performance des recherches.
• Automatiser l'intégration des sources de bout en bout afin qu'ajouter une source de données soit une demande de tirage plutôt qu'un ticket, avec toute la configuration du pipeline gérée comme du code sous GitOps.
• Appliquer des outils d'IA au parsing, à la cartographie des schémas et à la normalisation, réduisant ainsi le travail qui prenait auparavant des jours.
• Instrumenter le pipeline pour détecter ses propres échecs, y compris les sources silencieuses, la dérive de schéma et les anomalies de volume et de coût, avant que quiconque en aval ne s'en aperçoive.
• Concevoir des stratégies de réduction, de cardinalité, de rétention et de masquage qui contrôlent les coûts, protègent les données sensibles par destination et maintiennent l'enregistrement opérationnel prouvable.

Vous avez :

• Plus de 4 ans d'expérience dans l'ingénierie de pipelines de télémétrie, de logs ou de données d'événements à l'échelle de l'entreprise.
• Expérience dans la construction et l'exploitation d'un niveau de routage de télémétrie tel que Cribl Stream, OpenTelemetry Collector, Vector, Fluent Bit ou Logstash, y compris la conception de schémas, le parsing, la normalisation, la réduction et la hiérarchisation de la rétention.
• Expérience avec une requête, y compris SPL, DQL, LogQL, PromQL ou KQL.
• Expérience dans la gestion du volume de données, de la cardinalité et des coûts sous des licences basées sur le volume ou la consommation.
• Expérience dans la gestion de la configuration en tant que code, y compris l'infrastructure en tant que code telle que la pratique GitOps et Terraform, à travers plusieurs environnements.
• Expérience dans l'écriture de code de production dans un langage tel que Python, travaillant avec des API REST, et administrant des systèmes Linux et Windows.
• Capacité à apprendre de nouveaux langages de requête.
• Autorisation secrète.
• Diplôme de licence en informatique, systèmes d'information ou ingénierie.

Il est souhaitable que vous ayez :

• Expérience dans la conception de processeurs et de pipelines OpenTelemetry Collector à grande échelle.
• Expérience dans la gestion de données PII ou sensibles dans la télémétrie, y compris le masquage et les contrôles de protection des données en transit.
• Expérience dans l'application d'outils d'IA au travail d'ingénierie des données, y compris le parsing, l'inférence de schéma ou la détection d'anomalies sur les flux de données et la validation de la sortie avant de lui faire confiance.
• Expérience avec des environnements cloud DoD tels qu'Azure ou AWS IL5 / IL6, y compris le contrôle des changements et les obligations de surveillance continue.
• Expérience avec l'ingénierie des données conforme au CIM.
• Certification Cribl Certified Observability Engineer (CCOE) ou certification équivalente.
• Certification Splunk Enterprise Certified Architect.

Engagement envers la non-discrimination : Tous les candidats qualifiés recevront une considération pour l'emploi sans égard à la race, à l'origine nationale, au sexe, au statut de vétéran protégé ou à tout autre statut protégé par la loi fédérale, étatique, locale ou internationale applicable.