Senior AI Data Pipeline Engineer

ABOUT THE TEAM & MISSION

42dot의 AI 데이터 파이프라인 엔지니어는 전 세계에서 수집되는 데이터를 처리하고 관리하는 글로벌 데이터 파이프라인을 설계하고 확장합니다. 페타바이트(PB)급 데이터를 대규모 GPU 인프라에 안정적으로 전달하여, 핵심적인 AI 워크로드를 가동하는 고처리량 시스템을 구축하고 운영하게 됩니다.

At 42dot, our AI Data Pipeline Engineer architect and scale global data pipelines that ingest and process data from worldwide sources. You will design and operate high-throughput systems to reliably deliver petabyte-scale data to our large-scale GPU infrastructure, powering mission-critical AI workloads.

RESPONSIBILITIES

• 다양한 AI 및 머신러닝 프로젝트를 지원하기 위한 고성능·고확장성 데이터 파이프라인 설계 및 구축

• 글로벌 데이터 가용성 및 원활한 동기화를 위한 멀티 리전(Multi-region) 데이터 인프라 아키텍처 설계 및 구현

• 여러 AI 프로젝트를 동시 지원할 수 있도록 복잡한 브랜칭 및 로직 격리가 가능한 유연한 파이프라인 아키텍처 개발

• Databricks 및 Spark를 활용한 대규모 데이터 처리 워크로드 최적화(처리량 극대화 및 비용 최소화)

• Kubernetes 기반 컨테이너 데이터 환경 유지 보수 및 고도화로 데이터 워크로드의 안정적 실행 보장

• AI 리서처 및 플랫폼 팀과 협업하여 고품질 데이터를 학습 및 평가 파이프라인으로 효율적으로 공급

• Design and build high-performance, scalable data pipelines to support diverse AI and Machine Learning initiatives across the organization.

• Architect and implement multi-region data infrastructure to ensure global data availability and seamless synchronization.

• Develop flexible pipeline architectures that allow for complex branching and logic isolation to support multiple concurrent AI projects.

• Optimize large-scale data processing workloads using Databricks and Spark to maximize throughput and minimize processing costs.

• Maintain and evolve the containerized data environment on Kubernetes, ensuring robust and reliable execution of data workloads.

• Collaborate with AI researchers and platform teams to streamline the flow of high-quality data into training and evaluation pipelines.

QUALIFICATIONS

• 대규모 AI/ML 데이터셋을 위한 프로덕션급 데이터 파이프라인 구축 및 운영 경험

• Apache Spark 및 Databricks 생태계 등 분산 처리 프레임워크에 대한 높은 숙련도

• Apache Airflow 등 워크플로우 오케스트레이션 도구를 활용한 복잡한 의존성 관리 및 실무 경험

• Kubernetes 및 컨테이너 기술을 활용한 데이터 처리 컴포넌트 배포 및 확장 능력

• Apache Kafka 등 분산 메시징 시스템을 활용한 고처리량 데이터 수집 및 이벤트 기반 아키텍처 이해

• Python을 활용한 시스템 레벨 최적화 및 수준 높은 프로그래밍 역량

• 보안과 확장성을 고려한 클라우드 네이티브 서비스 및 인프라 구축 best practices에 대한 이해

• 복잡하고 거대한 시스템에서 근본 원인을 찾아 해결하는 논리적인 문제 해결 능력

• 다양한 유관 부서 및 파트너와 원활하게 소통할 수 있는 커뮤니케이션 역량

• Extensive professional experience in building and operating production-grade data pipelines for massive-scale AI/ML datasets.

• Strong proficiency in distributed processing frameworks, particularly Apache Spark and the Databricks ecosystem.

• Deep hands-on experience with workflow orchestration tools like Apache Airflow for managing complex dependency graphs.

• Solid understanding of Kubernetes and containerization for deploying and scaling data processing components.

• Proficiency in distributed messaging systems such as Apache Kafka for high-throughput data ingestion and event-driven architectures.

• Expert-level programming skills in Python for system-level optimizations.

• Strong knowledge of cloud-native services and best practices for building secure and scalable data infrastructure.

• Logical approach to problem-solving with the persistence to identify and resolve root causes in complex, large-scale systems.

• Strong communication skills to effectively collaborate with cross-functional teams and external partners.

PREFERRED QUALIFICATIONS

• 글로벌 멀티 리전 파이프라인 설계 및 국가 간 데이터 전송/지연 시간(Latency) 이슈 해결 경험

• Ray 등 AI 워크로드를 위한 분산 컴퓨팅 프레임워크 구현 경험 또는 깊은 관심

• Spark Streaming 또는 Flink를 이용한 실시간/준실시간(Near real-time) 파이프라인 구축 경험

• Terraform 등 Infrastructure as Code(IaC) 도구를 활용한 복잡한 데이터 환경 관리 경험

• 전체 ML 생애주기(MLOps) 및 데이터 인프라가 모델 실험과 배포를 지원하는 메커니즘에 대한 이해

• Experience in architecting global, multi-region data pipelines and solving challenges related to cross-border data transfer and latency.

• Practical experience or a strong interest in implementing distributed computing frameworks like Ray for AI workloads.

• Experience in building real-time or near-real-time pipelines using Spark Streaming or Flink.

• Familiarity with Infrastructure as Code (IaC) tools such as Terraform to manage complex data environments.

• Understanding of the end-to-end ML lifecycle (MLOps) and how data infrastructure supports model experimentation and deployment.

INTERVIEW PROCESS

1. 서류 전형

2. 코딩 테스트

3. 1차 면접 (화상, 1시간 내외)

4. 2차 면접 (대면 혹은 화상, 3시간 내외)

5. 처우 협의·입사

6. Application Screening

7. Coding Test

8. First Interview (Virtual, approximately 1 hour)

9. Second Interview (In-person or Virtual, approximately 3 hours)

10. Offer Discussion / Onboarding

ADDITIONAL INFORMATION

• 전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다.

• 지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.

• 지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, recruit@42dot.ai로 문의해 주시기 바랍니다.

• 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.

• 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.

• 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.

• 지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다.

• 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.

• 3개월의 수습기간이 적용될 수 있습니다.

• The recruitment process may change depending on schedule and progress; the result of each stage will be sent individually to your registered email.

  Please do not include legally prohibited information in your application (e.g., ID number, family relations, marital status, salary, photo, physical details, hometown).

• For application errors or inquiries, contact recruit@42dot.ai.

• Veterans and applicants eligible for employment protection will receive preferential consideration in accordance with applicable laws and regulations.

• In compliance with the Act on Employment Promotion and Vocational Rehabilitation for Persons with Disabilities, registered individuals with disabilities will receive preferential consideration.

• 42dot does not accept unsolicited resumes from search firms. We will not pay any fees for resumes submitted without prior agreement.

• False information in your application may result in offer cancellation.

  A reference check may be conducted after the interview process, with your consent.

• A 3-month probationary period may apply.