데브시스터즈의 데이터 엔지니어는 수많은 게임, 웹사이트로부터 쏟아지는 각종 비정형 데이터를 일관성 있고 표준화된 데이터 형식으로 가공하여, 안전하게 손실없이 저장되기까지의 모든 과정을 담당하고 있습니다. 또한 효율적인 워크플로우를 통해, 사람의 작업이 최소화 될 수 있도록 시스템을 설계, 운영하고 있습니다.

더 나아가 데이터 엔지니어는 데이터를 추출, 분석 하고자 하는 모든 이들에게 보다 쉽고 편리한 방법으로 데이터를 제공할 수 있도록 끊임없이 고민하고, 좋은 솔루션을 제공하는데 노력하는 사람들입니다.

데이터 기반의 의사결정으로 유저의 경험에 변화를 만들기까지, 모든 단계를 조금 더 유연하고 신속하게 실행할 수 있도록 기술적으로 돕는 것. 데이터 엔지니어의 궁극적 목표입니다.


담당 업무
• Data Warehouse: 대용량 데이터를 저장하고 처리 할 수 있는 웨어하우스 설계 및 운영
• Mass Data processing: 하루에 수 테라바이트(TB) 에 달하는 데이터를 효율적으로 가공하고 분석, 배치 프로세스 설계 및 모니터링
• Distributed Computing: Spark Cluster 를 활용해 1대의 서버에서 처리하기 힘든 대용량의 데이터를 빠르게 분석
• Real Time Analysis: 게임, 마케팅 별 주요 지표를 실시간으로 분석하여 대시보드 형태로 제공