발췌요약
- 데이터 엔지니어링 : 데이터 정제, 파이프라인
- 직무 소개
- 수집된 데이터 ETL
- ETL 파이프라인 개발
- 데이터 추출, 분석
- 도입부 설명
- CS 지식만 있으면 됨.
- 학사가 많음
- 데이터 생산자.
- 하는일
- 데이터 분석
- 데이터 파이프라인 개발 및 운영
- Hadoop, airflow, druid, spark, presto
- 데이터 분석 대시보드 개발
- Tableau
- 데이터 분석 서비스 모니터링 시스템 개발
- React, Flask, typescript
- 직무 개요
- 데이터 파이프라인 개발
- 다양한 팀에서 수집된 데이터 ETL 인프라 개발
- 운영
- 데이터 파이프라인 모니터링
- ETL 인프라 모니터링 시스템 개발
- ETL 인프라 모니터링
- 데이터 분석
- 타 팀과의 커뮤니케이션
- 요청 받은 데이터 추출, 분석
- 주요 업무
- 데이터 추출 업무
- Legacy SQL, 요청 정보 이해
- 기존에 분석되고 있는 데이터의 형태와 SQL을 이해
- 추출 요청을 파악하면서 제공할 수 있는 요청사항은 어느 부분인지 제공할 수 없는 부분은 어느 부분인지, 추가로 제공할 수 있는 정보는 어떤 정보인지를 커뮤니케이션
- 데이터 추출 / 적재
- 분석 요청 정보를 기준으로 데이터를 추출하고 적재
- 항상 정책 확인이 필요함
- 데이터 시각화
- 적재한 데이터를 태블로에 연결해서 대시보드를 구성, 제공
- 데이터 파이프라인 구축 및 운영
- 필요 역량
- 커뮤니케이션 역량
- 학습역량
- 꼼꼼함
- 데이터 사이언티스트 : 데이터 모델링, 통계 모델
- 직무 소개
- 가설에 기반한 데이터 모델링
- 추천 모델
- 분류 모델
- 통계 모델 생성
- 데이터 추출, 분석
- 대시보드 생성
- 도입부 설명
- 경험 있어야 지원 가능.
- 기본 석사
- 데이터 소비자
- 연구팀
- 데이터 분석가 : 사업, 비즈니스 의사결정
- 직무소개
- 서비스 개선을 위해 데이터 기반 제품 / 사업분석
- 데이터 추출, 분석 지원
- 데이터 분석 대시보드 생성
- 왜?
- 인사이트 찾기
- 도입부 설명
- 경험 있어야 지원 가능.
- 도메인 지식이 있는 분들이 감.
- 석사는 그닥 필요없음
- 데이터를 가지고 노는게 재밌다.
- 데이터 소비자
- SQL을 아는 기획자.
- 역량
- 통계 지식
- Kaggle
- 데이터 분석 해봤는지
- 데이터에서 인사이트를 추출할 줄 아는지
- 직무 소개
- 수집된 데이터 ETL
- ETL 파이프라인 개발
- 데이터 추출, 분석
- 도입부 설명
- CS 지식만 있으면 됨.
- 학사가 많음
- 데이터 생산자.
- 하는일
- 데이터 분석
- 데이터 파이프라인 개발 및 운영
- Hadoop, airflow, druid, spark, presto
- 데이터 분석 대시보드 개발
- Tableau
- 데이터 분석 서비스 모니터링 시스템 개발
- React, Flask, typescript
- 직무 개요
- 데이터 파이프라인 개발
- 다양한 팀에서 수집된 데이터 ETL 인프라 개발
- 운영
- 데이터 파이프라인 모니터링
- ETL 인프라 모니터링 시스템 개발
- ETL 인프라 모니터링
- 데이터 분석
- 타 팀과의 커뮤니케이션
- 요청 받은 데이터 추출, 분석
- 데이터 파이프라인 개발
- 주요 업무
- 데이터 추출 업무
- Legacy SQL, 요청 정보 이해
- 기존에 분석되고 있는 데이터의 형태와 SQL을 이해
- 추출 요청을 파악하면서 제공할 수 있는 요청사항은 어느 부분인지 제공할 수 없는 부분은 어느 부분인지, 추가로 제공할 수 있는 정보는 어떤 정보인지를 커뮤니케이션
- 데이터 추출 / 적재
- 분석 요청 정보를 기준으로 데이터를 추출하고 적재
- 항상 정책 확인이 필요함
- 데이터 시각화
- 적재한 데이터를 태블로에 연결해서 대시보드를 구성, 제공
- Legacy SQL, 요청 정보 이해
- 데이터 파이프라인 구축 및 운영
- 데이터 추출 업무
- 필요 역량
- 커뮤니케이션 역량
- 학습역량
- 꼼꼼함
- 직무 소개
- 가설에 기반한 데이터 모델링
- 추천 모델
- 분류 모델
- 통계 모델 생성
- 데이터 추출, 분석
- 대시보드 생성
- 가설에 기반한 데이터 모델링
- 도입부 설명
- 경험 있어야 지원 가능.
- 기본 석사
- 데이터 소비자
- 연구팀
- 직무소개
- 서비스 개선을 위해 데이터 기반 제품 / 사업분석
- 데이터 추출, 분석 지원
- 데이터 분석 대시보드 생성
- 왜?
- 인사이트 찾기
- 도입부 설명
- 경험 있어야 지원 가능.
- 도메인 지식이 있는 분들이 감.
- 석사는 그닥 필요없음
- 데이터를 가지고 노는게 재밌다.
- 데이터 소비자
- SQL을 아는 기획자.
- 역량
- 통계 지식
- Kaggle
- 데이터 분석 해봤는지
- 데이터에서 인사이트를 추출할 줄 아는지
- 엔지니어 -> 사이언스, 분석가
- 많은 공부가 필요함.
- 엔지니어는 통계적 지식 필요 X
- 사이언스, 분석가는 통계적 지식이 많이 필요
알고리즘 필요.
경력이 중요. 경험.
빅데이터는 하둡, 스파크 공부
- 실무경험 / 전공 공부 / 자격증 / 자기소개서 작성 등
- "어떤 결과를 보여줄 수 있을까? 그걸 업무에서 어떻게 활용할 수 있을까?"
- "어떤 결과를 내고 싶을까?"
- 학점으로 어필하는 성실함과 열정
- 개발자는 자격증보다는 포트폴리오, Github
- 자소서 작성 TIP
- 배움을 넘어서, 어떤 결과를 냈지? 지표화
- 내가 가진 역량을 활용할 줄 안다는걸 어떻게 보여주지?
- 내가 해온 고민들을 어떻게 보여주지?
- 면접 후기 및 면접 준비 과정
- 인성면접
- 내 자신에 대해 고민한 흔적
- 내가 가진 철학
- "왜" 그걸 하고 싶어요
- 기술면접
- 프로젝트 기술에 대한 깊은 이해
- 팀원들과의 커뮤니케이션 능력
- 인성면접
내 생각
데이터 엔지니어도 관심있는 직무이다.
일단 준비할 것이 코딩테스트, 포트폴리오. 그리고 그것을 한 이유. 깃헙을 좀 더 깔끔하게 관리하고, 블로그도 깔끔하게 관리해보자. 포트폴리오를 작성할 때 블로그의 시리즈 링크를 따로 따서 첨부하자. 해당 타이틀은 가능하면 동사형태로 작성하여 읽은이의 호기심을 유발하자.
대학원도 가고는 싶은데, 코로나로인한 경제적 타격부터 해결하자.
참고문헌
2021 아주대학교 온라인 직무박람회 (ajou.ac.kr). 아주대학교 온라인 직무박람회. (accessed Jul 29, 2021)
#자기소개서 #아주대 #직무교육 #데이터엔지니어 #데이터사이언티스트 #데이터분석가 #하둡 #스파크 #자바 #파이썬 #알고리즘
Ghost