# [아주대-온라인 직무박람회] (판교 IT) 데이터엔지니어

- Author: @mildsalmon
- Published: 2021-07-29
- Updated: 2021-07-29
- Source: http://blex.me/@mildsalmon/%EC%95%84%EC%A3%BC%EB%8C%80-%EC%98%A8%EB%9D%BC%EC%9D%B8-%EC%A7%81%EB%AC%B4%EB%B0%95%EB%9E%8C%ED%9A%8C-%ED%8C%90%EA%B5%90-it-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4
- Tags: 자기소개서, 직무교육, 데이터엔지니어, 아주대, 데이터사이언티스트, 하둡, 데이터분석가

---

# 발췌요약

- 데이터 엔지니어링 : 데이터 정제, 파이프라인
	- 직무 소개
		- 수집된 데이터 ETL
		- ETL 파이프라인 개발
		- 데이터 추출, 분석
	- 도입부 설명
		- CS 지식만 있으면 됨.
		- 학사가 많음
		- 데이터 생산자.
	- 하는일
		- 데이터 분석
		- 데이터 파이프라인 개발 및 운영
			- Hadoop, airflow, druid, spark, presto
		- 데이터 분석 대시보드 개발
			- Tableau
		- 데이터 분석 서비스 모니터링 시스템 개발
			- React, Flask, typescript
	- 직무 개요
		- 데이터 파이프라인 개발
			- 다양한 팀에서 수집된 데이터 ETL 인프라 개발
			- 운영
		- 데이터 파이프라인 모니터링
			- ETL 인프라 모니터링 시스템 개발
			- ETL 인프라 모니터링
		- 데이터 분석
			- 타 팀과의 커뮤니케이션
			- 요청 받은 데이터 추출, 분석
	- 주요 업무
		- 데이터 추출 업무
			- Legacy SQL, 요청 정보 이해
				- 기존에 분석되고 있는 데이터의 형태와 SQL을 이해
				- 추출 요청을 파악하면서 제공할 수 있는 요청사항은 어느 부분인지 제공할 수 없는 부분은 어느 부분인지, 추가로 제공할 수 있는 정보는 어떤 정보인지를 커뮤니케이션
			- 데이터 추출 / 적재
				- 분석 요청 정보를 기준으로 데이터를 추출하고 적재
				- 항상 정책 확인이 필요함
			- 데이터 시각화
				- 적재한 데이터를 태블로에 연결해서 대시보드를 구성, 제공
		- 데이터 파이프라인 구축 및 운영
			![](https://static.blex.me/images/content/2021/7/29/12_e5M6KLNHvsLgoC0xXnDZ.jpg)
	- 필요 역량
		- 커뮤니케이션 역량
		- 학습역량
		- 꼼꼼함

- 데이터 사이언티스트 : 데이터 모델링, 통계 모델
	- 직무 소개
		- 가설에 기반한 데이터 모델링
			- 추천 모델
			- 분류 모델
		- 통계 모델 생성
		- 데이터 추출, 분석
		- 대시보드 생성
	- 도입부 설명
		- 경험 있어야 지원 가능.
		- 기본 석사
		- 데이터 소비자
		- 연구팀

- 데이터 분석가 : 사업, 비즈니스 의사결정
	- 직무소개
		- 서비스 개선을 위해 데이터 기반 제품 / 사업분석
		- 데이터 추출, 분석 지원
		- 데이터 분석 대시보드 생성
		- 왜?
		- 인사이트 찾기
	- 도입부 설명
		- 경험 있어야 지원 가능.
		- 도메인 지식이 있는 분들이 감.
		- 석사는 그닥 필요없음
		- 데이터를 가지고 노는게 재밌다.
		- 데이터 소비자
		- SQL을 아는 기획자.
	- 역량
		- 통계 지식
		- Kaggle
		- 데이터 분석 해봤는지
		- 데이터에서 인사이트를 추출할 줄 아는지

![](https://static.blex.me/images/content/2021/7/29/12_Pxvnh6PoFkHXmpElvpqN.jpg)

- 엔지니어 -> 사이언스, 분석가
	- 많은 공부가 필요함.
	- 엔지니어는 통계적 지식 필요 X
	- 사이언스, 분석가는 통계적 지식이 많이 필요

알고리즘 필요.

경력이 중요. 경험.

빅데이터는 하둡, 스파크 공부

- 실무경험 / 전공 공부 / 자격증 / 자기소개서 작성 등
	- "어떤 결과를 보여줄 수 있을까? 그걸 업무에서 어떻게 활용할 수 있을까?"
	- "어떤 결과를 내고 싶을까?"
	- 학점으로 어필하는 성실함과 열정
	- 개발자는 자격증보다는 포트폴리오, Github
- 자소서 작성 TIP
	- 배움을 넘어서, 어떤 결과를 냈지? 지표화
	- 내가 가진 역량을 활용할 줄 안다는걸 어떻게 보여주지?
	- 내가 해온 고민들을 어떻게 보여주지?
- 면접 후기 및 면접 준비 과정
	- 인성면접
		- 내 자신에 대해 고민한 흔적
		- 내가 가진 철학
		- "왜" 그걸 하고 싶어요
	- 기술면접
		- 프로젝트 기술에 대한 깊은 이해
		- 팀원들과의 커뮤니케이션 능력

# 내 생각

데이터 엔지니어도 관심있는 직무이다.

일단 준비할 것이 코딩테스트, 포트폴리오. 그리고 그것을 한 이유. 깃헙을 좀 더 깔끔하게 관리하고, 블로그도 깔끔하게 관리해보자. 포트폴리오를 작성할 때 블로그의 시리즈 링크를 따로 따서 첨부하자. 해당 타이틀은 가능하면 동사형태로 작성하여 읽은이의 호기심을 유발하자.

대학원도 가고는 싶은데, 코로나로인한 경제적 타격부터 해결하자.

# 참고문헌

[2021 아주대학교 온라인 직무박람회 (ajou.ac.kr)](https://jobfair.ajou.ac.kr/live/live_sub01_video.html?idx=4). 아주대학교 온라인 직무박람회. (accessed Jul 29, 2021)

#자기소개서 #아주대	#직무교육 #데이터엔지니어	#데이터사이언티스트	#데이터분석가	#하둡 #스파크 #자바 #파이썬 #알고리즘