2 분 소요

현직자에게 배우는 IT(데이터 엔지니어링) 부문 취업과 직무 이야기

#직무 특강 #RSQUARE #BigData Engineer

데이터 엔지니어?

  • 하는일

    • 데이터 전처리(수집, 가공, 저장) => 데이터 분석가가 데이터를 활용하기 전에 그 데이터를 알맞게 구성해서 제공하는 역할

    • Data pipeline 설계 및 구축 (분석환경 support)

      데이터가 문제없이 자연스럽게 흘러가는 조직을 구성하는 일 => 환경 구축

    • DevOps에 필요한 개발

      플랫폼 구축 위해선 크고작은 개발작업 필요

      => 인프라(서버, 네트워크 등 하드웨어적인 느낌) 지식 필요한 경우도 有

    • 운영 , 개선 , 최적화

    • Communication

      특히 데이터 분석가, 데이터 과학자와 많이 !

데이터 처리과정

  • 수집 : ‘전국 부동산 데이터 수집’ => 몇 년치 수집? 데이터는 어디서 가져옴? 수집 주기?

    ​ > python으로 crawler 작성, 수집 서버를 설정해 배치처리 (shell script)

  • 가공 : 데이터 가공 형태가 정형화 된다면 이 역시 코드화 (주기적으로 배치 처리하는 코드 작성)

  • 저장 : 가공 끝난 데이터 저장 => 파일 형태로? RDBMS? NoSQL? (SQL 쿼리 & shell script 작성)

    *NoSQL : 자유로운 규격 -> 미리 정의할 필요없이 어떤 데이터든 집어넣을 수 있음

  • 분석

  • 시각화 : 이부분이 가장 부족하기 때문에 이부분 특화하면 good ~

꿀팁

  • 특강 다닌걸 정리해두고 나중에 활용하는 것도 좋음
  • 전공 프로젝트, 공모전 활용으로 level up ! : 책만 보고 ㄴㄴ 실제로 만들어봐야함 (작은 규모라도)
  • 학교 밖에서만 기회를 찾는 것보다 학교 안에서 좋은 기회를 찾는게 가성비굿
  • 다양한 세미나, 컨퍼런스 , 오픈소스 세미나 (good)
  • 느끼고 깨닫고 배운것을 글로 남기고 재해석해 자신의 것으로 만들어봄

가장 많이 하는 일

  1. Data 관련된 설계와 코딩

    설계작업 굉장히 ** => 그래야 개발 안꼬이고 시작 가능

  2. 회의

  3. 새로운 기술 연구

    방대한 IT 기술 중 최적화된 기술을 찾고 필요에 따라 커스터마이징

  • Tip : 애자일 관련 도서로 일반적인 IT 기업이 어떻게 일하는지 알 수 있음

직무 장점

  • 이 분야는 아직도 성장을 지속하며 다양한 세부 직군 창출 가능
  • 개발과 데이터에 넓게 걸쳐있어 다른 직군으로 soft landing 용이(개발자, DBA)
  • 다양한 최신 기술을 접할 수 있음 (이건 좀 단점일지도?)
  • 원하는 회사가 굉장히 많다 !

어떤 능력이 필요?

  • 전공 과목에 대한 기본기 : 기술 인터뷰, 코테들 다 전공 기초 서적에 있는 당연한 걸 물어보는게 많음

  • 새로운 기술을 학습하는 습관 : 다양한 tool, programming language, 플랫폼 등 적응성

  • 자신의 의도와 컨텐츠를 다른 직군에 사람들에게 전달할 수 있는 능력 => 기회가 있으면 나서서 하는 습관

  • 실습으로 채화 : 이론에 대한 기초를 세웠으면 반복되는 연습과 실습

  • 최소한의 SQL 능력 (직군 불문, 심지어 기획자라도)

  • 오픈소스 기술을 많이 알면 좋음 ex) 리눅스 (vs 윈도우 : 돈 받고 팔고, 소스코드 공개 x )

    => 다양한 개발자가 참여하기 때문에 트렌드 good

    => 오픈소스 관련 활동은 이력에도 도움이 많이 됨 !

  • Data Pipeline 구축을 위한 스트림 처리기술, 분산처리 기술

뭐부터 준비 ?

  • 원하는 회사나 부서의 최소 2-3년치 채용공고 찾아보기
  • requirements 를 다 채우는건 어자피 말이 안됨 ! 여기 있는걸 학습하고 경험해야할 것들임
  • 여러회사에서 중첩되는 requirement?

추천 도서

  • 견고한 데이터 엔지니어링 - 코드 없이 잔잔히 설명
  • 빅데이터를 지탱하는 기술
  • SQL로 시작하는 데이터 분석
  • 데이터 과학자 되는 법
  • 나는 Line 개발자 입니다

취업전 대학생활

  • 문과 성향이라면, 적응성 중요 : 용어에 대한 적응성, 아키텍처에 대한 이해 => 용어에 대한 전문성 up
  • 프로젝트의 주인공이 되어라 : 학내의 다양한 행사와 지원 활용
    • 엎여가는거 다티남 ! 주도적으로 프로젝트 진행한 것
    • 이력이 화려한 것보다 진정성 있게, 질을 봄
    • 관련 활동이면 어떤 것이던 나서서 하기

  • 대외활동 찾아보기

  • 기본기 무시 ㄴㄴ : 자료구조, 알고림, OS, DB, Network

    • 새롭고 유행하는 것들도 대부분 기본을 토대로 응용해서 만들어진거니까 !
  • 자신에게 맞는 스타일

    학습방식, 최고의 퍼포먼스를 낼 수 있는 컨디션, 건강관리, 일정관리

    (사회에서 찾을 시간 별로 없음)

  • 대학생만이 누릴 수 있는 특권을 찾자

    대학교는 돈을 들이지 않아도 누릴 수 있는 다양한 행사와 지원 진행

    => 시도를 많이 하자 : 무너저도 일어날 수 있는 습관

자소서

image-20230831194950209

  • 컨설팅 받은거 말고 나만의 표현법

image-20230831195238148

image-20230831205345891

  • 각 회사들이 주최하는 세미나 , 컨퍼런스, 행사에서 담당 직원들을 만나면 이런 부분들 자세히 들을 수 있음

댓글남기기

참고