Data_pipeline_project(toy_project).pdf
- data pipeline toy프로젝트입니다.
- log를 flume으로 수집한 후, HDFS와 kafka로 넘깁니다.
- kafka로 넘긴 데이터는 변형되어 MongoDB에 저장됩니다.
- 위의 프로젝트를 좀 더 개선하였습니다.
- hdfs 적재 이후, zeppelin을 통한 대시보드를 도입했습니다.
- transformer에 대한 처리를 모니터링하기위해, 카프카 랙을 grafana로 모니터링 대시보드를 만들었습니다.
- Piccoma(만화플랫폼)의 연관추천을 개선하는 프로젝트입니다.
- 회사에서 사용하는 pipe line을 경험해보고 이해해볼 수 있었습니다.
- 배포후_kafka이슈해결과정.pdf
- melon(음악플랫폼)에서 Diversity를 정량화하고 분석하는 프로젝트입니다.
- 마스크 쓴 인물 사진의 나이와 마스크 착용 여부, 성별을 맞추는 대회입니다.
- Baseline code와 Tensor board를 이용한 시각화 코드를 작성했습니다. 13th of 38teams