Pori_IT

블로그 내용을 위해서 간단하더라도 양을 많이 채워보자라는 느낌으로 글들을 작성했다.

생각보다 더 조회수는 나오지 않았고, 특정 포스팅에 조회가 몰리는 현상이 발생했다.

또한 글을 작성하면서 만족스럽지 못한 퀄리티에 실망했던 적도 많았다.(특히 TIL)

TIL이 무슨 소용일까 어차피 매일 공부하고 기록하는데

차라리 블로그에는 알찬 정보들로 구성해서 내가 두고두고 다시 보아도 도움이 되는 글들을 만들어 놓는 것이 좋을 것이라 판단했다.

특히 TIL의 경우 카테고리 선정이 꽤나 힘들었고 자료를 다시 찾는 과정도 불편했다.

이제는 포스팅 주기는 길지만 알찬 포스팅으로 준비해보려한다.

어차피 공부용 블로그지만 다른 분들도 좋은 포스팅을 함께 보는 게 더 낫지 않을까 싶다.

snowflake ascent - korea에 참가했다.

snowflake에 대해서 막연하게만 알고있었는데

많은 것들을 경험할 수 있었던 좋은 기회였다.

Snowflake free trial을 이용해서 다양한 실습을 진행하고 배워보는 시간이였는데

과거 snowflake를 간단하게 사용한 기억을 되짚어가면서 기초를 다시한번 다질 수 있었다.

간단하게 snowflake 소개(당연..?)부터 Role을 지정하고, 스키마생성, 데이터 적재, Staging을 해보고

정형 데이터 뿐 아니라 반정형 데이터도 다루어보는 시간을 가졌다.

Json을 올리는 과정이 신기했는데 Glue Script를 이용해서 중첩된 Json을 Spark로 풀어봤던 과정을

간단하게 SQL을 이용하면서 진행하는 것이 인상깊었다.

생각보다 일상글은 가운데 정렬이 보기 편한 느낌이다.

이번에 이런 행사를 처음 접해봤는데 정말 재미있었다.

중간에 점심도 제공해줘서 이거 정말 갈만한걸?

조금 많이 찾아보고 참석해봐야겠다. 새로운 것들을 배워가는 재미가 쏠쏠하다.

https://velog.io/@pori/posts

데브코스에서 배웠던 지식을 조금 정리하고 보완하기위해서

DataTalksClub에서 진행하는 data-enginnering-zoomcamp를 들어보려한다.

수행 과정 및 결과는 정리되어 블로그에 개시할 계획이고, 자세한 코드는 github에 남겨두려한다.

https://github.com/poriz/data-engineering-zoomcamp-poriz