네트워킹을 통해 배운 것들

 
11월 초부터 12월 말까지 우아한 스터디에 참가하여 Dask와 Ray에 대해 알아볼 수 있었습니다. 평소 업무를 하면서 기술적인 어려움이 있어도 내부적으로 해결이 어려울 때가 있었습니다. 그럴 때 마다 다른 회사에서는 어떻게 이러한 문제들을 해결하는지 궁금증이 있었습니다. 이외에도 다른 산업군이나 서비스에서는 어떻게 데이터를 활용하고 어려움들을 해결하는지 들어보고 싶다고 생각했는데 기회가 되어 스터디에 참여할 수 있었습니다. 
 
업무를 수행하면서 대용량 parquet 파일을 읽고 pandas로 변환할 때 메모리 에러를 경험한 적이 있습니다. 'pyspark to_pandas memory error' 라고 검색하면 다양한 에러 사례들이 나오곤 합니다. 이 문제는 dask 에서 parquet를 읽는 방식으로 해결한 경험이 있습니다. 스터디에서 Polars를 사용하셨던 경험을 공유해주셔서, 추후에 비슷한 문제에 처할 때 Polars를 사용해서도 접근해 봐야겠다고 생각했습니다.
 
dask와 ray에서 ml 문제를 처리하는 방식들도 흥미로웠는데요, dask ml에서는 기존 sklearn의 메서드들과 동일한 사용 방식으로 구현되어 기존 sklearn 사용자들이 사용법을 익히기에 진입 장벽이 낮아 보였습니다. 그리고 Pytorch(Skorch)와 Keras(SciKeras) 에서도 Scikit-learn과 호환되게 래핑한 후 Dask ml의 parameter search를 이용할 수 있다는 것도 흥미로웠습니다. ray tune도 환경이 잘 구축되어있다면 효과적인 속도 개선이 되는 것을 알게 되었습니다. 다만 버전에 따라 호환되지 않는 메서드가 있어서 이 부분은 주의가 필요해 보였습니다.
 
dask, ray외에도 duckdb, polars도 접해볼 수 있었습니다. 각각의 프레임워크를 깊이 있게 다루기에는 시간상에 어려움이 있었으나, 활용 사례나 특징들을 알게되고 각자의 분야에서 적용하는 방식을 들어볼 수 있어서 유익한 시간이었습니다.
 
그리고 12월에는 멀티캠퍼스에서 도커와 쿠버네티스 오프라인 교육도 듣고, 이사도 하고, 개인적으로 많이 힘이 들었던 한 달이었습니다. 그 와중에도 걸스인텍과 친구들 밋업도 다녀오며 다양한 분들과 이야기를 들어볼 수 있었습니다. 23년 도전하고 싶었던 것 중 하나가 네트워킹 활동들에 참여해서 식견을 넓히는 것이었습니다. 저의 고민에 대해서도 나누어보고 다양한 경험을 들어보며 자신에 대해서 좀 더 알게 되는 시간이 되었습니다. 
 
24년에도 함께 성장할 수 있는 곳에서 성장하는 한 해가 되기를 기원합니다 !