겟또DA제 겟또DA제

오늘 진행한 일 Spark 강의 수강 채용공고 및 JD 탐색 어제자 Spark 강의와 마찬가지로 Spark 사용 이전 단계에서 Spark를 다루지 않고 대용량 데이터를 처리하는 방법에 대해서 배웠다. 그 방법은 샘플링과 분할처리였다. 샘플링 기법에 대해서는 머신러닝을 하면서 어느 정도 알고 있는 부분이라고 생각했는데 강의를 들으면서 새롭게 안 사실들이 꽤 있었다. 대용량 파일을 Spark를 쓰지 않고 처리하는 방법 Sampling 전체 데이터가 많아서 분석이 어렵다면 일부 데이터만 분석하는 방법을 사용할 수 있다. 모델을 개발할 때만 샘플링을 하는 방법도 있고, 데이터가 넉넉하면 일부 데이터 분석으로 충분할 수도 있다. Random Sampling 랜덤 샘플링은 말 그대로 랜덤으로 데이터를 추출한 방법으..

내일배움캠프 본 캠프 2024년 1월 2주차 회고 이번 주차는 파이썬 심화 주차 및 팀 프로젝트 발제로 진행되었다. 이번 주차는 자료구조, 알고리즘, 웹 스크래핑, 팀프로젝트 발제 등 오전에 계속 ZOOM 미팅이 있어서 그런지 더 정신없게 지나간 한 주 였던 거 같다. 자료구조와 알고리즘의 경우에는 거의 대부분 개념적인 내용들이었고 코딩테스트 문제도 그렇게 어렵지 않게 풀 수 있었다. 웹 스크래핑의 경우에도 트러블 슈팅 좀 하다보면 익숙해질 수 있을 것 같은 느낌이었다. 애초에 모든 사이트가 다 다르게 생겼기 때문에 어차피 노가다 하면서 배워야할 것 같았지만 특강을 통해서 어떤 방식으로 크롤링 코드를 짜면 좋은 지는 감을 잡은 느낌이 들었다. 역시 문제는 SQL인데 SQL 코딩테스트 문제를 풀면서 그래도..

1. 오늘의 아티클 출처 : https://yozm.wishket.com/magazine/detail/1649/ 데이터 분석가가 되고 싶은 취준생을 위한 안내서 | 요즘IT 최근 저희 조직에 학부생 인턴으로 지원한 분들과 면접을 진행했습니다. 인터뷰를 통해 대학생들의 다양한 가치관과 생각, 그리고 앞으로의 목표 등을 배울 수 있는 기회였는데요. 면접에서 지 yozm.wishket.com 2. 아티클 정보 요약 데이터분석가 취직을 준비하고자 하는 사람들에게 데이터 경험과 이해도를 높이는 방법과 전략에 대해서 설명하고 있는 아티클이다. 신입 데이터 분석가로서 데이터 경험을 높이기 위해서는 아래의 내용이 중요하다고 필자는 설명한다. 1. 데이터 잘 정리된 토이 프로젝트용 데이터(캐글, 따릉이, 스타벅스)보다는..