Welcome to SW's place 🖥

데이터 엔지니어 꿈나무

7 posts

감각을 잃지 않기 위한 Api 기초 정리

아무리 기초적인 내용일지라 하더라도, 다른 일에 집중하느라 관심이 소홀해지면 오랜만에 다시 봤을 때 정확한 기억이 나지 않을 때가 있다. GitHub의 공개 프로젝트들을 탐방하며 기본 아키텍쳐, API 명세 등을 둘러보다가 아주 기본적인 지식들이 가물가물하게 떠올라서 자존심이 상한 채 Chat GPT와 함께 다시 복기를 했는데, 이런 경험의 빈도가 꽤 잦았던 것 같아 그 빈도를 줄이기 위해 복기 내용을 포스팅해놓고 틈날때마다 한번씩 보는 습관을...

May 21, 20253 min read12 views

Mar 10, 2025
Mar 10, 20254 min read15 views
Airflow Error: Already running on PID
Airflow Web UI 주소에 접속이 안되어서 airflow webserver 시스템 로그를 확인해 보았더니 이와 같은 에러 메세지가 출력되었다. 좀 더 자세하게 보면 Feb 20 07:45:21 jobfairy-airflow-server airflow[3521154]: [2025-02-20 07:45:21 +0000] [3521154] [INFO] Starting gunicorn 22.0.0 Feb 20 07:45:21 jobfairy-a...
4 min read15 views
Feb 11, 2025
Feb 11, 20255 min read17 views
[빅데이터를 지탱하는 기술] Ch1 빅데이터의 기초 지식 Review
이 글을 읽고 난 뒤 나의 생각
5 min read17 views
Nov 8, 2024
Nov 8, 20244 min read19 views
정규표현식 (RegExp) 문법 정리
데이터를 다룰 때, 잘하면 잘할수록 역량과 성과가 오르는 기술 중 하나가 정규표현식 (Regular Expression)이다. 정규표현식을 잘 알면 특정한 조건의 문자를 검색하거나 추출, 치환하는 과정을 매우 간편하게 처리 할 수 있다. 하지만 정규표현식은 숙달되어 있지 않다면 보자마자 한 눈에 파악하기 쉽지 않고 잘 헷갈리기 때문에 자주 사용되는 문법을 정리하여 익숙해지기 위해 포스팅을 시작한다. RegExp 반복/선택 관련 기호 ?: 바...
4 min read19 views
Aug 13, 2024
Aug 13, 20241 min read105 views
Airflow Connection Test 버튼 비활성화 해제하기
Testing connections is disabled in Airflow configuration. Contact your deployment admin to enable it. 해결하기 Airflow Webserver에서 Connection을 등록하려 하는데 Test버튼이 비활성화 되어 있었다. 이를 해결하기 위해선 airflow.cfg에 접근해줘야 하는데, 이를 위해선 2가지 방법이 존재한다. (airflow를 docker로 실행시키...
1 min read105 views
Jul 9, 2024
Jul 9, 20245 min read11 views
[Makers 멘토링] 2 주차 강의자료 : 데이터 웨어하우스와 SQL
💡 모든 자료 화면은 직접 제작한 것임을 알려드립니다. ETL은 변환(정제) 과정을 먼저 거친 후에 적재한다는 점에서 저장효율이 좋아 처음 인프라에 갖고 들어올 때 유리 ELT는 추출과 적재를 먼저 한 후에 변환은 필요할 때 진행한다. 따라서 이미 변환이 되어있는 데이터를 많이, 빠르게 가져올 때 일반적으로 사용되는 것이다. (DW에서 DM로 이동할 때 등) Star schema는 데이터 웨어하우스에서 가장 널리 사...
5 min read11 views
Jul 3, 2024
Jul 3, 20241 min read14 views
[Makers 멘토링] 1 주차 강의자료 : Data Engineering 소개와 Pandas Data Frame
💡 모든 자료 화면은 직접 제작한 것임을 알려드립니다. 8주 간의 강의 커리큘럼을 위와 같이 계획하고 진행하기로 했습니다. (8 주차 강의는 ‘bs4와 Selenium 데이터 크롤링’으로 변경) . . 데이터 엔지니어가 익숙하지 않은 학생들에게 데이터 직군의 이해를 쉽게 돕기 위한 설명 서비스 개발자라고 해서 빅데이터를 안다루는 것은 아닙니다! . Jupyter Notebook : https://colab.research.goo...
1 min read14 views

Latest articles

감각을 잃지 않기 위한 Api 기초 정리

Airflow Error: Already running on PID

[빅데이터를 지탱하는 기술] Ch1 빅데이터의 기초 지식 Review

정규표현식 (RegExp) 문법 정리

Airflow Connection Test 버튼 비활성화 해제하기

[Makers 멘토링] 2 주차 강의자료 : 데이터 웨어하우스와 SQL

[Makers 멘토링] 1 주차 강의자료 : Data Engineering 소개와 Pandas Data Frame