Skip to main content
HashnodeWelcome to SW's place ๐Ÿ–ฅ

Command Palette

Search for a command to run...

Latest articles

  1. ๊ฐ๊ฐ์„ ์žƒ์ง€ ์•Š๊ธฐ ์œ„ํ•œ Api ๊ธฐ์ดˆ ์ •๋ฆฌ

    ์•„๋ฌด๋ฆฌ ๊ธฐ์ดˆ์ ์ธ ๋‚ด์šฉ์ผ์ง€๋ผ ํ•˜๋”๋ผ๋„, ๋‹ค๋ฅธ ์ผ์— ์ง‘์ค‘ํ•˜๋Š๋ผ ๊ด€์‹ฌ์ด ์†Œํ™€ํ•ด์ง€๋ฉด ์˜ค๋žœ๋งŒ์— ๋‹ค์‹œ ๋ดค์„ ๋•Œ ์ •ํ™•ํ•œ ๊ธฐ์–ต์ด ๋‚˜์ง€ ์•Š์„ ๋•Œ๊ฐ€ ์žˆ๋‹ค. GitHub์˜ ๊ณต๊ฐœ ํ”„๋กœ์ ํŠธ๋“ค์„ ํƒ๋ฐฉํ•˜๋ฉฐ ๊ธฐ๋ณธ ์•„ํ‚คํ…์ณ, API ๋ช…์„ธ ๋“ฑ์„ ๋‘˜๋Ÿฌ๋ณด๋‹ค๊ฐ€ ์•„์ฃผ ๊ธฐ๋ณธ์ ์ธ ์ง€์‹๋“ค์ด ๊ฐ€๋ฌผ๊ฐ€๋ฌผํ•˜๊ฒŒ ๋– ์˜ฌ๋ผ์„œ ์ž์กด์‹ฌ์ด ์ƒํ•œ ์ฑ„ Chat GPT์™€ ํ•จ๊ป˜ ๋‹ค์‹œ ๋ณต๊ธฐ๋ฅผ ํ–ˆ๋Š”๋ฐ, ์ด๋Ÿฐ ๊ฒฝํ—˜์˜ ๋นˆ๋„๊ฐ€ ๊ฝค ์žฆ์•˜๋˜ ๊ฒƒ ๊ฐ™์•„ ๊ทธ ๋นˆ๋„๋ฅผ ์ค„์ด๊ธฐ ์œ„ํ•ด ๋ณต๊ธฐ ๋‚ด์šฉ์„ ํฌ์ŠคํŒ…ํ•ด๋†“๊ณ  ํ‹ˆ๋‚ ๋•Œ๋งˆ๋‹ค ํ•œ๋ฒˆ์”ฉ ๋ณด๋Š” ์Šต๊ด€์„...

    May 21, 20253 min read12

  2. Airflow Error: Already running on PID

    Airflow Web UI ์ฃผ์†Œ์— ์ ‘์†์ด ์•ˆ๋˜์–ด์„œ airflow webserver ์‹œ์Šคํ…œ ๋กœ๊ทธ๋ฅผ ํ™•์ธํ•ด ๋ณด์•˜๋”๋‹ˆ ์ด์™€ ๊ฐ™์€ ์—๋Ÿฌ ๋ฉ”์„ธ์ง€๊ฐ€ ์ถœ๋ ฅ๋˜์—ˆ๋‹ค. ์ข€ ๋” ์ž์„ธํ•˜๊ฒŒ ๋ณด๋ฉด Feb 20 07:45:21 jobfairy-airflow-server airflow[3521154]: [2025-02-20 07:45:21 +0000] [3521154] [INFO] Starting gunicorn 22.0.0 Feb 20 07:45:21 jobfairy-a...

    Mar 10, 20254 min read15

  5. ์ •๊ทœํ‘œํ˜„์‹ (RegExp) ๋ฌธ๋ฒ• ์ •๋ฆฌ

    ๋ฐ์ดํ„ฐ๋ฅผ ๋‹ค๋ฃฐ ๋•Œ, ์ž˜ํ•˜๋ฉด ์ž˜ํ• ์ˆ˜๋ก ์—ญ๋Ÿ‰๊ณผ ์„ฑ๊ณผ๊ฐ€ ์˜ค๋ฅด๋Š” ๊ธฐ์ˆ  ์ค‘ ํ•˜๋‚˜๊ฐ€ ์ •๊ทœํ‘œํ˜„์‹ (Regular Expression)์ด๋‹ค. ์ •๊ทœํ‘œํ˜„์‹์„ ์ž˜ ์•Œ๋ฉด ํŠน์ •ํ•œ ์กฐ๊ฑด์˜ ๋ฌธ์ž๋ฅผ ๊ฒ€์ƒ‰ํ•˜๊ฑฐ๋‚˜ ์ถ”์ถœ, ์น˜ํ™˜ํ•˜๋Š” ๊ณผ์ •์„ ๋งค์šฐ ๊ฐ„ํŽธํ•˜๊ฒŒ ์ฒ˜๋ฆฌ ํ•  ์ˆ˜ ์žˆ๋‹ค. ํ•˜์ง€๋งŒ ์ •๊ทœํ‘œํ˜„์‹์€ ์ˆ™๋‹ฌ๋˜์–ด ์žˆ์ง€ ์•Š๋‹ค๋ฉด ๋ณด์ž๋งˆ์ž ํ•œ ๋ˆˆ์— ํŒŒ์•…ํ•˜๊ธฐ ์‰ฝ์ง€ ์•Š๊ณ  ์ž˜ ํ—ท๊ฐˆ๋ฆฌ๊ธฐ ๋•Œ๋ฌธ์— ์ž์ฃผ ์‚ฌ์šฉ๋˜๋Š” ๋ฌธ๋ฒ•์„ ์ •๋ฆฌํ•˜์—ฌ ์ต์ˆ™ํ•ด์ง€๊ธฐ ์œ„ํ•ด ํฌ์ŠคํŒ…์„ ์‹œ์ž‘ํ•œ๋‹ค. RegExp ๋ฐ˜๋ณต/์„ ํƒ ๊ด€๋ จ ๊ธฐํ˜ธ ?: ๋ฐ”...

    Nov 8, 20244 min read19
    ์ •๊ทœํ‘œํ˜„์‹ (RegExp) ๋ฌธ๋ฒ• ์ •๋ฆฌ

  6. Airflow Connection Test ๋ฒ„ํŠผ ๋น„ํ™œ์„ฑํ™” ํ•ด์ œํ•˜๊ธฐ

    Testing connections is disabled in Airflow configuration. Contact your deployment admin to enable it. ํ•ด๊ฒฐํ•˜๊ธฐ Airflow Webserver์—์„œ Connection์„ ๋“ฑ๋กํ•˜๋ ค ํ•˜๋Š”๋ฐ Test๋ฒ„ํŠผ์ด ๋น„ํ™œ์„ฑํ™” ๋˜์–ด ์žˆ์—ˆ๋‹ค. ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด์„  airflow.cfg์— ์ ‘๊ทผํ•ด์ค˜์•ผ ํ•˜๋Š”๋ฐ, ์ด๋ฅผ ์œ„ํ•ด์„  2๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด ์กด์žฌํ•œ๋‹ค. (airflow๋ฅผ docker๋กœ ์‹คํ–‰์‹œํ‚ค...

    Aug 13, 20241 min read105
    Airflow Connection Test ๋ฒ„ํŠผ ๋น„ํ™œ์„ฑํ™” ํ•ด์ œํ•˜๊ธฐ

  7. [Makers ๋ฉ˜ํ† ๋ง] 2 ์ฃผ์ฐจ ๊ฐ•์˜์ž๋ฃŒ : ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค์™€ SQL

    ๐Ÿ’ก ๋ชจ๋“  ์ž๋ฃŒ ํ™”๋ฉด์€ ์ง์ ‘ ์ œ์ž‘ํ•œ ๊ฒƒ์ž„์„ ์•Œ๋ ค๋“œ๋ฆฝ๋‹ˆ๋‹ค. ETL์€ ๋ณ€ํ™˜(์ •์ œ) ๊ณผ์ •์„ ๋จผ์ € ๊ฑฐ์นœ ํ›„์— ์ ์žฌํ•œ๋‹ค๋Š” ์ ์—์„œ ์ €์žฅํšจ์œจ์ด ์ข‹์•„ ์ฒ˜์Œ ์ธํ”„๋ผ์— ๊ฐ–๊ณ  ๋“ค์–ด์˜ฌ ๋•Œ ์œ ๋ฆฌ ELT๋Š” ์ถ”์ถœ๊ณผ ์ ์žฌ๋ฅผ ๋จผ์ € ํ•œ ํ›„์— ๋ณ€ํ™˜์€ ํ•„์š”ํ•  ๋•Œ ์ง„ํ–‰ํ•œ๋‹ค. ๋”ฐ๋ผ์„œ ์ด๋ฏธ ๋ณ€ํ™˜์ด ๋˜์–ด์žˆ๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋งŽ์ด, ๋น ๋ฅด๊ฒŒ ๊ฐ€์ ธ์˜ฌ ๋•Œ ์ผ๋ฐ˜์ ์œผ๋กœ ์‚ฌ์šฉ๋˜๋Š” ๊ฒƒ์ด๋‹ค. (DW์—์„œ DM๋กœ ์ด๋™ํ•  ๋•Œ ๋“ฑ) Star schema๋Š” ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค์—์„œ ๊ฐ€์žฅ ๋„๋ฆฌ ์‚ฌ...

    Jul 9, 20245 min read11
    [Makers ๋ฉ˜ํ† ๋ง] 2 ์ฃผ์ฐจ ๊ฐ•์˜์ž๋ฃŒ : ๋ฐ์ดํ„ฐ ์›จ์–ดํ•˜์šฐ์Šค์™€ SQL

  8. [Makers ๋ฉ˜ํ† ๋ง] 1 ์ฃผ์ฐจ ๊ฐ•์˜์ž๋ฃŒ : Data Engineering ์†Œ๊ฐœ์™€ Pandas Data Frame

    ๐Ÿ’ก ๋ชจ๋“  ์ž๋ฃŒ ํ™”๋ฉด์€ ์ง์ ‘ ์ œ์ž‘ํ•œ ๊ฒƒ์ž„์„ ์•Œ๋ ค๋“œ๋ฆฝ๋‹ˆ๋‹ค. 8์ฃผ ๊ฐ„์˜ ๊ฐ•์˜ ์ปค๋ฆฌํ˜๋Ÿผ์„ ์œ„์™€ ๊ฐ™์ด ๊ณ„ํšํ•˜๊ณ  ์ง„ํ–‰ํ•˜๊ธฐ๋กœ ํ–ˆ์Šต๋‹ˆ๋‹ค. (8 ์ฃผ์ฐจ ๊ฐ•์˜๋Š” โ€˜bs4์™€ Selenium ๋ฐ์ดํ„ฐ ํฌ๋กค๋งโ€™์œผ๋กœ ๋ณ€๊ฒฝ) . . ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๊ฐ€ ์ต์ˆ™ํ•˜์ง€ ์•Š์€ ํ•™์ƒ๋“ค์—๊ฒŒ ๋ฐ์ดํ„ฐ ์ง๊ตฐ์˜ ์ดํ•ด๋ฅผ ์‰ฝ๊ฒŒ ๋•๊ธฐ ์œ„ํ•œ ์„ค๋ช… ์„œ๋น„์Šค ๊ฐœ๋ฐœ์ž๋ผ๊ณ  ํ•ด์„œ ๋น…๋ฐ์ดํ„ฐ๋ฅผ ์•ˆ๋‹ค๋ฃจ๋Š” ๊ฒƒ์€ ์•„๋‹™๋‹ˆ๋‹ค! . Jupyter Notebook : https://colab.research.goo...

    Jul 3, 20241 min read14
    [Makers ๋ฉ˜ํ† ๋ง] 1 ์ฃผ์ฐจ ๊ฐ•์˜์ž๋ฃŒ : Data Engineering ์†Œ๊ฐœ์™€ Pandas Data Frame