๋ฐ์—”์œผ๋กœ ์„ฑ์žฅ์ค‘ ๐ŸŒฑ

๋งˆ์นจํ‘œ๋ฅผ ์ฐ๊ธฐ ๊นŒ์ง€

๋งˆ์ง€๋ง‰ ๊ทธ๋ฆฌ๊ณ  ๋‹ค์‹œ ์‹œ์ž‘

์จ๋ฐ 2024. 11. 18. 16:07

 

(11์›”์— ์ผ๋˜ ๊ธ€์ธ๋ฐ, ๋น„๊ณต๊ฐœํ–ˆ๋˜ ๊ธ€์„ ์ด์ œ๋Š” ์ผ๋ถ€ ์ˆ˜์ •ํ–ˆ์ง€๋งŒ...๊ณต๊ฐœ๋กœ ํ’€ ์ˆ˜ ์žˆ์„ ๊ฒƒ ๊ฐ™์•„์„œ ์˜ฌ๋ ค๋ณธ๋‹ค.)

 


 

 

6์›” ์ดˆ๋ถ€ํ„ฐ 9์›” ๋ง๊นŒ์ง€ ํ”„๋กœ์ ํŠธ ์ง„ํ–‰ํ•˜๊ณ , ๋ฐ”๋กœ ๋‹ค์Œ ํ”„๋กœ์ ํŠธ ์ค€๋น„ํ•˜๋А๋ผ ๋ฐ”์œ ์š”์ฆ˜์ด๋‹ค.

 

์‚ฌ์‹ค ๊ทธ ์ „๊ธ€๋งŒ ๋ด๋„ ๋А๊ปด์ง€๊ฒ ์ง€๋งŒ ๊ทธ๋•Œ ์—„์ฒญ ํ˜„ํƒ€๊ฐ€ ์Ž„๊ฒŒ ์™”์—ˆ์—ˆ๋‹ค.

๊ฒฐ๊ตญ ํšŒ์‚ฌ์— ์ด๋Ÿฐ ํž˜๋“  ์ ๋“ค์„ ๋ง์”€๋“œ๋ ธ๊ณ , ๋ฐ˜์˜์„ ๋น ๋ฅด๊ฒŒ ํ•ด์ฃผ์‹œ๊ฒŒ ๋˜์–ด์„œ ํ”„๋กœ์ ํŠธ ํˆฌ์ž…์ด ๋œ ๊ฒƒ ๊ฐ™๋‹ค.

์ง€๊ธˆ ์ƒ๊ฐํ•ด๋ณด๋ฉด ์ฃ„์†กํ•œ ๋งˆ์Œ์ด ๋“ค๋ฉด์„œ๋„ ํ˜ผ์ž ๋™๋™ ์•“๋Š” ๊ฒƒ๋ณด๋‹จ ๊ทธ๋ž˜๋„ ๋ง์”€ ๋“œ๋ ธ๋˜ ๊ฒŒ ์ข‹์•˜๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

 

 

2024.06ๆœˆ

 

๊ทธ๋ ‡๊ฒŒ ์–ป๊ฒŒ ๋œ(..?) S์‚ฌ ํ”„๋กœ์ ํŠธ.

์œ„์น˜๋Š” ์—ฌ์˜๋„ ํŒŒํฌ์›์ด์—ˆ๋‹ค. ๊ทธ ๋นจ๊ฐ„ ๊ฑด๋ฌผ ใ…Žใ…Ž

 

ํŒŒํฌ์› ์ฒซ ์ถœ๊ทผ๋‚ 

 

 

ํ”„๋กœ์ ํŠธ ์ค‘ํ›„๋ฐ˜ ๋ถ€์— ํˆฌ์ž…๋œ๊ฑฐ๋ผ ์ด๋ฏธ ๊ฐœ๋ฐœ์„ ๋งŽ์ด ํ•ด๋‘์…”์„œ, ์ฒ˜์Œ์—” ๋…ธํŠธ๋ถ ์„ธํŒ…ํ•˜๊ณ  ํžˆ์Šคํ† ๋ฆฌ์™€ ํฐ ํ๋ฆ„์„ ์ดํ•ดํ•˜๋Š” ๋ฐ ์‹œ๊ฐ„์„ ๋งŽ์ด ํˆฌ์žํ–ˆ๋‹ค.

๋งŒ๋“ค์–ด๋‘์‹  PPT๋‚˜ ์ž๋ฃŒ๋“ค์„ ๋ณด๋ฉด์„œ ๋”ฐ๋ผ๊ฐ”๊ณ , Flink ์ฝ”๋“œ์™€ Airflow DAG ์ฝ”๋“œ๋“ค์„ ๋ณด๋ฉด์„œ ์ดํ•ดํ•˜๊ณ  ๋”ฐ๋ผ๊ฐ”๋‹ค.

 

์ด ๋‹ฌ์€ ๋ฉ”๋‰ด์–ผ์„ ์ž‘์„ฑํ•˜๋ฉด์„œ Flink ์œ„์ฃผ๋กœ ๋งŽ์ด ๊ณต๋ถ€ํ–ˆ์—ˆ๋‹ค.

Flink์— ํ•ต์‹ฌ ๋กœ์ง๋“ค์ด ์ฃผ๋กœ ์žˆ์—ˆ๋Š”๋ฐ ๋ฉ”๋‰ด์–ผ ์ž‘์„ฑํ•˜๋ฉด์„œ ์กฐ๊ธˆ์”ฉ ๊ฐ์ด ์ƒ๊ฒผ๋˜ ๊ฒƒ ๊ฐ™๋‹ค.

 

์˜†์—์„œ ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋„๋ก ๋งŽ์ด ๋„์™€์ฃผ์…จ๊ธฐ๋„ ํ–ˆ๊ณ , ๊ทธ ํ† ๋Œ€๋กœ ์ผ๋„ ์‹œ์ผœ์ฃผ์…”์„œ ๊ธˆ๋ฐฉ ์ ์‘ํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

์ •๋ง ๊ฐ์‚ฌํ–ˆ๋‹ค.

 

๋‹ค์‹œ ์ด๋Ÿฐ ๋…ธ์„์„ ๋ณผ ์ˆ˜ ์žˆ์„๊นŒ

 

 

ํˆฌ์ž… ์ฒซ ๋‚  ๋ดค๋˜ ๋…ธ์„๊ณผ ์ƒˆ๋ฒฝ์— ๊ฐ™์ด ์•ผ๊ทผํ•˜๋ฉด์„œ ์˜†์—์„œ ํ•˜์‹œ๋Š” ์—…๋ฌด๋“ค ํŒ”๋กœ์šฐํ•˜๊ณ , ํ‡ด๊ทผ ๊ธธ๋„ ์ง‘๊นŒ์ง€ ๋ฐ๋ ค๋‹ค ์ฃผ์…จ๋˜ ๊ทธ ๋ฐค์ด ๊ธฐ์–ต์ด ๋‚จ๋Š”๋‹ค.

 

๊ทธ๋ฆฌ๊ณ  ์ฒ˜์Œ์œผ๋กœ ๋งก์•˜๋˜ ์ผ์ด ์„ ์ž„๋‹˜๊ป˜์„œ EKS ๊ฐ€์šฉ์„ฑ ํ…Œ์ŠคํŠธํ•˜์‹ค ๋•Œ, ์˜†์—์„œ ๋ฐฐ์Šค์ฒœ ์„œ๋ฒ„์— Kafka consume ๋‚ ๋ ค๋ณด๋ฉฐ ์‹ค์‹œ๊ฐ„์œผ๋กœ ์ˆ˜์ง‘๋˜๋Š” ๋ฐ์ดํ„ฐ๊ฐ€ pod๋‚˜ ํด๋Ÿฌ์Šคํ„ฐ๊ฐ€ ๋‚ด๋ ค๊ฐ€๋„ ์ž˜ ๋˜๋Š”์ง€ ๊ฐ™์ด ํ™•์ธํ•˜๋Š” ์ž‘์—…์„ ํ–ˆ์—ˆ๋‹ค.

 

์—„์ฒญ ๊ฐ„๋‹จํ•œ ์ผ์ด์—ˆ๋Š”๋ฐ ์ฒ˜์Œ์œผ๋กœ ๋‹ค๋ฅธ ํšŒ์‚ฌ ๋ถ„๊ณผ ํ•จ๊ป˜ ์ผํ•œ ๊ทธ ๊ฒฝํ—˜์ด ์ •๋ง ์ •๋ง ์ •๋ง ! ์ข‹์•˜๋‹ค.

๊ฐ™์ด ์ง„ํ–‰ํ•ด ์ฃผ์‹  ์„ ์ž„๋‹˜๊ป˜์„œ๋Š” ์• ์†ก์ด์ธ ๋‚˜์—๊ฒŒ๋„ ์ •๋ง ์นœ์ ˆํ•˜๊ฒŒ EKS์— ๋Œ€ํ•ด ์„ค๋ช…ํ•ด์ฃผ์…จ๊ณ , ๋‚˜์—๊ฒŒ ๋งŽ์€ ์ถ”์–ต์„ ๋งŒ๋“ค์–ด์ฃผ์‹œ๊ณ  ๊ฒฝํ—˜์„ ํ•˜๊ฒŒ ํ•ด์ฃผ์‹  ์ •๋ง ๋„ˆ๋ฌด๋‚˜ ๊ฐ์‚ฌํ•œ ๋ถ„์ด๋‹ค.

 

๊ทธ ๋ฐ–์—๋„, ๋ฐฐ์Šค์ฒœ ์„œ๋ฒ„๋กœ redis ํด๋Ÿฌ์Šคํ„ฐ ์ ‘์†ํ•ด์„œ key, value ๋งคํ•‘๋œ ๊ฒƒ๋„ ํ™•์ธํ•ด๋ณด๊ณ  ์ด๋Ÿฐ ์ €๋Ÿฐ ๋ช…๋ ์–ด๋“ค์„ ์ง์ ‘ ์‹คํ–‰ํ•ด๋ณด๋„๋ก ํ•ด์ฃผ์…จ๋‹ค.

์ด๋ ‡๊ฒŒ ์‹ค์‹œ๊ฐ„ ์ˆ˜์ง‘๋˜๋Š” ๋ฐ์ดํ„ฐ๋“ค์„ ๋ณด๋ฉด์„œ ๋‹ค์–‘ํ•œ ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๋Š” ๊ฒฝํ—˜์€ ์ •๋ง ํ”์น˜ ์•Š์€ ๊ฒฝํ—˜์ด๋ผ๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

 

 

2024.07ๆœˆ

 

๊ทธ๋ ‡๊ฒŒ ์กฐ๊ธˆ์”ฉ ์ ์‘ํ•˜๊ณ  ์—…๋ฌด๋“ค์„ ์ง„ํ–‰ํ•˜๋ฉด์„œ ๋งŽ์€ ๋ถ„๋“ค๊ณผ ์กฐ๊ธˆ์”ฉ ๊ฐ€๊นŒ์›Œ์ง€๊ฒŒ ๋œ ๋‹ฌ์ด๋‹ค.

 

์ฃผ์—…๋ฌด๋Š” ์ด์–ด์„œ Flink ๊ด€๋ จํ•ด์„œ ๋ฉ”๋‰ด์–ผ ์ž‘์„ฑํ•˜๊ณ , ์ถœ๊ทผํ•ด์„œ ๋ฐฐ์น˜ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜๊ณ  ๋ฌธ์ œ ์žˆ์œผ๋ฉด ๊ฐ™์ด ํ•ด๊ฒฐํ•˜๊ณ  ๊ฐ€๋” ์ฃผ์‹œ๋Š” ๊ฐ„๋‹จํ•œ ์ผ ์ฒ˜๋ฆฌ๋“ค ์ •๋„ ์ง„ํ–‰ํ–ˆ๋‹ค.

์˜†์—์„œ ์ผํ•˜์‹œ๋Š” ๊ฑฐ ๊ฐ™์ด ํŒ”๋กœ์šฐํ•˜๋ฉด์„œ ์ •๋ง ์–ด๊นจ ๋„˜์–ด ๋ฐฐ์šด๋‹ค๋Š” ํ‘œํ˜„์ด ๋งž๋Š” ๊ฒƒ ๊ฐ™๋‹ค ใ…‹ใ…‹

 

์ด ๋‹ฌ์€ ์กฐ๊ธˆ์”ฉ Airflow DAG ์ฝ”๋“œ๋“ค ์ž‘์„ฑํ•˜์‹  ๊ฒƒ๋„ ๊ฐ™์ด ๋ณด๋ฉด์„œ ๋ฉ”๋‰ด์–ผ ์ž‘์„ฑํ•˜๊ณ , ๋ฐฐ์น˜ ์ฝ”๋“œ๋„ ๋ช‡ ๊ฐœ ์ •๋„๋Š” ์ง์ ‘ ์ž‘์„ฑํ•˜๊ฒŒ ์‹œ์ผœ์ฃผ์…จ๋‹ค.

 

 

 

 

 

๊ทธ๋ ‡๊ฒŒ ์ ์‘ํ•˜๋‹ค๋ณด๋‹ˆ ์ž์—ฐ์Šค๋ ˆ ์ฑ…์ž„๋‹˜, ์„ ์ž„๋‹˜๋“ค๊ณผ ์‹์‚ฌ๋„ ํ•จ๊ป˜ ํ•˜๊ฒŒ ๋˜๊ณ ..!

๊ฐ™์€ ๊ณต๊ฐ„์—์„œ ์ผํ•˜๋ฉด์„œ ์ด๋Ÿฐ ์ €๋Ÿฐ ์—ํ”ผ์†Œ๋“œ๋„ ๋งŽ์ด ์ƒ๊ธฐ๊ณ  ์‹œ๊ฐ„ ๊ฐ€๋Š” ์ค„ ๋ชฐ๋ž๋˜ ํ•œ ๋‹ฌ์ด์—ˆ๋‹ค.

 

์ด๋ ‡๊ฒŒ ๋ณด๋‹ˆ ๋งˆ๋ƒฅ ๋†€๊ณ  ๋จน๊ธฐ๋งŒ ํ•œ ๊ฒƒ ๊ฐ™์•„๋ณด์ด์ง€๋งŒ ๋†€๋• ๋†€๊ณ ! ์ผ๋„ ์ •๋ง ์—ด์‹ฌํžˆ ํ–ˆ๋‹ค!

 

 

 

2024.08ๆœˆ

 

8์›”์—๋Š” ๋น…๋ถ„๊ธฐ ์ค€๋น„ํ•˜๋ฉด์„œ ์ผํ•˜๊ฒ ๋‹ค๊ณ  ๊นŒ๋ถˆ๋‹ค๊ฐ€...์—…๋ฌด๊ฐ€ ๊ทธ๋ž˜๋„ ์šฐ์„ ์ด๋ผ๋Š” ์ƒ๊ฐ์— ๋ฒผ๋ฝ์น˜๊ธฐ๋กœ ์‹œํ—˜ ์ค€๋น„ํ–ˆ๋‹ค๊ฐ€ ๋งํ–ˆ๋‹คใ…‹ใ…‹ ์†”์งํ•˜๊ฒŒ ๋˜๋Œ์•„๋ดค์„๋•Œ ์–ด๋–ป๊ฒŒ๋“  ์ ˆ์‹คํ–ˆ๋‹ค๋ฉด ํ•ด๋ƒˆ์—ˆ์„ํ…๋ฐ ๊ทธ์ •๋„ ์—ด์ •์ด๋‚˜ ์ฒด๋ ฅ์ด ๋ถ€์กฑํ–ˆ๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค.

 

๊ฒŒ๋‹ค๊ฐ€ ์ด๋ง˜๋•Œ ์ฑ…์ž„๋‹˜์ด spring ๊ณต๋ถ€ ์ง„์ง€ํ•˜๊ฒŒ ํ•ด๋ณด๊ธธ ์›ํ•˜์…”์„œ...์ผํ•˜๋‹ค๊ฐ€ ์งฌ๋‚˜๋ฉด ์„œ๋ธŒ ๋†‘๋ถ์œผ๋กœ ๊ฒŒ์‹œํŒ ์‚ฌ์ดํŠธ ๋งŒ๋“ค๊ธฐ ์ˆ™์ œ๋ฅผ ํ•˜๊ณคํ–ˆ๋‹ค.

๊ฒŒ์‹œํŒ ๋งŒ๋“ค๊ธฐ ๋ณ„๊ฑฐ ์•„๋‹ˆ๋ž€ ์ƒ๊ฐ์„ ํ–ˆ์—ˆ๋Š”๋ฐ ๋ง‰์ƒ ํ•ด๋ณด๋‹ˆ๊นŒ ์–ด๋ ค์› ๋‹ค. ๋งŒ๋“ค๋ฉด์„œ ์ƒˆ๋กญ๊ฒŒ ์•Œ์•„๊ฐ€๋Š” ๊ฒƒ๋„ ๋งŽ๊ณ  ๋ฐฐ์šฐ๋Š” ๊ฒƒ๋„ ๋งŽ์•˜๋‹ค.

 

๊ทธ๋ฆฌ๊ณ  ๋‚˜๋ž‘ ์ฑ…์ž„๋‹˜์ด ์ฒ ์ˆ˜ํ•˜๋ฉด SM์„ ํ•ด์ฃผ์‹ค ์ƒˆ๋กœ์šด ์„ ์ž„๋‹˜๋„ ๋“ค์–ด์˜ค์…จ๊ณ , ๋‚ด๊ฐ€ ์•„๋Š” ์„ ์—์„œ ๋งŽ์€ ๊ฑธ ์ „๋‹ฌ๋“œ๋ฆฌ๋ ค ์ตœ๋Œ€ํ•œ ๋…ธ๋ ฅํ–ˆ๋‹ค.

๋‚ด๊ฐ€ ์•„๋Š” ๊ฑธ ๋‹ค๋ฅธ ์‚ฌ๋žŒ์—๊ฒŒ ์ดํ•ดํ•˜๊ธฐ ์‰ฝ๊ฒŒ ์ „๋‹ฌํ•˜๋Š” ๊ฒƒ๋„ ๋Šฅ๋ ฅ์ด๋‹ค.

 

 

 

 

 

๊ทธ๋ฆฌ๊ณ  ์ด ๋‹ฌ์—๋Š” ์˜ค๋žœ๋งŒ์— ๋ฉ˜ํ† ๋‹˜์„ ๋ตˆ์—ˆ๋Š”๋ฐ, +(ํ”Œ๋Ÿฌ์Šค)๊ฐ€ ๋˜๋Š” ์‚ฌ๋žŒ ๊ทธ๋ฆฌ๊ณ  ๋” ๋‚˜์•„๊ฐ€ x(๊ณฑํ•˜๊ธฐ)๊ฐ€ ๋˜๋Š” ์‚ฌ๋žŒ์ด ๋˜๋ผ๊ณ  ๋ง์”€์„ ํ•ด์ฃผ์…จ๋‹ค.

๋‚˜๋งŒ ์ž˜ํ•˜๋Š” ๊ฒŒ ์•„๋‹ˆ๋ผ ํŒ€ ์ž์ฒด๊ฐ€ ์‹œ๋„ˆ์ง€๊ฐ€ ๋  ์ˆ˜ ์žˆ๋„๋ก!

 

ํ•ญ์ƒ ์ข‹์€ ๋ง์”€์„ ํ•ด์ฃผ์…”์„œ ๋„ˆ๋ฌด ๊ฐ์‚ฌํ•˜๋‹ค.

๋‚˜์—๊ฒ ์ •๋ง ์ธ์ƒ ๋ฉ˜ํ† ๋‹˜์ด์‹œ๋‹คใ…Žใ…Ž

 

 

์–ด์ฉŒ๋‹ค๋ณด๋‹ˆ ๋˜ ๋‹ค๋ฅธ ์„ ์ž„๋‹˜์ด ์ฒ ์ˆ˜ํ•˜์‹œ๋ฉด์„œ airflow ๊ฐœ๋ฐœ ์—…๋ฌด๋ฅผ ์ธ์ˆ˜์ธ๊ณ„ ๋ฐ›๊ฒŒ ๋˜์—ˆ๋‹ค. ์‚ฌ์‹ค ์šฐ๋ฆฌ๊ฐ€ ๋ฐ›์„ ์—…๋ฌด๊ฐ€ ์•„๋‹ˆ์—ˆ์ง€๋งŒ ๋‚œ ์ด๋Ÿฐ ์—…๋ฌด ํ•˜๋‚˜ ํ•˜๋‚˜์˜ ๊ฒฝํ—˜์„ ์ฃผ์‹ ๋‹ค๋Š” ์ž์ฒด๊ฒŒ ๊ทธ๋ž˜๋„ ์‹ ๋ขฐ๊ฐ€ ์žˆ๋‹ค๋Š” ๊ฑฐ๊ณ  ๋‚˜์—๊ฒ ๋„ˆ๋ฌด ์†Œ์ค‘ํ•œ ๊ฒฝํ—˜์ด์ž ๋„์ „์ด์–ด์„œ ๊ผญ ํ•ด๋‚ด๊ณ  ์‹ถ์—ˆ๋‹ค. 

 

์ „๋‹ฌ๋ฐ›์€ ์—…๋ฌด๋Š” ์•„๋ž˜์™€ ๊ฐ™์ด ๋‘๊ฐ€์ง€์ด๋‹ค.

1. airflow ๋ฐฐ์น˜ ์‹คํŒจ์‹œ์— api๋ฅผ ํ˜ธ์ถœํ•˜์—ฌ sm ๋‹ด๋‹น์ž ๋ถ„๋“ค์—๊ฒŒ ์ „ํ™”๊ฐ€ ๊ฐ€๋„๋ก ํ•˜๋Š” ๊ธฐ๋Šฅ

2. airflow ๋ฐฐ์น˜๊ฐ€ ๋๋‚˜๋ฉด ํ”„๋กœ์‹œ์ €(๋ฌธ์ž ์ „์†ก ์—ญํ• )๋ฅผ ํ˜ธ์ถœํ•˜๋„๋ก ํ•˜๋Š” ๊ธฐ๋Šฅ

 

8์›”์—๋Š” 1๋ฒˆ ์—…๋ฌด๋ฅผ ๊ฐœ๋ฐœํ–ˆ๋Š”๋ฐ, ๋‚œ์ด๋„๋Š” ์–ด๋ ต์ง€ ์•Š์•˜๊ธฐ์— ๋‹ด๋‹ด์ž ๋ถ„๊ณผ ๋ฉ”์ผ์„ ์ฃผ๊ณ  ๋ฐ›์œผ๋ฉฐ ํ…Œ์ŠคํŠธ๋ฅผ ์™„๋ฃŒํ•˜๊ณ  ์ž˜ ์ ์šฉํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

 

 

 

2024.09ๆœˆ

 

์ถ”๊ฐ€์ ์œผ๋กœ ์ด๊ด„๋‹˜๊ป˜์„œ 1๋ฒˆ ์—…๋ฌด์—์„œ ๋ถ„๋ฐฐ์น˜์ธ ๊ฒฝ์šฐ ์—ฐ์†ํ•ด์„œ ์‹คํŒจํ•˜๊ฒŒ ๋˜๋ฉด ๊ณ„์† ๋ฐฐ์น˜๋งˆ๋‹ค ์ „ํ™”๊ฐ€ ์˜ค์ง€์•Š๋„๋ก ํ•ด๋‹ฌ๋ผ๊ณ  ๋ง์”€ํ•˜์…จ๋‹ค.

์•„์ด๋””์–ด๋ฅผ ์ง์ ‘ ์ƒ๊ฐํ•˜์—ฌ ์ง์ „ ๋ฐฐ์น˜๊ฐ€ ์„ฑ๊ณต/์‹คํŒจ ์—ฌ๋ถ€๋ฅผ ํ™•์ธํ•˜์—ฌ ์—ฐ์†ํ•ด์„œ api๋ฅผ ํ˜ธ์ถœํ•˜์ง€ ์•Š๋„๋ก ์ ์šฉํ–ˆ๋‹ค.

 

 

 

๋ณต๋ณ‘์€ 2๋ฒˆ์งธ ์—…๋ฌด์ธ ํ”„๋กœ์‹œ์ € ํ˜ธ์ถœ...

 

์ด ๋˜ํ•œ ๊ฐœ๋ฐœ์€ ์–ด๋ ต์ง€ ์•Š์•˜๋Š”๋ฐ ํ”„๋กœ์‹œ์ €๋ฅผ ํ˜ธ์ถœํ•˜๋ฉด ์—๋Ÿฌ๊ฐ€ ๋ฐœ์ƒํ–ˆ๋‹ค.

์ฒ˜์Œ์— ๋‹ด๋‹น๋‹˜๊ป˜์„œ ์—๋Ÿฌ๊ฐ€ ๋‚œ ์ด์œ ๋ฅผ ์šฐ๋ฆฌ๊ฐ€ ์ง  ๊ฐœ๋ฐœ ์ฝ”๋“œ๊ฐ€ ์ž˜๋ชป๋˜์—ˆ๋‹ค๊ณ  ํŒ๋‹จํ•˜์…จ์–ด์„œ ์—ฌ๋Ÿฌ ๋ฐฉ๋ฒ•์œผ๋กœ ์ฝ”๋“œ๋ฅผ ์ˆ˜์ •ํ•˜์—ฌ ํ”„๋กœ์‹œ์ €๋ฅผ ํ˜ธ์ถœํ–ˆ์ง€๋งŒ ๋˜‘๊ฐ™์€ ์—๋Ÿฌ๋ฅผ ๋งˆ์ฃผ์ณค๋‹ค.

 

์˜ค๋ผํด ํ”„๋กœ์‹œ์ €๋ฅผ ์•„๋ž˜์™€ ๊ฐ™์ด 3๊ฐ€์ง€ ๋ฐฉ๋ฒ•์œผ๋กœ ๋ชจ๋‘ ์ง„ํ–‰ํ•ด๋ณด์•˜๋‹ค.

 

1. sql๋กœ ์ง์ ‘ ํ˜ธ์ถœ

2. Cursor.callproc() ์‚ฌ์šฉ

3. OracleStoredProcedureOperator ์‚ฌ์šฉ

 

๊ทธ๋Ÿฌ๋‚˜ ์„ธ ๊ฐ€์ง€ ๋ฐฉ๋ฒ• ๋ชจ๋‘ ๋˜‘๊ฐ™์€ ์—๋Ÿฌ๊ฐ€ ๋ฐœ์ƒํ•˜๊ธฐ์—, ์•„๋ฌด๋ฆฌ ์ƒ๊ฐํ•ด๋„ ๋‚œ ๋‚ด ์ฝ”๋“œ๊ฐ€ ๋งž๋‹ค๊ณ  ํŒ๋‹จํ–ˆ๋‹ค.

 

์กฐ์‹ฌ์Šค๋Ÿฝ๊ฒŒ ๋‹ด๋‹น๋‹˜๊ป˜ ๋ฉ”์ผ๋กœ ์šฐ๋ฆฌ ์ƒํ™ฉ์€ ์ด๋ ‡๊ณ , ๋‹ค์‹œ ํ•œ ๋ฒˆ ๊ฒ€ํ†  ๋ถ€ํƒ๋“œ๋ฆฌ๋ฉฐ ๊ฒฌํ•ด๋ฅผ ์—ฌ์ญค๋ณด๊ณ  ์‹ถ๋‹ค๊ณ  ์ „๋‹ฌ๋“œ๋ ธ๋‹ค.

๋‹ด๋‹น๋‹˜๊ป˜์„œ๋„ ๋‚ด ๋งˆ์Œ์„ ์•Œ์•„์ฃผ์…จ๋Š”์ง€ ์—ด์‹ฌํžˆ ๋„์™€์ฃผ์…จ๊ณ  ๊ฒฐ๊ตญ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•ด์„œ ์„ฑ๊ณต์ ์œผ๋กœ ๋๋‚ผ ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

์•Œ๊ณ ๋ณด๋‹ˆ ์—๋Ÿฌ๊ฐ€ ๋ฐœ์ƒํ•˜๋Š” ์ด์œ ๋Š” ๋‹ด๋‹น๋‹˜๊ป˜ ๊ฐœ์ธ ๋ฉ”์‹œ์ง€๋กœ ์ง์ ‘ ๊ฐœ์ธ ์ฑ„ํŒ…์œผ๋กœ ๊ถ๊ธˆํ•ด์„œ ์—ฌ์ญค๋ดค๋Š”๋ฐ, ๋ฆฌ๋ˆ…์Šค ์„œ๋ฒ„์˜ ๋ณด์•ˆ ์†”๋ฃจ์…˜ ์„ค์น˜ ๊ด€๋ จ ์ด์Šˆ๋กœ ์šฐ๋ฆฌ ๋ฌธ์ œ๋Š” ์•„๋‹ˆ์—ˆ๋‹ค.

 

์นœ์ ˆํ•˜๊ฒŒ ์„ค๋ช…ํ•ด์ฃผ์‹œ๊ณ  ํƒ€ ํŒ€๋ถ€์„œ์™€๋„ ์นœํ•ด์ ธ์•ผ ๋„์›€์„ ๋ฐ›์„ ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ด๊ฒƒ ์ €๊ฒƒ ๋งŽ์ด ์•Œ๋ ค์ฃผ์…จ๋˜๊ฒŒ ๊ธฐ์–ต์ด ๋‚จ๋Š”๋‹ค.

 

์ •๋ง ์ง„ํ–‰ํ•˜๋ฉด์„œ ๋‹ค๋ฅธ ๋ถ„๋“ค๊ณผ์˜ ์ปค๋ฎค๋‹ˆ์ผ€์ด์…˜์ด ์ •๋ง ๋„ˆ๋ฌด ๋„ˆ๋ฌด ์ค‘์š”ํ•จ์„ ์•Œ๊ฒŒ ํ•ด์ค€ ์—…๋ฌด์˜€๋‹ค.

 

 

 

 

 

9์›”์—” ์ถ”์„ ์—ฐํœด ์ดํ›„ ์ฒ ์ˆ˜ ์˜ˆ์ •์ด์—ˆ๊ธฐ์— 9์›” ๋ง์— ์ฒซ ํ•ด์™ธ ์—ฌํ–‰์œผ๋กœ ์ผ๋ณธ ์˜ค์‚ฌ์นด๋ฅผ ๋‹ค๋…€์™”๋‹ค.

์ƒ์•  ์ตœ์ดˆ ์—ฌ๊ถŒ๋„ ๋ฐœ๊ธ‰ ๋ฐ›์•„๋ณด๊ณ  ์ •๋ง ์„ค๋ œ์—ˆ๋‹ค.

์ด๋ฒˆ ์ฒซ ํ•ด์™ธ ์—ฌํ–‰์ด ๋„ˆ๋ฌด ์ข‹์•˜์–ด์„œ, ๋‚ด๋…„์—๋„ ๋‹ค๋ฅธ ๋‚˜๋ผ ํ•ด์™ธ๋ฅผ ๊ผญ ๊ฐ€์•ผ๊ฒ ๋‹ค๊ณ  ๋‹ค์งํ–ˆ๋‹คใ…‹ใ…‹

 

๊ทธ๋Ÿฐ๋ฐ ๋‚ด๊ฐ€ ์ฒ ์ˆ˜ํ•˜๊ธฐ๋กœ ํ•œ ๋‚ ์— ํ”„๋กœ์ ํŠธ ์ง„ํ–‰ ์žฅ์†Œ๊ฐ€ ๋ฐ”๋€Œ๊ฒŒ ๋˜์–ด์„œ ์ด์‚ฟ๋‚ ์ด๋ž‘ ๊ฒน์น˜๋Š” ๋ฐ”๋žŒ์— ํ•จ๊ป˜ ์ผํ•˜๋Š” ๋ถ„๋“ค๊ป˜ ๋Œ€๋ฉด์œผ๋กœ ์ธ์‚ฌ๋ฅผ ๋ชป๋“œ๋ ธ์—ˆ๋‹ค.

 

 

 

 

 

๊ทธ๋ž˜์„œ ๋ฉ”์‹ ์ €๋กœ ๋”ฐ๋กœ ์—ฐ๋ฝ์„ ๋“œ๋ ธ์—ˆ๋Š”๋ฐ ๋ชจ๋‘ ์นœ์ ˆํ•˜๊ฒŒ ๋‹ต์žฅํ•ด์ฃผ์‹œ๊ณ  ์ข‹์€ ๋ง์”€์„ ๋งŽ์ด ํ•ด์ฃผ์…”์„œ ๋‹คํ–‰์ด๋ผ๋Š” ์ƒ๊ฐ๋„ ๋“ค์—ˆ๊ณ , ๋ฟŒ๋“ฏํ•˜๊ธฐ๋„ ํ•˜๊ณ  ๋„ˆ๋ฌด ๊ฐ์‚ฌํ–ˆ๋‹ค.

 

์ด๋ ‡๊ฒŒ ๋‚ด ์ฒซ ํ”„๋กœ์ ํŠธ๊ฐ€ ๋งˆ๋ฌด๋ฆฌ ๋˜์—ˆ๋‹ค.

๋„ˆ๋ฌด ์žฌ๋ฐŒ์—ˆ๊ณ  ์ข‹์€ ๋ถ„๋“ค๋„ ๋งŽ์ด ๋งŒ๋‚˜๊ฒŒ ๋˜๊ณ  ๊ณผ์—ฐ ์ด๋Ÿฐ ํ”„๋กœ์ ํŠธ๋ฅผ ๋˜ ํ•˜๊ฒŒ ๋  ์ˆ˜ ์žˆ์„๊นŒ?

 

 

 

2024.10ๆœˆ

 

์—ฌ์˜๋„ ๋ถˆ๊ฝƒ์ถ•์ œ

 

 

 

๋Œ€ํ‘œ๋‹˜๊ป˜์„œ ํ”„๋กœ์ ํŠธ ๋‹ค๋…€์˜ค๊ณ  ํ•œ ๋‹จ๊ณ„ ์„ฑ์žฅํ•˜๊ณ  ์™”๋ƒ๊ณ  ์—ฌ์ญค๋ณด์…จ์—ˆ๋Š”๋ฐ,

๋‘ ๋‹จ๊ณ„๋Š” ์„ฑ์žฅํ•˜๊ณ  ์™”์Šต๋‹ˆ๋‹ค ๋ผ๊ณ  ๋‹น๋‹นํžˆ ๋งํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

๋‹ค์Œ ํ”„๋กœ์ ํŠธ์—๋„ ํˆฌ์ž… ์˜ˆ์ •์ด๊ธฐ์—, ์‚ฌ๋ฌด์‹ค์—์„œ ๋‹ค์Œ ํ”„๋กœ์ ํŠธ์— ํ•„์š”ํ•œ ํ…Œ์ŠคํŠธ๋“ค์„ ์ง„ํ–‰ํ–ˆ๋‹ค.

 

aws glue, emr(serverless, ec2, eks)๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์†Œ์š” ์‹œ๊ฐ„ ๋ฐ ๋น„์šฉ ๊ณ„์‚ฐ์„ ์ •๋ฆฌํ•ด์„œ ๋ถ„์„ ๊ฒฐ๊ณผ ์ž๋ฃŒ๋ฅผ ๋งŒ๋“ค์–ด ๊ณต์œ ๋“œ๋ ธ๋‹ค.

์ด๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ ๋‹ค์Œ ํ”„๋กœ์ ํŠธ์— ์–ด๋–ค ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ• ์ง€ ํŒ๋‹จํ•˜๋Š” ์š”์†Œ๊ฐ€ ๋  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

์ฑ…์ž„๋‹˜ ๋ง์”€๋Œ€๋กœ L0, L1, L2๊นŒ์ง€ mwaa(airflow)๋ฅผ ์‚ฌ์šฉํ•ด์„œ ์ง„ํ–‰ํ•ด๋ณด๊ณ  ๋ฌธ์„œํ™”ํ•˜์—ฌ ์ž๋ฃŒ๋ฅผ ์ค€๋น„ํ•ด๋†“์•˜๋‹ค.

 

10์›”์€ ์ด๋ ‡๊ฒŒ ์‚ฌ๋ฌด์‹ค์—์„œ ๋‹ค์Œ ํ”„๋กœ์ ํŠธ ์ค€๋น„ํ•˜๋ฉด์„œ, ๊ทธ๋™์•ˆ ๋ชป๋งŒ๋‚ฌ๋˜ ์‚ฌ๋žŒ๋“ค์„ ๋งŒ๋‚˜๋ฉฐ ์‹œ๊ฐ„์„ ๋ณด๋ƒˆ๋‹ค.

 

 

 

2024.11ๆœˆ ~ 

 

 



 

์ด๋ฒˆ ํ”„๋กœ์ ํŠธ๋Š” ์„์ง€๋กœ์ž…๊ตฌ์—ญ์œผ๋กœ ์ถœํ‡ด๊ทผํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค.

 

์—ฌ์˜๋„์™€๋Š” ๋˜ ๋‹ค๋ฅธ ๋ถ„์œ„๊ธฐ์˜ ์žฅ์†Œ๋ผ์„œ ํ”„๋กœ์ ํŠธ๋ฅผ ์ƒˆ๋กญ๊ฒŒ ์‹œ์ž‘ํ•˜๋Š” ๊ธฐ๋ถ„์ด ์ œ๋Œ€๋กœ ๋“ ๋‹ค.

์ €๋ฒˆ ํ”„๋กœ์ ํŠธ๋Š” ๊ฑฐ์˜ ๋๋‚˜๊ฐ€๋Š” ์‹œ์ ์— ํˆฌ์ž…๋œ ๊ฑฐ๋ผ ์•„์‰ฌ์› ๋Š”๋ฐ ์ด๋ฒˆ ํ”„๋กœ์ ํŠธ๋Š” ์ฒ˜์Œ๋ถ€ํ„ฐ ๊ฐœ๋ฐœ ๋‹จ๊ณ„ ๋๊นŒ์ง€ ์ผํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋˜์–ด์„œ ๊ฐ์‚ฌํ•˜๋‹ค.

 

๊ทธ๋งŒํผ ๋” ์—ด์‹ฌํžˆํ•˜๊ณ  ์ด๋ฒˆ ํ”„๋กœ์ ํŠธ๋Š” ์ข€ ๋” ๋ˆ๋ฐ›๊ณ  ์ผํ•˜๋Š” ์‚ฌ๋žŒ์œผ๋กœ์„œ ๋” ๋งŽ์€ ์ผ์„ ํ•ด๋‚ด๊ณ  ์‹ถ๊ณ  ์ž˜ํ•˜๊ณ  ์‹ถ๋‹ค.

๋˜, ์ €๋ฒˆ ํ”„๋กœ์ ํŠธ์ฒ˜๋Ÿผ ์ข‹์€ ๋ถ„๋“ค๊ณผ ํ•จ๊ป˜ ์ผํ•  ์ˆ˜ ์žˆ๋‹ค๋ฉด ์ข‹๊ฒ ๋‹ค.

 

 

์ด์ œ ๋˜ ๋‹ค๋ฅธ ํ”„๋กœ์ ํŠธ ์ถœ๋ฐœ์ด๋‹ˆ๊นŒ ์ž˜ํ•ด๋ณด์ž!