๋ฐ์—”์œผ๋กœ ์„ฑ์žฅ์ค‘ ๐ŸŒฑ

๋งˆ์นจํ‘œ๋ฅผ ์ฐ๊ธฐ ๊นŒ์ง€

๊ทธ๋™์•ˆ ๋ฐ€๋ฆฐ ํšŒ๊ณ 

์จ๋ฐ 2024. 3. 20. 00:12

 

์ง„์งœ ๋ญ๋“  ๊พธ์ค€ํžˆ ํ•˜๋Š” ๊ฑด ์ •๋ง ์‰ฌ์šด ์ผ์ด ์•„๋‹Œ ๊ฒƒ ๊ฐ™๋‹ค.

 

์ฃผ๋ณ€์— ๋‹ค๋ฅธ ๋ถ„๋“ค์€ ํ‡ด๊ทผํ•˜๊ณ ๋‚˜์„œ ํ˜น์€ ์ฃผ๋ง์— ์ž๊ธฐ๊ฐœ๋ฐœ์„ ํ•œ๋‹ค๊ณ  ๋“ค์—ˆ๊ธฐ์—, ๋‚˜๋„ ๋ธ”๋กœ๊ทธ์— ๋งค๋‹ฌ ํšŒ๊ณ ๋ก ์ž‘์„ฑํ•˜๋Š” ๊ฑด ์‰ฝ๊ฒ ์ง€ ์‹ถ์—ˆ๋Š”๋ฐ...

 

์ƒ๊ฐ๋ณด๋‹ค ๊ฝค ์ง€ํ‚ค๊ธฐ ์–ด๋ ต๋‹ค.

๊ทธ๋ž˜์„œ ์กฐ๊ธˆ ์•„์‰ฝ๊ธฐ๋„, ์†์ƒํ•˜๊ธฐ๋„ ํ•˜๋‹ค. (๋‚˜์™€์˜ ์‹ธ์›€์—์„œ ์ง„ ๋А๋‚Œ.)

 

 

ํšŒ์‚ฌ์— ์ž…์‚ฌํ•œ ์ง€๋Š” ๋ฒŒ์จ 4๊ฐœ์›”์ด ์ง€๋‚ฌ๋‹ค.

3๊ฐœ์›”์˜ ์ˆ˜์Šต ๊ธฐ๊ฐ„์ด ๋๋‚˜๊ณ , ์ง€๋‚œ ์ฃผ์— ์ธ์ƒ ์ฒซ ์™ธ๋ถ€ ํ”„๋กœ์ ํŠธ๋ฅผ ๋งˆ์น˜๊ณ  ์™”๋‹ค.

 

ํ”„๋กœ์ ํŠธ ๊ธฐ๊ฐ„์ด ์กฐ๊ธˆ ์งง์€ ์‹œ๊ฐ„(์•ฝ 3~5์ผ)์ด ์ฃผ์–ด์กŒ๋Š”๋ฐ, ๊ธ‰ํ•œ ๋งˆ์Œ์— ๋‚ด ์Šค์Šค๋กœ ๋งŽ์€ ๊ฑธ ๋ชปํ–ˆ๋‹ค๋Š” ์ ์ด ์ข€ ๋งŽ์ด ์•„์‰ฝ๊ฒŒ ๋‚จ๋Š”๋‹ค.

 

๋‚ด๊ฐ€ ๋‹น์žฅ ๋ฌด์—‡์„ ํ•ด์•ผํ• ์ง€ ํŒŒ์•…์ด ์ž˜ ์•ˆ๋˜๊ณ , ํ”„๋กœ์ ํŠธ ์ง„ํ–‰ ํ๋ฆ„์— ๋Œ€ํ•ด ์ดํ•ด๊ฐ€ ๋˜์ง€ ์•Š์•„์„œ ํ—ค๋งจ๋“ฏํ•˜๋‹ค.

๋˜ํ•œ, ์•„์ง ์Šค์Šค๋กœ ๋Šฅ๋ ฅ์ด ๋งŽ์ด ๋ถ€์กฑํ•˜๋‹ค๊ณ  ์ƒ๊ฐํ•˜๊ณ  ์žˆ๊ธฐ์—, ๋‚ด๊ฐ€ ์•Œ๊ณ  ์žˆ๋Š” ๋ฌด์–ธ๊ฐ€๋ฅผ ์„ค๋ช…๋“œ๋ฆด ๋•Œ ์กฐ๊ธˆ ์ž์‹ ์ด ์—†๊ธฐ๋„ ํ–ˆ๋‹ค.

 

๊ทธ๋ƒฅ...ํ•˜๋ฃจ ๋นจ๋ฆฌ ๋‹ค๋ฅธ ๋ถ„๋“ค์ด ๋‚˜ ๋•Œ๋ฌธ์— ํž˜๋“œ์‹œ์ง€ ์•Š๊ฒŒ, ๋นจ๋ฆฌ ์ฒ™์ฒ™ ํ˜ผ์ž ์ž˜ ํ•ด๋‚ด๊ณ  ์‹ถ๋‹ค.

 

๊ทธ๋ž˜๋„ ์ด๋ฒˆ ํ”„๋กœ์ ํŠธ๋ฅผ ํ†ตํ•ด์„œ, ๋น ๋ฅด๊ฒŒ ๋งŽ์€ ๊ฒƒ์„ ๊ฒฝํ—˜ํ•˜๊ณ  ๋ฐฐ์› ๋‹ค.

 

์ด๋Ÿฐ ๊ธฐํšŒ๋ฅผ ์ฃผ์…”์„œ ์ •๋ง ์ •๋ง ๊ฐ์‚ฌํ•˜๋‹ค.

 

 

 

 

 

 

1์›”์—๋Š” ambari๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ bigtop์—์„œ ์ œ๊ณตํ•˜๋Š” ์—ฌ๋Ÿฌ ๋น…๋ฐ์ดํ„ฐ ๊ด€๋ จ ํˆด๋“ค์„ mpack์„ ํ†ตํ•ด ํด๋Ÿฌ์Šคํ„ฐ์— ์„ค์น˜ํ•˜์—ฌ, ์ง์ ‘ ๋น…๋ฐ์ดํ„ฐ ํ”Œ๋žซํผ์„ ๊ฐ„๋‹จํžˆ ๊ตฌ์ถ•ํ•ด๋ณด์•˜๋‹ค.

 

docker๋กœ ๊ตฌ์ถ•ํ•˜๋‹ค๊ฐ€ ๋„๋ฉ”์ธ ๋ฐ ํฌํŠธํฌ์›Œ๋”ฉ์— ์ œ์•ฝ์ด ๋งŽ์•„ aws ec2๋กœ ๋ฐ”๊ฟ”์„œ ์ง„ํ–‰ํ–ˆ๋‹ค.

 

๋น„๋ก ๊ฐ„๋‹จํžˆ ๊ตฌ์ถ•ํ•ด๋ณธ ๊ฒฝํ—˜์ด์ง€๋งŒ, ๋น…๋ฐ์ดํ„ฐ ํ”Œ๋žซํผ ์ธํ”„๋ผ์— ๋Œ€ํ•œ ์ดํ•ด๊ฐ€ ํ™•์‹คํžˆ ๋Š˜๊ฒŒ ๋˜๊ณ  ์ด๋ฒˆ ํ”„๋กœ์ ํŠธ์—์„œ๋„ spark๋ฅผ ๋” ์ˆ˜์›”ํ•˜๊ฒŒ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

๊ทธ๋ฆฌ๊ณ  ์›”๋ง์— trino meetup 3์ฐจ๋„ ๋‹ค๋…€์™”๋‹ค.

์ทจ์—…ํ•˜๊ณ  ์ง์žฅ์ธ์œผ๋กœ ๋ฐ‹์—… ํ–‰์‚ฌ๋Š” ์ฒ˜์Œ ์ฐธ์—ฌํ•˜๋Š”๋ฐ, ์ทจ์—…ํ•˜๊ธฐ ์ „์—๋Š” ์ด๋Ÿฐ ๋ฐ‹์—…์—์„œ์˜ ๋ฐœํ‘œ ๋‚ด์šฉ์— ๋Œ€ํ•œ ์ดํ•ด๊ฐ€ 30-40%์˜€๋‹ค๋ฉด, ์ด๋ฒˆ์—๋Š” 60-70%์ •๋„ ์ดํ•ดํ•œ ๊ฒƒ ๊ฐ™๋‹ค.

 

๋Š˜ ์ด๋Ÿฐ ๋ฐ‹์—…์„ ํ†ตํ•ด์„œ ๋ฐฐ์šฐ๋Š” ๊ฒƒ๋„, ๋А๋ผ๋Š” ๊ฒƒ๋„ ๋งŽ์•„์„œ ์ž์ฃผ ๊ฐ€๋ ค๊ณ  ๋…ธ๋ ฅํ•˜๋Š” ํŽธ์ด๋‹ค.

 

 

2์›”์—๋Š” ๊ตฌ์ถ•ํ•œ ambari๋ฅผ ํ†ตํ•ด hive benchmark๋ฅผ ์ง„ํ–‰ํ–ˆ๋‹ค.

 

์˜คํ”ˆ์†Œ์Šค๋ฅผ ์‚ฌ์šฉํ•ด์„œ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ์„ฑํ•˜๊ณ  hive sql๊ณผ spark sql์˜ ์ฟผ๋ฆฌ ์ˆ˜ํ–‰ ์‹œ๊ฐ„์„ ํ†ตํ•ด ์„ฑ๋Šฅ์„ ๋น„๊ตํ•ด๋ณผ ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

๊ทธ๋ฆฌ๊ณ  ์˜ฌํ•ด ๋ชฉํ‘œ ์ค‘ ํ•˜๋‚˜์ธ ์ •๋ณด์ฒ˜๋ฆฌ๊ธฐ์‚ฌ ์ž๊ฒฉ์ฆ ์ทจ๋“์„ ์œ„ํ•ด, 1์ฐจ ํ•„๊ธฐ ์‹œํ—˜์„ ์น˜๋ฃจ์—ˆ๋‹ค.

 

ํ‡ด๊ทผํ•˜๊ณ  ๋ฐ”๋กœ ์Šคํ„ฐ๋”” ์นดํŽ˜๊ฐ€์„œ 1-2์‹œ๊ฐ„ ์ •๋„ ๊ณต๋ถ€ํ•˜๊ณ  ์ฃผ๋ง์—๋„ ์กฐ๊ธˆ ๋ณด๊ณ , ์•ฝ ์ „์ฒด 10์‹œ๊ฐ„ ์ •๋„ ํˆฌ์žํ–ˆ์„๊นŒ?

์šด์ด ์ข‹๊ฒŒ๋„ ๊ฐ์‚ฌํžˆ ํ•„๊ธฐ๋Š” ํ•ฉ๊ฒฉํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค.

 

๋ฌธ์ œ๋Š” ์‹ค๊ธฐ์ธ๋ฐ, ์—…๋ฌด์—๋„ ๊ฝค ๋„์›€์ด ๋  ๊ฒƒ ๊ฐ™์•„์„œ ์‹ค๊ธฐ๋Š” ๋” ์ž˜ ์ค€๋น„ํ•ด๋ณด๋ ค ํ•œ๋‹ค.

 

 

 

์ ๊ณ ๋ณด๋‹ˆ ํ•ญ์ƒ ๋ฌธ์„œ ์ž‘์„ฑ์— ์‹œ๊ฐ„์„ ๋งŽ์ด ์จ์„œ ๊ทธ๋Ÿฐ์ง€ ์ƒ๊ฐ๋ณด๋‹ค ๋งŽ์€ ๊ฑธ ํ•œ ๋А๋‚Œ์€ ๋˜ ์•ˆ๋“œ๋Š” ๊ฒƒ ๊ฐ™๋‹ค.

(์‚ฌ์‹ค ๊ทธ ๋ฐ–์—๋„ ์ค‘๊ฐ„ ์ค‘๊ฐ„ ๋‹ค๋ฅธ ์—…๋ฌด๋“ค๋„ ์žˆ์—ˆ๋Š”๋ฐ, ๊ตต์งํ•œ ๊ฒƒ๋“ค๋งŒ ์ ์–ด๋ณด์•˜๋‹ค.)

 

๊ทธ๋ž˜๋„ ๋ถ„๋ช…ํ•œ ๊ฑด ์ •๋ง ์ข‹์€ ๋ถ„๋“ค๊ณผ ํ•จ๊ป˜ ์ผํ•˜๊ณ  ๋ฐฐ์šฐ๊ณ  ์„ฑ์žฅํ•˜๊ณ  ์žˆ๋‹ค๋Š” ๊ฑด ํ™•์‹คํ•˜๋‹ค.

 

์ข‹๊ฒŒ ๋ด์ฃผ์‹œ๊ณ  ๋ฏฟ์–ด ์ฃผ์‹œ๋Š” ๋งŒํผ, ๋‚˜๋„ ๋นจ๋ฆฌ ์ž˜ํ•ด์ง€๊ณ  ์‹ถ์€ ๋งˆ์Œ๋„ ๊ณ„์† ์ปค์ง€๋Š” ์ค‘์ด๋‹ค.

 

 

์ฃผ๋ณ€์— ์ž˜ํ•˜๊ณ  ์žˆ๋‹ค๊ณ  ๋ง์”€ํ•ด์ฃผ์‹œ๋Š” ๋ถ„๋“ค์ด ์ •๋ง ๋งŽ์•„์„œ ๋‚˜๋Š” ์ง„์งœ ๊ฐ์‚ฌํ•œ ์ธ์ƒ์„ ์‚ด๊ณ  ์žˆ๋‹ค๊ณ  ์ƒ๊ฐํ•œ๋‹ค :)