์ง์ง ๋ญ๋ ๊พธ์คํ ํ๋ ๊ฑด ์ ๋ง ์ฌ์ด ์ผ์ด ์๋ ๊ฒ ๊ฐ๋ค.
์ฃผ๋ณ์ ๋ค๋ฅธ ๋ถ๋ค์ ํด๊ทผํ๊ณ ๋์ ํน์ ์ฃผ๋ง์ ์๊ธฐ๊ฐ๋ฐ์ ํ๋ค๊ณ ๋ค์๊ธฐ์, ๋๋ ๋ธ๋ก๊ทธ์ ๋งค๋ฌ ํ๊ณ ๋ก ์์ฑํ๋ ๊ฑด ์ฝ๊ฒ ์ง ์ถ์๋๋ฐ...
์๊ฐ๋ณด๋ค ๊ฝค ์งํค๊ธฐ ์ด๋ ต๋ค.
๊ทธ๋์ ์กฐ๊ธ ์์ฝ๊ธฐ๋, ์์ํ๊ธฐ๋ ํ๋ค. (๋์์ ์ธ์์์ ์ง ๋๋.)
ํ์ฌ์ ์ ์ฌํ ์ง๋ ๋ฒ์จ 4๊ฐ์์ด ์ง๋ฌ๋ค.
3๊ฐ์์ ์์ต ๊ธฐ๊ฐ์ด ๋๋๊ณ , ์ง๋ ์ฃผ์ ์ธ์ ์ฒซ ์ธ๋ถ ํ๋ก์ ํธ๋ฅผ ๋ง์น๊ณ ์๋ค.
ํ๋ก์ ํธ ๊ธฐ๊ฐ์ด ์กฐ๊ธ ์งง์ ์๊ฐ(์ฝ 3~5์ผ)์ด ์ฃผ์ด์ก๋๋ฐ, ๊ธํ ๋ง์์ ๋ด ์ค์ค๋ก ๋ง์ ๊ฑธ ๋ชปํ๋ค๋ ์ ์ด ์ข ๋ง์ด ์์ฝ๊ฒ ๋จ๋๋ค.
๋ด๊ฐ ๋น์ฅ ๋ฌด์์ ํด์ผํ ์ง ํ์ ์ด ์ ์๋๊ณ , ํ๋ก์ ํธ ์งํ ํ๋ฆ์ ๋ํด ์ดํด๊ฐ ๋์ง ์์์ ํค๋งจ๋ฏํ๋ค.
๋ํ, ์์ง ์ค์ค๋ก ๋ฅ๋ ฅ์ด ๋ง์ด ๋ถ์กฑํ๋ค๊ณ ์๊ฐํ๊ณ ์๊ธฐ์, ๋ด๊ฐ ์๊ณ ์๋ ๋ฌด์ธ๊ฐ๋ฅผ ์ค๋ช ๋๋ฆด ๋ ์กฐ๊ธ ์์ ์ด ์๊ธฐ๋ ํ๋ค.
๊ทธ๋ฅ...ํ๋ฃจ ๋นจ๋ฆฌ ๋ค๋ฅธ ๋ถ๋ค์ด ๋ ๋๋ฌธ์ ํ๋์์ง ์๊ฒ, ๋นจ๋ฆฌ ์ฒ์ฒ ํผ์ ์ ํด๋ด๊ณ ์ถ๋ค.
๊ทธ๋๋ ์ด๋ฒ ํ๋ก์ ํธ๋ฅผ ํตํด์, ๋น ๋ฅด๊ฒ ๋ง์ ๊ฒ์ ๊ฒฝํํ๊ณ ๋ฐฐ์ ๋ค.
์ด๋ฐ ๊ธฐํ๋ฅผ ์ฃผ์ ์ ์ ๋ง ์ ๋ง ๊ฐ์ฌํ๋ค.
1์์๋ ambari๋ฅผ ์ฌ์ฉํ์ฌ bigtop์์ ์ ๊ณตํ๋ ์ฌ๋ฌ ๋น ๋ฐ์ดํฐ ๊ด๋ จ ํด๋ค์ mpack์ ํตํด ํด๋ฌ์คํฐ์ ์ค์นํ์ฌ, ์ง์ ๋น ๋ฐ์ดํฐ ํ๋ซํผ์ ๊ฐ๋จํ ๊ตฌ์ถํด๋ณด์๋ค.
docker๋ก ๊ตฌ์ถํ๋ค๊ฐ ๋๋ฉ์ธ ๋ฐ ํฌํธํฌ์๋ฉ์ ์ ์ฝ์ด ๋ง์ aws ec2๋ก ๋ฐ๊ฟ์ ์งํํ๋ค.
๋น๋ก ๊ฐ๋จํ ๊ตฌ์ถํด๋ณธ ๊ฒฝํ์ด์ง๋ง, ๋น ๋ฐ์ดํฐ ํ๋ซํผ ์ธํ๋ผ์ ๋ํ ์ดํด๊ฐ ํ์คํ ๋๊ฒ ๋๊ณ ์ด๋ฒ ํ๋ก์ ํธ์์๋ spark๋ฅผ ๋ ์์ํ๊ฒ ์ฌ์ฉํ ์ ์์๋ค.
๊ทธ๋ฆฌ๊ณ ์๋ง์ trino meetup 3์ฐจ๋ ๋ค๋ ์๋ค.
์ทจ์ ํ๊ณ ์ง์ฅ์ธ์ผ๋ก ๋ฐ์ ํ์ฌ๋ ์ฒ์ ์ฐธ์ฌํ๋๋ฐ, ์ทจ์ ํ๊ธฐ ์ ์๋ ์ด๋ฐ ๋ฐ์ ์์์ ๋ฐํ ๋ด์ฉ์ ๋ํ ์ดํด๊ฐ 30-40%์๋ค๋ฉด, ์ด๋ฒ์๋ 60-70%์ ๋ ์ดํดํ ๊ฒ ๊ฐ๋ค.
๋ ์ด๋ฐ ๋ฐ์ ์ ํตํด์ ๋ฐฐ์ฐ๋ ๊ฒ๋, ๋๋ผ๋ ๊ฒ๋ ๋ง์์ ์์ฃผ ๊ฐ๋ ค๊ณ ๋ ธ๋ ฅํ๋ ํธ์ด๋ค.
2์์๋ ๊ตฌ์ถํ ambari๋ฅผ ํตํด hive benchmark๋ฅผ ์งํํ๋ค.
์คํ์์ค๋ฅผ ์ฌ์ฉํด์ ํ์ํ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๊ณ hive sql๊ณผ spark sql์ ์ฟผ๋ฆฌ ์ํ ์๊ฐ์ ํตํด ์ฑ๋ฅ์ ๋น๊ตํด๋ณผ ์ ์์๋ค.
๊ทธ๋ฆฌ๊ณ ์ฌํด ๋ชฉํ ์ค ํ๋์ธ ์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ ์๊ฒฉ์ฆ ์ทจ๋์ ์ํด, 1์ฐจ ํ๊ธฐ ์ํ์ ์น๋ฃจ์๋ค.
ํด๊ทผํ๊ณ ๋ฐ๋ก ์คํฐ๋ ์นดํ๊ฐ์ 1-2์๊ฐ ์ ๋ ๊ณต๋ถํ๊ณ ์ฃผ๋ง์๋ ์กฐ๊ธ ๋ณด๊ณ , ์ฝ ์ ์ฒด 10์๊ฐ ์ ๋ ํฌ์ํ์๊น?
์ด์ด ์ข๊ฒ๋ ๊ฐ์ฌํ ํ๊ธฐ๋ ํฉ๊ฒฉํ ์ ์์๋ค.
๋ฌธ์ ๋ ์ค๊ธฐ์ธ๋ฐ, ์ ๋ฌด์๋ ๊ฝค ๋์์ด ๋ ๊ฒ ๊ฐ์์ ์ค๊ธฐ๋ ๋ ์ ์ค๋นํด๋ณด๋ ค ํ๋ค.
์ ๊ณ ๋ณด๋ ํญ์ ๋ฌธ์ ์์ฑ์ ์๊ฐ์ ๋ง์ด ์จ์ ๊ทธ๋ฐ์ง ์๊ฐ๋ณด๋ค ๋ง์ ๊ฑธ ํ ๋๋์ ๋ ์๋๋ ๊ฒ ๊ฐ๋ค.
(์ฌ์ค ๊ทธ ๋ฐ์๋ ์ค๊ฐ ์ค๊ฐ ๋ค๋ฅธ ์ ๋ฌด๋ค๋ ์์๋๋ฐ, ๊ตต์งํ ๊ฒ๋ค๋ง ์ ์ด๋ณด์๋ค.)
๊ทธ๋๋ ๋ถ๋ช ํ ๊ฑด ์ ๋ง ์ข์ ๋ถ๋ค๊ณผ ํจ๊ป ์ผํ๊ณ ๋ฐฐ์ฐ๊ณ ์ฑ์ฅํ๊ณ ์๋ค๋ ๊ฑด ํ์คํ๋ค.
์ข๊ฒ ๋ด์ฃผ์๊ณ ๋ฏฟ์ด ์ฃผ์๋ ๋งํผ, ๋๋ ๋นจ๋ฆฌ ์ํด์ง๊ณ ์ถ์ ๋ง์๋ ๊ณ์ ์ปค์ง๋ ์ค์ด๋ค.
์ฃผ๋ณ์ ์ํ๊ณ ์๋ค๊ณ ๋ง์ํด์ฃผ์๋ ๋ถ๋ค์ด ์ ๋ง ๋ง์์ ๋๋ ์ง์ง ๊ฐ์ฌํ ์ธ์์ ์ด๊ณ ์๋ค๊ณ ์๊ฐํ๋ค :)
'๋ง์นจํ๋ฅผ ์ฐ๊ธฐ ๊น์ง' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
๋ง์ง๋ง ๊ทธ๋ฆฌ๊ณ ๋ค์ ์์ (0) | 2024.11.18 |
---|---|
๋๋ฌด ๊ธํ๊ฑธ๊น? (0) | 2024.05.15 |
12์ ํ๊ณ ์ 2023๋ ์ ์ ๋ฆฌํ๋ฉฐ (1) | 2023.12.31 |
์ํ๊ณ ์ถ๋ค (0) | 2023.11.30 |
๊ฐ์น๋ฅผ ์ฆ๋ช ํ๋ ์ฌ๋์ด ๋๊ณ ์ถ๋ค (0) | 2023.11.18 |