2D ์ด๋ฏธ์ง 1์ฅ์ผ๋ก ๋ฌดํํ 3D ๊ฐ์ ์ธ๊ณ๋ฅผ ์ฐฝ์กฐํ๊ณ , ํค๋ณด๋ WASD ๋ฐฉํฅํค๋ก ๊ฒ์์ฒ๋ผ ์ค์๊ฐ ํํํ๋ ์ธ๊ณต์ง๋ฅ ์๋ ๋ชจ๋ธ
์๋ ๋ฒํผ์ ํด๋ฆญํ๊ฑฐ๋ ํค๋ณด๋์ [W, A, S, D, Q, E] ํค๋ฅผ ์ง์ ๋๋ฌ๋ณด์ธ์.
์ธ๊ณผ์ (Causal) ์ฌ์ ํ์ต ํจ๋ฌ๋ค์๊ณผ ๋์ KV ์บ์ ์ค์ผ์ค๋ง์ ํตํด ๋ฉ๋ชจ๋ฆฌ ํญ๋ฐ์ด๋ ๋๋ฆฌํํธ ์๊ณก ์์ด ๋์๋ ์ธ๊ณ๋ฅผ ํํํฉ๋๋ค.
13์ต ํ๋ผ๋ฏธํฐ(1.3B)์ 14B Causal-Fast ์ฆ๋ฅ ๋ชจ๋ธ๋ก, ๋จ์ผ GPU(RTX 6000 Ada)์์ 1์คํ ๋น 1.6์ด ๋๋ ธ์ด์ง์ ๋ฌ์ฑํ์ต๋๋ค.
VLM(๋น์ -์ธ์ด ๋ชจ๋ธ)์ด '๊ฐ๋ (Director)'์ด ๋์ด ๊ฑฐ์์ ์ฌ๊ฑด์ ๊ณํํ๊ณ , Causal DiT๊ฐ '์กฐ์ข ์ฌ(Pilot)'๊ฐ ๋์ด ๋ฌผ๋ฆฌ์ ๋น๋์ค๋ฅผ ์ค์๊ฐ ๋ ๋๋งํฉ๋๋ค.
OpenCV 3D ์ขํ๊ณ ๊ธฐ์ค์ ์นด๋ฉ๋ผ ํ์ ๋ฐ ์ด๋ ๋ฒกํฐ๋ฅผ Plรผcker ๊ด์ ์๋ฒ ๋ฉ์ผ๋ก ์ธ๊ณผ์ ํธ๋์คํฌ๋จธ์ ์ฃผ์ ํ์ฌ ์๋ฒฝํ ์์ ์ ์ด๋ฅผ ๋ณด์ฅํฉ๋๋ค.
์ ์ฅ์๋ฅผ ํด๋ก ํ๊ณ ์๋ ๋ช ๋ น์ด๋ฅผ ์คํํ๋ฉด, ๋ธ๋ผ์ฐ์ ์์ ์ฆ์ ์ค์๊ฐ ํํ์ ์ฆ๊ธธ ์ ์์ต๋๋ค: