VRMdroid

한국어 · English · 日本語 · 中文

아이폰 없이, 안드로이드 폰으로 하는 VTuber 페이스 트래킹

최신 릴리즈 (APK)

Note

카메라 영상은 휴대폰 밖으로 나가지 않아요.
얼굴 인식은 모두 휴대폰 안에서 처리하고, PC에는 표정 수치만 보내요. 인터넷의 어떤 서버에도 접속하지 않아요.

📸 이렇게 써요

1. 아바타 고르기: 휴대폰에 있는 VRM 파일을 골라요. 없으면 샘플 아바타로 먼저 써 볼 수 있어요.
2. PC 프로그램 고르기: VSeeFace, VNyan, Warudo 중 쓰는 프로그램을 고르면 PC에서 눌러야 할 메뉴와 입력할 주소를 알려 줘요.
3. 시작하기: 휴대폰을 얼굴 앞에 두고 시작하기를 누르면 PC의 아바타가 내 표정을 따라 해요.

_{PC와 연결하기 · 메인 화면 · 표정 조절}

✨ 할 수 있는 것

• 아이폰과 같은 표정: 아이폰 트래킹과 같은 52가지 표정을 보내요. 아이폰용으로 맞춰 둔 아바타를 그대로 쓸 수 있어요.
• 휴대폰에서 미리 보기: 휴대폰 화면에서도 아바타가 내 표정을 따라 해요. PC에 연결하기 전에 트래킹이 잘 되는지 먼저 볼 수 있어요.
• 연결 안내: PC 프로그램을 고르면 순서를 하나씩 알려 주고, 연결되면 바로 표시해요.
• 표정 조절: 눈 깜빡임과 입 벌림 감도, 움직임의 부드러움을 아바타를 보면서 맞춰요.
• 정면 맞추기: 3초 동안 화면을 보면 지금 자세를 정면으로 잡아요.
• 실시간 디버깅 콘솔: PC로 보내는 표정 수치와 전송 속도를 메인 화면에서 바로 볼 수 있어요. 설정에서 켜요.
• 화면 깨끗하게: 버튼을 모두 숨겨서 휴대폰 화면을 그대로 녹화하거나 보여 줄 수 있어요.
• 오래 켜 두기: 자리를 비우면 화면을 어둡게 밝기를 낮추고 배터리를 절약해요. 그동안에도 트래킹과 PC 전송은 계속돼요.

이럴 때 써 보세요

• 아이폰은 없지만 VSeeFace나 Warudo에서 아이폰 수준의 표정 트래킹을 쓰고 싶을 때
• 웹캠이 없거나, 웹캠 트래킹이 눈 깜빡임과 입 모양을 잘 못 따라올 때
• PC가 방송만으로도 바쁠 때. 얼굴 인식은 휴대폰이 하고, PC는 받은 수치로 아바타만 움직여요.
• PC 없이 휴대폰에서 내 VRM 아바타를 움직여 보고 싶을 때

🖥️ 함께 쓸 수 있는 PC 프로그램

프로그램	앱에서 고를 것	PC 프로그램에서 할 것
VSeeFace	VSeeFace	설정 → General settings에서 iFacialMocap 받기를 켜고, 휴대폰 주소 입력
VNyan, Warudo 등	VNyan · Warudo 등	트래킹 방식에서 iPhone / iFacialMocap을 고르고, 휴대폰 주소 입력
VMagicMirror 등 VMC를 받는 프로그램	VMC로 받는 프로그램	VMC 받기를 켜고 포트를 39539로 맞춘 뒤, 앱에 PC 주소 입력

휴대폰과 PC는 같은 와이파이에 연결돼 있어야 해요. 메뉴 이름은 프로그램 버전에 따라 조금 다를 수 있어요.

⬇️ 설치하기

1. 최신 릴리즈에서 .apk 파일을 받아요.
2. 받은 파일을 열어요. "출처를 알 수 없는 앱" 안내가 나오면 설정을 눌러 이 출처(브라우저나 내 파일)를 허용해요.
3. Play 프로텍트 경고가 뜨면 세부정보 더보기 → 무시하고 설치를 눌러요. Play 스토어를 거치지 않은 앱이라 뜨는 안내예요.

업데이트는 새 버전 APK를 그대로 설치하면 돼요. 설정과 아바타는 그대로 남아요.

필요한 것

• Android 12 이상, 64비트(arm64) 휴대폰
• PC와 같은 와이파이
• 앱 언어: 한국어, 영어, 일본어, 중국어(간체). 휴대폰 언어를 따르고, 그 밖의 언어에서는 영어로 나와요. Android 13 이상에서는 설정의 "앱 언어"에서 따로 고를 수 있어요.
• Dimensity 8300 휴대폰 기준으로 초당 25~30번 표정을 보내요. 휴대폰 성능과 온도에 따라 달라져요.

🔒 개인정보

• 카메라 영상은 저장하지도, 밖으로 보내지도 않아요. 얼굴이 어떻게 움직였는지만 써요.
• PC로 보내는 건 표정 수치와 고개 각도뿐이고, 내가 정한 PC로만 가요.
• 쓰는 권한은 두 가지예요.
  • 카메라: 표정을 읽을 때
  • 인터넷: 같은 와이파이의 PC로 표정 수치를 보낼 때
• 광고, 분석 도구, 계정 로그인이 없어요.

🙋 자주 묻는 질문

이럴 때	이렇게 해 보세요
설치가 안 돼요	"출처를 알 수 없는 앱" 허용을 확인해 주세요. Android 11 이하나 32비트 휴대폰에서는 설치되지 않아요.
PC 아바타가 안 움직여요	휴대폰과 PC가 같은 와이파이인지 확인해 주세요. 게스트 와이파이나 공용 와이파이는 기기끼리 통신을 막는 경우가 많아요.
PC 프로그램이 휴대폰을 못 찾아요	PC 프로그램을 처음 켤 때 뜬 Windows 방화벽 창에서 "개인 네트워크"를 허용했는지 확인해 주세요. 이미 거부했다면 Windows 보안 → 방화벽에서 허용할 수 있어요.
연결 상태를 보고 싶어요	앱 위쪽 상태 표시를 누르면 지금 무엇을 기다리는지와 휴대폰 주소가 나와요.
아바타가 정면을 안 봐요	휴대폰을 얼굴 앞에 두고 정면 맞추기를 눌러 주세요.
휴대폰이 뜨거워요	오래 방송한다면 충전기를 연결하고, 휴대폰을 케이스 밖에 두는 걸 권해요.

문제가 계속되면 이슈에 휴대폰 기종, PC 프로그램과 함께 남겨 주세요.

---

🛠️ 개발자 노트

여기부터는 앱을 직접 빌드하거나 고치려는 분을 위한 내용이에요.

• 빌드 방법과 구조: docs/BUILDING.md
• 쓰인 기술
  • 앱: Kotlin, CameraX
  • 얼굴 인식: MediaPipe Face Landmarker
  • 아바타 미리 보기: Unity 6 (UniVRM)
  • 보내는 방식: iFacialMocap, VMC 프로토콜
• 라이선스: MIT. 샘플 아바타 Sendagaya Shibu는 VRoid Studio 샘플 모델(CC0)이에요.