유료로 바뀌기전에 빨리 사용하세요, 한국어 AI음성 립싱크 동영상 생성하기

활용성이 높은 AI서비스

매번 다양한 AI서비스를 이용하다가 이번에 새로운 걸 발견하였는데 이번에 찾은 AI는 원하는 텍스트를 한국어 음성으로 읽어주고(TTS), AI이미지생성 혹은 기존에 이미지를 업로드하면 생성한 AI를 이미지에 맞추어 말하는 비디오 생성기능까지  입모양이 음성에 맞게 구현되도록 AI가 동영상을 생성합니다.
복잡하고 지루한 설정없이 정말 쉽고 빠르게 3단계로 AI동영상을 생성할 수 있습니다.
 
오늘 소개할 AI는 이전에 개별적으로 있었던 서비스를 모두 하나로 통합한 것처럼 간편하고 누구나 무료로 쉽게 이용해 볼 수 있습니다.

 

AI서비스 소개(AI음성+이미지생성+립싱크동영상)

'hedra'는 AI를 사용하여 이미지 생성 및 캐릭터를 생성하고 이를 사용하여 비디오도 함께 생성할 수 있다고 소개되어 있습니다. (링크)
많은 서비스들이 영어기반을 두고 있는데 한국어를 지원하다는 점에서도 정말 활용도가 높은 거 같습니다.
 
현재는 beta기간이며 누구나 정말 쉽게 무료로 이용할 수 있습니다. 
beta서비스인 만큼 정식 출시가 되면 더 많은 기능과 서비스를 제공하고 요금제별 차별화된 플랜도 도입될 것으로 생각합니다. 그렇기 때문에 지금 당장 무료로 사용할 수 있는 시점에서 미리 서비스를 이용해 보시는 걸 권해드립니다.
 
 

직접 사용한후기 (미리 보기)

결과물 1

위 결과물은 랜덤 텍스트를 입력하고 캐릭터는 Hedra에서 제공하는 AI로 생성(사용 프롬프트 :girl anime cyberfunk)하여 생성하였습니다.
눈을 깜빡이고 입도 실제 말하는 내용에 맞춰서 움직이는 게 정말 신기했습니다.
음성에서 감정을 묘사하는 부분이 살짝 아쉽지만 전반적으로 정말 만족하는 결과물이었습니다.
 
 

결과물 2

 
위의 결과에서 이미지는 기존의 있는 이미지를 사용하였으며(이미지 출처) 이외에 테스트용 텍스트를 사용하여 결과물을 확인해 봤습니다.
 
글 몇 자와 이미지를 업로드했을 뿐인데 진짜 사람이 말하는 거 같은 동영상이 생성되어 놀라웠습니다. 립싱크 부분에서는 꽤나 자연스럽고 음성과의 싱크도 일치하며 무엇보다 한국어를 지원한다는 점에서 정말 좋았습니다.
다만 말할 때 표정이나 감정등의 제스처가 미국식 격앙 같다는 느낌도 조금 들어서 아쉬웠습니다.
 
 

내 캐릭터가 입력한 대로 말하는 AI동영상 생성하기

메인 홈페이지에서 'Try beta'를 클릭하면 AI기능을 사용할 수 있는 페이지로 접속됩니다.
오디오, 이미지, 비디오 각 섹션별로 옵션을 설정하여 총 3단계의 과정을 거친 뒤 최종적으로 AI동영상이 생성됩니다. 
지금부터 각 항목에 대해서 상세히 알아보겠습니다.
 
 

Audio 설정

 
Generate audio
AI동영상에 사용될 텍스트는 직접 입력하여도 되고 기존의 음성파일을 업로드하여 사용하셔도 됩니다.
한글 텍스트도 지원하고 있으며 직접 입력할 경우 최대 300자까지 지원하고 있습니다.
 
Import audio
기존의 음성파일을 업로드하여 사용하고자 한다면 'mp3확장자', 'wav확장자'로 이루어진 음성파일을 선택하면 되며 최대 30초 정도의 길이를 지원합니다. 업로드한 파일에서 원하는 영역만 따로 드래그하여 지정할 수 도 있습니다.
 

텍스트를 입력하거나 업로드하였다면 이제 TTS모델을 선택해야 합니다.
남성 및 여성으로 된 음성모델 6개나 지원합니다. 이 모델들은 한국어를 지원합니다.
 

모델들을 선택한 뒤 우측에 'Play'아이콘을 클릭하면 해당 모델의 테스트용 음성을 영어로 확인해 볼 수 있습니다.
 
 

AI캐릭터 이미지 생성

두 번째 단계에서는 AI캐릭터를 생성합니다. 
마찬가지로 기존에 가지고 있는 이미지파일을 업로드하여 사용할 수 있으며, AI기능을 통하여 캐릭터를 생성할 수도 있습니다.
 
 

hedra에서 지원하고 있는 AI캐릭터 생성 모델의 퀄리티가 꽤나 좋았습니다.
 
직접 프롬포트를 작성하거나 설정에서 네거티브 프롬포트를 지정해서 조금 더 세밀한 이미지 생성이 가능합니다. 프롬포트에 익숙하지 않다면 주사위버튼을 클릭하며 랜덤으로 이미지를 생성할 수 있고 생성된 이미지는 Download버튼을 클릭하면 별도로 저장할 수 있습니다.
 
 

AI동영상 생성

마지막 단계로 앞서 설정한 값을 모두 입력한 뒤 Generate video 버튼을 클릭하면 AI동영상이 생성됩니다.
 

버튼을 클릭하면 작업 중 화면으로 바뀌며 소요 시간은 이용하는 사용자나 텍스트 길이 등에 따라서 천차만별이며 대략적으로 약 3~5분 정도 소요되는 거 같습니다.
 
 

AI동영상 결과 저장하기

AI로 생성된 동영상은 'MY Library' 항목에서 결과물의 메뉴를 클릭한 뒤 'Download'를 클릭하면 따로 PC에 저장할 수 있습니다.




검열없는 대화Ai서비스 살펴보기

검열없는 AI 캐릭터 대화 서비스 소개