헤이젠 AI, 딥페이크 기술을 이용한 생성형 AI

헤이젠 AI는 딥페이크 기술을 이용하여 목소리와 비슷하게 립싱크해주는 AI입니다. 

과연 어떻게 딥페이크 기술을 이용하여 생성형 AI를 만들어내는지 함께 살펴보도록하겠습니다.

---

목차

헤이젠 AI 바로가기 링크 클릭

---

생성형 ai, 헤이젠 AI

헤이젠 AI는 어느 회사이길래 가장 잘나가는 더빙, 번역, 딥페이크를 합친 기술을 구현해 내는 걸까요

HeyGen은 요즘 많이 보이고 있는 생성형 AI 기반의 스타트업 중 하나입니다. 특히 비디오 제작에 생성형 AI를 도입하여 자신의 아바타를 통해 촬영 없이 비디오를 생성할 수 있도록 하는 툴을 다양하게 개발하고 있습니다.

실제 서비스하고 있는 주요 툴로는 가상의 아바타를 생성하여 미리 제공되는 여러 가지 템플릿에 대본을 넣어 비디오를 생성하는 형태의 서비스를 제공하고 있습니다.

앞서 말한 기술은 Labs라는 실험실 페이지에서 확인할 수 있었습니다.

설명에 나와있듯이 한 번의 클릭으로 영상의 번역 더빙을 발화자의 자연스러운 음성 변환과 입술 모양으로 합성해 주는 기술로, 실제로 500mb 이하의 영상파일을 업로드하면 바로 번역 더빙 작업을 시작할 수 있는 형태의 툴로 작업을 시작합니다. 한번의 클릭으로 더빙/립싱크/번역까지 한번에 가능합니다.

---

Heygen Video Translate의 장점

인건비와 시간 절약
확실히 번역과 더빙, 딥페이크 합성까지 한 번에 처리하는 것은 기존에 없었던 새로운 시도임에는 분명합니다. 각 단계별로 들어가는 인건비와 소요 시간만 보아도 상당한 효율성을 보이는 것을 알 수 있죠. 5분 짜리 영상을 처리한다고 가정했을 때 대략 3200원 정도가 소요되었습니다. 가성비로 따졌을 땐 정말 놀라울 따름입니다.

물론 현재는 동시 통역 송출의 단계는 아니고 이미 촬영된 영상을 처리하는 것이지만 추후 기술의 발전을 고려할 때 수준 높은 실시간 더빙이 가능하다면 게임 체인저로서의 역할도 가능할 것으로 생각됩니다. 상당히 유명한 분들을 섭외하여 더빙을 진행하였는데 아마 더빙 작업에 배정된 예산 또한 상당했을 거라고 추측됩니다.

이러한 작업들을 AI를 통해 사람이 만지는 것처럼 완벽하게 구현해낼 수 있으며 립싱크까지 완벽하게 구현이 가능하다면 굉장한 예산 절감의 효과가 있을 것입니다.

---

 

종합적인 결론

우선 실시간 기술처럼 커뮤니티에 소개되었지만 사실 실시간은 아니었으며, 번역/더빙/딥페이크까지 잘 구사한 기술인 것은 맞으나 한계점이 확실히 있고, 돈을 지불하여 실제 이를 실무에 사용하는 것에는 아직까지는 리스크가 있을 것으로 보여집니다.

무엇보다 아직은 한국어 to 영어가 불가하여 국내 콘텐츠의 글로벌화는 불가하다는 점에서 메리트가 없다고 할 수 있겠습니다. 따라서 이번 토픽은 신기한 기술을 서비스하는 회사가 있다 정도로만 확인하시면 좋을 것 같습니다.

 

감마AI사용방법 바로보러가기