바이트댄스가 새 영상 생성 AI 모델 Seedance 2.0을 내놓았다. 2026년 중반 공개된 이 모델은 이전 모델 Seedance 1.5 Pro의 파이프라인을 완전히 새로 설계한 아키텍처로 교체한 결과물이다. 텍스트 프롬프트 하나만 입력받던 기존 방식에서 벗어나 사진·영상·음성 등 최대 12개 소재를 한꺼번에 입력받아 하나의 영상으로 합쳐낸다는 점이 특징이다. 화면과 소리를 같은 과정에서 동시에 만들어내는 구조를 택해 립싱크나 음향 타이밍이 어긋나는 문제도 줄였다는 설명이다. 업계 조사에 따르면 2026년 초 기준 AI 영상 제작 관련 지출이 20억 달러(약 2조 7,660억 원, 1달러 1,383원 기준)를 넘어선 것으로 집계되는데, 짧은 영상 콘텐츠 수요가 이를 이끌었다는 분석이 나온다.

12개 소재를 한 번에 넣는 “@ 참조” 시스템

Seedance 2.0은 이미지 최대 9장, 영상 클립 3개(총 15초), 오디오 파일 3개에 텍스트 프롬프트까지 더해 한 번에 입력받는다. 이렇게 만들어지는 결과물은 4초에서 15초 길이의 영상이다. 핵심은 각 소재에 역할을 지정하는 자연어 태깅 방식인 “@ 참조” 기능이다. 사용자가 “@Image1은 캐릭터 얼굴을 정의하고, @Video1은 카메라 오빗 패턴을 제공하며, @Audio1은 배경음을 설정한다”고 지정하면 모델이 각 태그의 역할을 읽어 그대로 반영해 영상을 구성한다.

이는 기존 방식과 근본적으로 다른 접근이다. 지금까지는 원하는 장면을 말로 설명해야 했고, 그 설명이 모델의 해석과 어긋나면 결과물이 기대와 달라지는 손실이 발생했다. Seedance 2.0은 창작자가 가진 브랜드 자산, 제품 사진, 무드보드, 레퍼런스 영상을 그대로 업로드해 직접 보여주는 방식을 택했다. 이미 촬영된 자료나 참고 영상을 보유한 제작팀이라면 이를 다시 문장으로 옮기는 번거로운 과정을 건너뛸 수 있다는 의미다.

립싱크·음향까지 동시에 만드는 구조

기존 AI 영상 생성 도구는 영상을 먼저 만들고 오디오를 따로 생성하거나 수동으로 편집하는 두 단계 과정을 거쳤다. 그 결과 발소리가 프레임과 어긋나거나 입 모양이 대화보다 0.25초 정도 늦게 움직이는 등 어색함이 남았다. Seedance 2.0은 시각과 오디오 신호를 병렬로 처리하는 새 아키텍처 “듀얼 브랜치 디퓨전 트랜스포머(Dual Branch Diffusion Transformer)”를 적용해 이 문제를 해결했다고 밝혔다.

이 구조에서는 대화의 입 모양이 프레임 단위로 얼굴 움직임과 맞춰진다. 문이 닫히는 소리, 유리컵을 테이블에 놓는 소리, 옷감이 스치는 소리 같은 음향효과가 실제 동작이 일어나는 정확한 순간에 등장한다. 배경음악도 정해진 루프를 반복 재생하는 게 아니라 장면의 감정 흐름에 맞춰 변화한다. 대화가 있는 튜토리얼이나 제품 시연, 짧은 서사 영상을 만드는 창작자라면 별도 사운드 편집 단계를 거치지 않아도 된다는 게 특징이다. 다국어 립싱크도 지원해 같은 제품 영상을 영어·한국어·일본어 등 여러 언어의 대화로 각각 다시 촬영하거나 더빙하지 않고도 만들 수 있다.

프레임이 바뀌어도 무너지지 않는 캐릭터 락

AI 영상 생성 도구의 오랜 약점은 장면이 이어질수록 캐릭터의 얼굴선이 조금씩 바뀌거나, 제품 라벨 글자가 카메라 각도에 따라 왜곡되거나, 옷 색깔이 다섯 초 사이 남색에서 검정으로 변하는 “정체성 표류” 현상이었다. 데모 영상에서는 잘 드러나지 않지만, 브랜드 가이드라인이 정확한 색상값으로 관리되는 실제 상업 영상 제작에서는 치명적인 결점으로 꼽힌다.

Seedance 2.0은 이를 참조 소재 단계에서 해결한다. 창작자가 이미지를 캐릭터 레퍼런스로 태그하면 모델은 그 이미지를 “정체성 앵커”로 간주한다. 얼굴 특징, 헤어스타일, 체형, 피부 텍스처, 의상 디자인과 액세서리가 영상 전체 프레임에서 고정되는데, 캐릭터가 일부 가려지거나 뒤에서 촬영되거나 움직이는 프레임에서도 이 일관성이 유지된다는 설명이다.

지리공간 영상부터 경쟁 모델까지…달라지는 활용 범위

Seedance 2.0의 멀티모달 입력 방식은 지리 데이터를 다루는 전문가들에게도 새로운 활용처를 열었다. 도시계획 담당자, 환경 컨설턴트, 부동산 마케터, 관광 홍보 담당자, 지리정보시스템(GIS) 분석가처럼 원본 자료가 시각적이고 지역에 기반한 업무를 하는 이들이다. 예를 들어 토지 개발 계획팀은 부지 계획 렌더링을 @Image1, 기존 지형을 찍은 드론 사진을 @Image2, 원하는 카메라 이동을 보여주는 참조 영상을 @Video1, 목표 환경의 배경음을 @Audio1로 각각 태그해 30초짜리 비행 영상을 만들 수 있다. 환경 모니터링팀은 유역의 전후 위성 이미지를 올려 시간에 따른 변화를 보여주는 전환 영상을 생성하고, 관광 홍보 담당자는 풍경 사진과 호텔 이미지, 브랜드 음악 트랙을 업로드해 색보정과 지역 정체성을 일관되게 유지한 홍보 영상을 만든다. 차량이 교차로를 지나가는 장면에서는 엔진 소리가 차량 위치를 따라가고, 밀집한 도심에서 공원으로 장면이 바뀌면 공사 소음이 잦아들고 새소리가 커지는 식으로 음향도 자동 전환된다.

2026년 AI 영상 생성 시장에는 오픈AI 소라2, 구글 비오3, 클링3.0, 런웨이, Hailuo AI 등 경쟁 모델이 이미 자리를 잡고 있다. 소라2는 물리 시뮬레이션과 긴 시퀀스의 영화적 사실감에서, 비오3는 사실적인 인간 동작 표현에서 강점을 보인다는 평가다. 앞서 알리바바도 8월 24일(현지시각) 영상 생성 모델 완3.0(Wan3.0)을 정식 출시한 바 있다. 완3.0은 이미지 최대 10장, 영상 5개, 오디오 5개에 더해 PDF·파워포인트·스프레드시트까지 입력 소재로 쓸 수 있고 최대 30초 길이 영상을 만든다. Seedance 2.0은 이미지 9장, 영상 3개, 오디오 3개로 총 12개 자산을 받아 4~15초 영상을 만드는 구조라 입력 가능한 자산 개수와 결과물 길이에서 차이가 난다. 각 모델이 서로 다른 소재 조합과 출력 길이를 앞세우며 경쟁하는 모습이다.