Транслируйте анонимно: как виртуализировать себя и стать VTuber

Есть недостатки в трансляции собственной жизни в качестве стримера. Не только тролли и ненавистники, но и огромные усилия, необходимые для поддержания публичного имиджа, особенно если речь идет о торговле, а ваше влиятельное агентство занимается вашим делом слишком много поздних ночей. Вот почему многие стримеры теперь выступают в качестве виртуальных персонажей или VTubers.

Раньше оцифровывать людей было сложно и дорого. Когда я сообщил о виртуализации актера Робина Райта в Конгресс еще в 2014 году потребовалось более 150 светодиодных источников света и несколько сцен Canon EOS 1D Mark III LightStage в Институте творческих технологий Университета Южной Калифорнии, чтобы запечатлеть ее форму. Сегодня телефоны, веб-камеры и пакеты программного обеспечения могут помочь стримерам самостоятельно играть с анимацией, 2D/3D-моделированием, ригингом лица, синхронизацией звука и захватом производительности.

Чтобы узнать, как это делается, мы поговорили с двумя создателями, которые управляют своими персонажами на основе аватаров онлайн:Лаванда (Откроется в новом окне) и Syafire(Откроется в новом окне)— у которых немного разные подходы к тому, как перейти от реального к нереальному.

Познакомьтесь с нашими экспертами VTuber

Syafire (произносится как «сапфир») стал VTuber в 2020 году после нескольких лет потоковой передачи на таких платформах, как Twitch. В дополнение к своему собственному каналу на YouTube, где она занимается сделками с брендами, она также ведет YouTube для HTC Vive, Тренер по стримингу(Откроется в новом окне) помогая другим строить карьеру в качестве виртуальных персонажей в цифровом мире, и иллюстратор-фрилансер(откроется в новом окне).

Syafire начинала «как арт-стример, транслируя свои комиссионные и домашние задания по искусству, одновременно получая степень графического дизайнера в Flashpoint Chicago», — говорит она. «Затем я перевелся в местный колледж на специальность «Разработка игр», а затем перешел в онлайн-школу Академии художественной индустрии на специальность «Разработка игр с упором на концепт-арт».

В сентябре 2020 года Syafire заинтересовался зарождающейся сценой виртуальных влиятельных лиц после просмотра Код Мико(Открывается в новом окне) использовать Unreal Engine(Открывается в новом окне) для создания реалистичного иммерсивного аватара. Очарованный этой технологией, Syafire решил научиться работать с доступными инструментами.

Взяв с собой свою аудиторию (она называет их своими «самоцветами»), в режиме реального времени она выпустила видео выше, в котором подробно рассказывается, как стать VTuber. Это руководство положило начало карьере Сяфайр как создателя контента, работающего полный рабочий день, и сейчас у нее более 23 000 подписчиков только на YouTube.

Хейли Ньюсом, она же «Лаванда Таун», — иллюстратор-фрилансер из Лос-Анджелеса, дизайнер персонажей, аниматор и художник комиксов. «Я был «Лавандовым городом» на ютубе(откроется в новом окне) много лет назад, и я всегда избегала слишком часто показывать свое лицо в своих видео, поэтому я думаю, что я, естественно, была тем, кто оценит технологию VTuber», — говорит она.

«Сначала я был просто очарован моделями VTuber с художественной точки зрения, поскольку мне нравится создавать дизайны мультяшных персонажей, поэтому мне очень понравилось правило крутого, чрезмерного дизайнерского чутья известных VTubers». LavenderTowne решила узнать, как попасть на территорию VTuber, и сняла серию видеороликов, начиная с приведенного выше клипа.

Оба создателя говорят, что физическая анонимность в сети освобождает. «Стать виртуальным влиятельным лицом дает создателю, стоящему за ним, возможность испытать персонажа и мир, как никогда раньше», — говорит Сайфайр. «А также добиться славы, не изменяя свою личную жизнь так же, как это произошло с современными и прошлыми знаменитостями».

Лаванда Таун соглашается. «Когда дело доходит до потоковой передачи, я думаю, что модель VTuber — это то, что подходит лично мне. Это гораздо более визуально привлекательно, чем трансляция без лицевой камеры, и гораздо проще расслабиться и просто пообщаться с моим сообществом, не беспокоясь об освещении, макияже и прическе.

«Как ни странно, это кажется гораздо более естественным, чем «использование» моего настоящего лица», — говорит она.

Создайте свой характер

Если вы хотите создать свой собственный аватар, процесс начинается с создания вашего персонажа, синхронизации его с человеческим выражением лица (риггинга), включения модели в потоковую программную платформу, а затем запуска в эфир. Это упрощает. Но вот как оба создателя прошли этот рабочий процесс и что они обнаружили на этом пути.

Syafire создала свое виртуальное существо, используя VRoid Studio(Открывается в новом окне)— вы можете посмотреть ее урок выше. Если вы когда-либо проходили процесс создания собственного виртуального аватара для игры или входа в метавселенную, вы знакомы с этим процессом.

Выбирайте цвет волос, разрез глаз, контуры лица, варианты одежды, размеры тела и так далее, пока ваш аватар не приобретет желаемый вид. Программа позволяет создать уникальную 3D-модель, которую затем можно использовать на любой платформе.

Если вы хотите часами экспериментировать с шириной воротника, текстурами, эльфийскими ушами и инструментами кисти для отдельных волнистых участков волос, все это есть. Если вы хотите быстро приступить к работе, выберите шаблон, выполните базовые модификации, и все готово.

Поскольку Лаванда Таун — профессиональный иллюстратор, она хотела создать своего персонажа с нуля, используя собственные рисунки, а не 3D-модель. “Я использовал Live2D (откроется в новом окне) для этого», — объясняет она. «Многие VTubers используют Live2D для создания анимированного персонажа, который движется вместе с ними в реальном времени, без 3D-модели, и я нашел это очень захватывающим».

Ее руководство, как показано выше, показывает, насколько трудоемким может быть создание 2D-модели из отдельных иллюстраций, экспорт их в виде файлов PSD, а затем установка модели в Live2D Cubism. Но, по крайней мере, вы получаете удовольствие от создания полноценного виртуального персонажа с первого росчерка цифрового пера.

Оснастите свою модель

Как только ваша 3D-модель будет готова, вам нужно сопоставить движения персонажа со своими собственными. В руководстве Syafire она экспортирует свой аватар, а затем импортирует модель в инструмент захвата движения. В видео она использует 3tene(Откроется в новом окне)но возможны и другие варианты.

Теперь Syafire рекомендует VSeeFace (откроется в новом окне) “потому что он совместим со сторонним программным обеспечением под названием Виртуальный захват движения (открывается в новом окне) где вы можете получить более продвинутое отслеживание лица, если ваша модель VRM настроена с дополнительными формами смешивания, необходимыми в программе 3D-моделирования. Затем вы используете VSeeface для импорта модели и, наконец, iFacialMocap(Открывается в новом окне) приложение для отслеживания вашего расширенного отслеживания лица».

(Фото: Сяфайр)

Однако, если вы хотите попробовать 3tene, он позиционирует модель в 3D-пространстве, а затем получает данные с веб-камеры, чтобы настроить отслеживание лица и отображать движения глаз для сверхъестественного зеркального отображения. 3tene также синхронизирует звук с движением губ и Ультрапрыжок(Открывается в новом окне) можно развернуть ручные контроллеры, чтобы 3D-модель также отображала движения тела, если вы особенно выразительны с помощью жестов рук.

«Я человек с очень тяжелыми движениями рук», — говорит Сайфайр. «Я использую много выражений лица и языка тела, когда говорю. Не тратя тысячи долларов на высококачественное оборудование, получить выразительных персонажей и модели, соответствующие этому, возможно, но сложно. Я надеюсь увидеть дальнейшее развитие технологии захвата движения, чтобы продолжать делать это как можно более захватывающим опытом как для создателя, так и для потребителя».

Это базовая установка для подгонки виртуального (модели) к реальному (человеку). В 3tene также есть дополнительные параметры движения, если у вас есть настроение для виртуального себя, которое выполняет удары ногой карате или меняет выражение лица аватара для дополнительной глубины персонажа.

Сложные фьючерсы, сложные установки

Процесс создания оцифрованного человека включает в себя множество сложных движущихся частей. Хотя можно сделать минимум модификаций, чтобы оживить виртуального персонажа, большинство людей захотят пойти глубже. Это будет означать необходимость изучения нескольких платформ и даже дополнительных покупок оборудования.

Как и большинство профессиональных стримеров, Syafire использует OBS Studio с открытым исходным кодом для создания, редактирования и распространения своих потоков на нескольких платформах. И хотя большая часть тяжелой работы может быть выполнена с помощью бесплатного программного обеспечения, ее описания видео содержат список рекомендаций по веб-камере, микрофону и многому другому.

Она также предлагает использовать Stream Deck, а не настольный компьютер, для управления аватаром, позволяя вам сопоставлять различные эмоции с определенными кнопками и позволяя предварительно настраивать настроение, анимацию и многое другое, чтобы углубить ощущение погружения.

Тем не менее, ожидайте, что вы вложите больше времени и денег, чем сложнее будет ваша установка. «Если вы хотите вывести свою модель на новый уровень, как Код Мико или AI Angel(Открывается в новом окне)это совсем другое дело, и вам нужно будет заняться такими игровыми движками, как Единство (откроется в новом окне) и Unreal Engine, а также сторонние приложения, такие как Virtual Motion Capture».

Но была проделана большая работа, чтобы сделать эти технологии более доступными. «Я подозреваю, что технические проблемы создания этих моделей VTuber были основной причиной того, что многим людям потребовалось некоторое время, чтобы запрыгнуть на борт», — говорит ЛавендерТаун.

«Теперь, когда есть готовые 3D-модели, которые люди могут настраивать, технология PNGtuber, так что все, что вам нужно, это один или два рисунка, и есть больше учебных пособий, доступных на нескольких языках для тех, кто хочет попробовать это самостоятельно, это делает много ощущение, что будет бум новых VTubers».

«В целом, это долгий рабочий процесс, — добавляет Сяфайр, — но это один из самых приятных моментов, когда вы когда-либо видели, как ваш персонаж оживает и связан с вами».