Динамики — исследования, дизайн и эволюция

Динамики Valve Index оптимизированы для определённых практических целей виртуальной реальности, поэтому они совсем не похожи на привычные бытовые наушники.

Во время наших ранних экспериментов в сфере виртуальной реальности стало понятно, что, помогая пользователям достичь определённого уровня веры в предлагаемые обстоятельства*, необходимо не только полагаться на методы повествовательного изложения, отображения окружающей обстановки и выражения эмоций, применяемые в традиционных играх и фильмах. Важно также учитывать абсолютно новую категорию в виде решения психологических проблем, присущую только виртуальной реальности. Когда мы надеваем шлем, чтобы сыграть в Budget Cuts, мы хотим с помощью виртуальной реальности оказаться в офисе, кишащем роботами-убийцами, а не просто сидеть перед экраном и лицезреть его обстановку.

Благодаря нашим исследованиям и тестированию мы поняли, что для достижения максимального звукового погружения необходимо соблюдать так же много требований при разработке аудио-компонентов, как и при создании системы отслеживания 3D или панелей отображения. Мы также поняли, что работая в таких условиях, необходимо идти на некоторые любопытные компромиссы, которые оказывают влияние на расположение динамиков, вес динамической головки, форму её мембраны, производственный дизайн футляра динамика и даже основные частотные характеристики.

*Такое явление, как «вера в предлагаемые обстоятельства», в других контекстах мы назвали «эффектом присутствия», но этот термин имеет и иные коннотации в мире аудио, поэтому мы не будем использовать его далее в этой подробной статье.

Оборудование и программное обеспечение

Правдоподобное звуковое погружение может быть достигнуто только с учётом оборудования и программного обеспечения одновременно. Чтобы знать, где заканчивается прерогатива оборудования (аудио-устройств) и начинается сфера ПО (игры, VR-материал), необходимо целостно воспринимать процесс обработки звука в виртуальной реальности. Важно всё: момент создания аудио-контента в VR, его вывод игровыми движками и всё способы, с помощью которых он достигает уха.

Что же касается ПО, то здесь звукоинженеры и учёные, разрабатывающие игры, работают над созданием правдоподобного звукового погружения еще с 90-х годов, когда на игровой арене только появились продукты от первого лица с эффектом панорамирования (Doom, Half-Life, Aureal3D и прочие). Затем, благодаря поколению VR, многократно улучшились технологии пространственного звучания. Бинауральный рендеринг и такие плагины звуковой имитации, как SteamAudio, основанные на физике, позволяют разработчикам достигать ещё более высокой точности звукового позиционирования, физически точной виртуальной реверберации, звукового поглощения и распределения — и всё это через обычные стереонаушники. Задумавшись о создании оптимального устройства для прослушивания, применимого в VR, мы эффективно использовали следующие знания и исследования в моделировании звукового ПО:

• VR-контент зачастую поставляется через стерео — один левый и один правый аудиоканал. Эти каналы могут содержать встроенное бинауральное и тональное окрашивание HRTF в зависимости от того, куда смотрит игрок в текущий момент времени.
• Наши наружные уши, форма головы и геометрия лица вносят свою лепту в особую тональную характеристику, которая помогает нашему мозгу отличать настоящий звук от воображаемого, а также распознавать расположение источника звука по отношению к нам (сзади, сверху, снизу, слева, справа и т.д.).
• Достоверность звука средней частоты очень важна.
  • Для передачи позиции источника звука относительно игрока бинауральные симуляции полагаются на едва заметные изменения в тональном окрашивании (1кГц–8 кГц). Если устройство для прослушивания будет добавлять своё приглушённое окрашивание частоты, это негативно скажется на способности игрока определять местонахождение источника звука.
  • Люди в целом очень чувствительны к звукам в диапазоне между 2 кГц и 5 кГц. Если частота виртуального звука не совпадает с тем, что мы ожидаем в реальности, тогда мы, скорее всего, определим этот звук как "ненастоящий". В частности, это подтверждается тем, как легко мы можем отличить голос говорящего через динамик от голоса человека, говорящего рядом с нами.
• Точность воспроизведения звуков низкой частоты важна.
  • Хотя содержание низкочастотных компонентов не совсем характерно для реальной жизни, оно представляет собой неотъемлемую часть развлекательного и VR-контента (сюда относятся музыка, грохот, взрывы, стрельба, сердцебиение, удары, эффекты при применении заклинаний и прочее). Басы являются ключевым моментом для передачи ощущения уровня и масштаба. Они дополняют визуальное погружение в виртуальную реальность и дают определённые эмоциональные подсказки — опасность, удивление, изоляция, интернализация и т.п. Поэтому было важно, чтобы наше аудиоустройство поддерживало соответствующий уровень воспроизведения низких частот.

Почему не наушники?

Традиционные наушники весьма преуспели в том, чтобы проводить стереозвуковой игровой контент прямо в уши. Игроки могут смотреть в любом направлении в виртуальном мире, а игровые движки 3D с плагинами звуковой имитации будут обеспечивать вывод необходимого стереосигнала, передавая точное расположение виртуального источника звука. Именно поэтому участники соревнований по киберспорту (например, в CS:GO) используют наушники, а не фронтальные динамики — первые обеспечивают более чёткое пространственное звучание. Два канала вывода (L/R), два наушника (L/R) для двух ушей (левое/правое, L/R) — всё просто и понятно.

Однако основной задачей традиционных аудиоустройств, как правило, не является создание звукового погружения. Персональные устройства, к которым относятся наушники-вкладыши и наушники, надеваемые поверх ушей, оптимизированы для прослушивания музыки и развлекательного контента в местах, где использование динамиков неприемлемо, а требования к питанию невероятно низкие (например, мобильные телефоны, устройства на батарейках). Зачастую они фокусируются на звуко- и шумоизоляции, производительности и расширенных частотных характеристиках. Нам показалось, что многие из этих оптимизаций не совсем уместны для текущей виртуальной реальности в пределах комнаты, где основной средой для прослушивания является предназначенное для этого пространство (например, комната в помещении со светлым фоном), в котором допускается незначительная утечка звука. У нас есть доступ к большому количеству питания, а частотным характеристикам необходима поддержка в приёме бинауральной звуковой имитации.

Наушники или вкладыши должны вступить в контакт или охватить ухо, чтобы оптимально достичь своих целей. Мы заметили, что в следующих случаях это может препятствовать звуковому погружению:

• При проникновении звука напрямую в ушной канал пропускается естественный процесс прослушивания, который возникает в результате взаимодействия уха и головы с настоящими звуковыми волнами. Слушатели не улавливают тоновую звуковую сигнатуру, созданную ушами, головой и индивидуальной геометрией. Это может приводить к тому, что звук кажется вымышленным или идущим из головы, даже если звуковой контент весьма пространственен и механически имитирован. Мы предполагаем, что в какой-то момент это будет принято во внимание при моделировании ПО.
• Ушное давление может стать болезненным и доставлять дискомфорт после определённых периодов времени, что отвернёт людей от VR.
• Некоторые из участников игрового тестирования сообщали, что сам факт касания уха наушниками подаёт им сигнал, что последующий звуковой контент не является настоящим.
• При полном закрытии уха накладными наушниками может возникнуть удерживание тепла, что приведёт к нагреванию VR-шлема. Это, в свою очередь, не будет соответствовать тому, как пользователь чувствует себя в реальной жизни, и снизит эффект присутствия.
• Качество тонового звука некоторых наушников может создавать помехи едва заметным окрашиваниям частоты бинауральных симуляций. Например, наушники, у которых средние частоты расширены или приглушены, скорее всего, будут создавать помехи тонкостям фильтров HRTF, что приведёт к плохому восприятию направленного звука в играх и VR.

Почему не громкоговорители?

Мы также рассматривали громкоговорители и динамики с технологией формирования диаграммы направленности в стандартных установках стерео или объемного звука. Благодаря громкоговорителям можно избежать многих проявлений дискомфорта, связанных с наушниками, и получать звук, который легко воспринимается нами как внешний. Однако у них были свои недостатки, затрудняющие их использование:

• Имеющиеся конфигурации стереогромкоговорителей предполагают фронтальное расположение таким образом, чтобы звук проигрывался так, как будто слушающие находятся в зале, будь то прослушивание группы, выступающей на сцене, или просмотр телевизора на диване. Это подходит для музыки и кинематографа, но при воспроизведении стерео и VR-контента предполагается вывод через каналы L/R, в результате чего звук будет немедленно достигать каждой стороны головы слушателя.
• Традиционные системы объёмного звука 5.1 и 7.1 ограничивают воспроизведение в горизонтальной составляющей, тогда как звуковой контент игры и VR может виртуально располагаться где угодно вокруг слушателя.
• Правильная установка систем с громкоговорителями может занять определённое время и место, что требует дополнительных действий от пользователя при установке VR.
• Для точного пространственного воспроизведения громкоговорителям необходимо, чтобы игрок оставался в пределах маленькой оптимальной зоны восприятия. А для VR иногда требуется, чтобы люди могли двигаться в пределах большего пространства.
• Акустика настоящей комнаты может влиять на громкоговорители, что может помешать созданию желаемой акустики в виртуальном мире.
• Через громкоговорители звук может быть слышен слишком удалённо и противоречить восприятию источника виртуального звука, который может располагаться очень близко к ушам игрока.

Идея

Взвесив все «за» и «против», перечисленные выше, мы пришли к выводу, что оптимальным решением для VR может стать пара крайне приближенных, полнофункциональных наушников, не касающихся ушей. Они должны быть достаточно близко к уху, чтобы имитировать стереофонические игровые наушники и поддерживать выходной формат настоящего VR-контента, но достаточно далеко, чтобы позволить ушам и голове создать своё тоновое окрашивание звука, избегая при этом дискомфорта и давления. Благодаря осознанию всего вышесказанного и воспоминаниям из детства, когда можно было лечь между двух направленных друг на друга динамиков класса hi-fi и ощутить полное звуковое погружение, как раз и были созданы первые прототипы.

Эволюция

Первый прототип был создан так: две головки маленьких полнофункциональных настольных динамиков были прикреплены к велосипедному шлему. Старый Vive был закреплен снаружи. Динамики были запитаны через порт USB, а вывод аудио осуществлялся через порт для наушников HTC Vive. Поразительно, но этот грубый прототип отлично показал, что погружение в звук происходит на другом уровне, когда мы даём возможность голове и ушам воспринимать и интерпретировать звуки привычным способом. Чувство погружения сложно измерить количественным методом, так что на этом этапе мы ориентировались на обратную связь от коллег и игроков, тестировавших устройство, чтобы понять разницу в звуке между этим прототипом и накладными наушниками KOSS Porta Pro в VR. Отзывы были с существенным перевесом в пользу динамиков, так что мы чувствовали себя достаточно уверенно, продолжая нашу задумку с дизайном. Однако обнаружилось несколько проблем:

• Очень ограниченные басы.
• Незначительные вариации положения динамиков из-за того, что шлем можно надеть по-разному, или из-за движения в VR приводили к серьёзным сдвигам в плане громкости, диапазона частот, баланса звука.
• Вес и размер. Динамики были слишком тяжёлые (до 70 граммов каждый), что не слишком сочеталось с нашей задумкой сделать шлем лёгким и комфортным. Пожалуй, это была самая большая проблема на ранней стадии.
• Утечка звука.

Чтобы избежать проблемы с весом, мы попробовали использовать головки динамиков наушников вместо настольных. Они были легче, их энергоэффективность выше, но громкость — недостаточной, если держать на расстоянии от ушей. Хотя мы понимали, что так и будет, было интересно искать компромисс между погружением в звук, расстоянием до уха и диапазоном частот и громкостью.

Мы хотели понять, насколько большими динамические головки должны быть, чтобы соответствовать нашим требованиям по громкости и диапазону частот в случае внеушных наушников. Мы обсудили это с представителями Audeze, разработавшими для нас пару внеушных мангито-планарных наушников в экспериментальных целях. Звук был невероятным, однако вес, размер и цена не соответствовали производственным целям Valve Index.

Мы вернулись к тому, чтобы использовать динамические головки как основу дизайна. Одно из преимуществ ранней разработки звука на этой стадии — возможность работать независимо над остальными частями шлема Valve Index. С помощью инженера-механика мы создали специальные внеушные наушники. В такой системе мы смогли быстро настраивать басы, совершенствовать звучание, оптимизировать расстояние до уха и проводить A/B-тестирование драйверов динамиков. Этот прототип — первые напечатанные на 3D- принтере динамики. Между собой мы назвали их Hummingbirds.

Эти яркие Hummingbirds были созданы, чтобы оценить разные типы небольших полнофункциональных динамических головок. До этого мы адаптировали целые акустические системы и наушники. Приобретение и оценка готовых частей потребовало подборки основ звуковой подсистемы: усилителей, аудиочипов, ЦОС (цифровой обработки сигналов) и микрофонов. Параллельно мы приближались к тому, чтобы рассчитать оптимальную дистанцию от уха, расположение, размеры динамиков и диапазон частот.

Мы обнаружили BMR-динамики (BMR — Balance Mode Radiator), когда оценивали разные головки, и сразу отметили ряд преимуществ: они уменьшали окрашивание звука за счёт микропозиционирования динамиков, их вес соответствовал нашим требованиям, у них был отличный диапазон высоких и средних частот (что важно для бинауральной симуляции) и они были гораздо тоньше стандартных. Мы начали сотрудничество с Tectonic для разработки индивидуального дизайна головок, которые можно использовать в качестве внеушных динамиков.

Мы с всё нарастающим беспокойством обсуждали между собой, в каком объёме звуки из динамиков будут утекать во внешнюю среду и как будут слышны внешние звуки. Чтобы понять, насколько это будет влиять на пользователей, мы собрали около 20 прототипов (Hummingbirds) и раздали коллегам, чтобы они протестировали их дома. Никто не хотел их возвращать. Это был хороший знак, плюс отзывы были ошеломительно положительными. Те, кто тестировал наушники в игре, оказались очень довольны. Ничего не касалось их ушей. Усилившееся ощущение погружения в звук отодвинуло на задний план проблемы с внешним шумом и со звуками, утекающими из динамиков наружу. Мы решили продолжить разработку этого дизайна, не забывая при этом о предыдущих сомнениях.

Продукт

Так у нас появилась работающая подсистема — динамики. Они хорошо показали себя в тестировании и соответствовали нашим критериям качества, цены, дизайна. На следующем этапе мы начали добавлять динамики к шлему Valve Index. На этом этапе стало важным замерить акустические показатели звуковой подсистемы в контексте остального шлема. Получение точных измерений позволило отловить даже мельчайшие улучшения, а также определить проблемы в звуковой подсистеме. Сначала мы использовали «мистера Болванку», упрощенную модель головы, чтобы измерить диапазон частот динамиков. Синяя лента на лице отмечает конкретное местонахождение шлема, чтобы измерения оставались максимально точными.

Для повышения качества звука мы ежедневно замеряем и совершенствуем диапазон частот и глубину баса. В то время как мы в Valve работали над улучшением глубины баса посредством ЦОС (цифровой обработки сигналов), используя настройки эквалайзера и алгоритмы наподобие психоактустического баса, Tectonic работали над усовершенствованием баса механически, улучшая сами динамические головки. Эти совместные усилия позволили достичь желаемого качества звука (и даже превысить его) и настройки басов.

Используя BMR-головки, мы можем обеспечить стабильное качество звука без окрашивания, даже при условии, что динамики смещены в сторону. Всё возможно благодаря уникальному способу, которым BMR-головки излучают звук. На низких частотах они работают как традиционные динамики. Электрический сигнал поступает, и вся диафрагма (передняя часть динамика) перемещается взад-вперед, отслеживая форму сигнала. Однако настоящее волшебство случается на высоких частотах. Когда длина изгибающихся волн, проходящих через диафрагму подобна размеру диафрагмы, традиционные головки переходят в режимы «разрушения», что заставляет диафрагму изгибаться и пульсировать, провоцируя резкие скачки вверх и вниз, которые, помимо создания плохого качества звука, ещё и очень чувствительны к местонахождению. BMR-головки созданы для возможности использования естественного поведения диафрагмы, балансирующей вибрации из различных участков посредством оптимизированного выбора материала, массового давления и расширенной симуляции дизайна. Проще говоря, это обеспечивает получение ушами полной звуковой информации, даже если они находятся не на идеальном уровне с BMR-динамиками.

Вдобавок в Tectonic смогли механически уменьшить утечку звука. Динамики Valve Index открытого типа, так что возможна интерференция между давлением с лицевой стороны и давлением с обратной, и эти процессы не в фазе друг с другом по определению. Однако динамик сам по себе обеспечивает приглушение звука в некоторой степени за счёт своего диаметра. В целом для любого динамика внешний диаметр помогает предупредить встречу давления с лицевой стороны с давлением с обратной. Хотя это срабатывает только в случае, если длина звуковой волны, передающейся по воздуху, меньше, чем шумоподавление за счёт диаметра динамика. Когда длина волны становится больше, чем диаметр динамика, давление с лицевой стороны взаимодействует с давлением с обратной стороны и происходит сильное гашение. Общий диаметр динамика — около 5 см. Это означает, что выше ориентировочно 3 кГц шумоподавления нет, но, как мы знаем, аудиоконтента выше этой частоты всё меньше. Большинство аудиоконтента ниже 3 кГц, так что шумоподавление весьма эффективно и звук не беспокоит людей рядом. «Ухо слушателя, использующего гарнитуру, так близко к динамику, что гашение не воспринимается: давление с лицевой стороны в относительных терминах намного ближе к уху, чем обратная сторона», — рассказывает Тим Уитвелл, технический директор Tectonic.

Микрофон

Наша задача — сделать так, чтобы в гарнитуре были высококачественные микрофоны, которые нужны для трансляций и многопользовательских игр. Однако в случае с внеушными наушниками мы ожидали, что найти хорошее решение для микрофонов будет непросто. К нашему удивлению, это оказалось не так. Из-за нескольких уникальных особенностей внеушных наушников мы смогли избежать значительной части цифрового шумоподавления сигнала микрофона, что позволило нам держать частоту дискретизации очень высокой — 48 кГц. Ниже список того, что помогло нам обеспечить высокое качество работы микрофона:

• Двойная микрофонная решётка, чтобы сузить отклик, сфокусироваться на сигнале (рте пользователя) и убрать посторонние шумы. Двойная микрофонная решётка фокусируется на получении сигнала изо рта пользователя и исключает внешние звуки.
• BMR-динамик уменьшает утечку звуков гораздо лучше, чем стандартные динамики.
• Акустика динамиков и микрофона разработаны, чтобы уменьшить любые нелинейные пути акустической обратной связи. Сама голова игрока абсорбирует большую часть энергии звука BMR-головок.
• Микрофоны и акустические пути с высоким соотношением сигнал/шум.
• Высококачественные микрофоны хорошего качества и звукоизоляция.
• Динамическая компрессия входящего аудио, чтобы избежать клиппинга громких голосов.

Мысли напоследок

Как итог всех этих исследований, изменений в дизайне и работы с обратной связью, мы думаем, что динамики Valve Index настолько, насколько это возможно, близки к оптимальному балансу функций и спецификаций аудиосистемы для виртуальной реальности в пределах комнаты. Нам нравится, как эта система звучит, но при этом мы прекрасно понимаем, что нам есть чему учиться и что улучшать.

Если вы неравнодушны к аудио и хотели бы работать с нами над решением подобных проблем, обратите внимание на разные вакансии, связанные с работой со звуком, или напишите по адресу jobs@valvesoftware.com