Вушні динаміки — досліджуйте, проектуйте та розвивайте

Вушні динаміки Valve Index були оптимізовані для конкретних експериментальних цілей віртуальної реальності, через що їхній дизайн цікавим чином відрізняється від типових навушників.

На початку наших експериментів у ВР стало зрозуміло, що аби допомогти користувачу ВР отримати належне звукове уявлення*, потрібно покладатися не лише на оповідь, середовище та емоційні методи традиційних ігор і фільмів, а й на цілковито нову категорію вирішення фізіологічних проблем, унікальну для ВР. Якщо ми одягаємо шолом для гри в Budget Cuts, то ми очікуємо, що віртуальна реальність перенесе наше тіло в офіс, заповнений роботами-вбивцями, а не просто покаже нам офісне середовище через статичний екран.

Наші дослідження та тестування привели нас до усвідомлення, що досягнення максимального звукового занурення потребує таких самих серйозних вимог до дизайну звукових компонентів, як у системах тримірного відстеження чи для панелей зображення. Ми також зрозуміли, що проектування з урахуванням цим вимог вимагає цікавих компромісів, що зачіпають такі речі, як розташування динаміків, їхня вага, форма їхньої діафрагми, промисловий дизайн корпусу, в якому вони розташовані, і навіть фундаментальні характеристики їхніх частот.

*Ми називаємо це «присутністю» в інших місцях, але в звуковому світі цей термін несе інші конотації, тож ми не використовуватимемо його в цій докладній статті.

Апаратне і програмне забезпечення

Переконливого захопливого звучання можна досягти лише з одночасним використанням апаратного і програмного забезпечення. Знання того, де слід поставити межу між обов’язками апаратного забезпечення (звукового пристрою) та програмного забезпечення (гри, віртуального занурення), потребує різностороннього осмислення всього процесу звуку у віртуальній реальності: від того, як створювати звуковий вміст для ВР, до того, як він відтворюється на ігрових рушіях, і до всіх способів, якими він може досягти вух.

З боку програмного забезпечення ігрові звукові інженери та вчені працюють над створенням переконливого і захопливого звукового вмісту звідтоді, як у 90-х роках з’явилися перші занурення від першої особи (Doom, Half-Life, Aureal3D тощо). Звідтоді, завдяки нинішньому поколінню ВР, ми побачили велетенські покращення в технології просторового звуку. Стереовізуаліація та фізичне моделювання звуку, такі як SteamAudio, дозволяють розробникам створювати неймовірну точність позиціювання звуку. Фізично точні віртуальні реверберації, оклюзія та поширення звуку — усе це можливо через звичайні стереонавушники. При розгляді оптимального пристрою для слухання до поточного покоління ВР, ми використовували наступні знання та дослідження в області моделювання програмного забезпечення аудіо:

• ВР-вміст переважно подається у стерео. Один лівий і один правий звуковий канал. Ці канали можуть включати вбудовану стереосистему та HRTF (передавальну функцію, пов’язану з поворотом голови) з тональним оформленням залежно від того, куди гравець дивиться.
• Наші зовнішні вуха, форма голови та геометрія обличчя додають особливу тональну сигнатуру, котра допомагає нашому мозку ідентифікувати справжні звуки на фоні уявних звуків та визначати їхнє джерело (позаду, знизу, ліворуч, праворуч тощо).
• Точність середньої частоти звуку дуже важлива.
  • Стереосимуляції покладаються на тонкі зміни тону (1 кГц —8 кГц), щоби передати розташування джерела звуку гравцю. Якщо пристрій прослуховування додає свої власні приглушені частотні тони, то вони будуть заважати гравцю визначати місце розташування звуку.
  • Люди зазвичай дуже чутливі до звуків у межах 2 кГц — 5 кГц. Якщо частота віртуального звуку не збігається з тим, що ми очікуємо в реальності, то ми з великою вірогідністю визначимо звук як «нереальний». Це особливо правдиво, якщо ви порівнюєте голос із телетрансляції з голосом того, хто говорить просто перед вами.
• Точність нижньої частоти звуку теж важлива.
  • Хоча низькочастотний звук не дуже поширений в природі, він регулярно з’являється у віртуальній реальності та в розважальному вмісті (музика, твіти, вибухи, стрільба, серцебиття, зіткнення, магічні закляття тощо). Бас критично важливий для передачі відчуття розміру та масштабу. Він посилює візуальне занурення у ВР та викликає певні емоційні сигнали — небезпеку, страх, ізоляцію, внутрішнє прийняття встановлених норм тощо. Ось чому для нашого пристрою прослуховування було важливо підтримати хороший бас.

Чому не навушники?

Традиційні навушники вирізняються прямою передачею стереофонічного сигналу безпосередньо на кожне вухо з урахуванням розташування гравця. Гравці можуть дивитися в будь-якому напрямку у віртуальному світі, а ігрові тримірні рушії з налаштуваннями для імітації звуку виводять необхідний стереосигнал для передачі правильного розташування у віртуальне джерело звуку. Ось чому гравці в кіберспорті (наприклад, у CS:GO) використовують навушники замість фронтальних динаміків. Навушники дають більше прямої просторової звукової інформації. Два вихідних канали (лівий / правий), два навушники (лівий / правий) для двох вух (лівого / правого) — все дуже прямолінійно.

Однак загалом традиційні звукові пристрої нечасто розробляються з головною метою у створенні переконливого звуку. Персональні пристрої, такі як навушники, внутрішні та зовнішні, оптимізовані для прослуховування музики та розваг у місцях, де динаміки не підходять і є вимоги до низького рівня живлення (наприклад, мобільні телефони та інші пристрої на акумуляторах). Акцент часто робиться на звукоізоляцію, енергоефективність, придушення шумів та перебільшені частотні характеристики. Ми вирішили, що багато з цих оптимізацій не будуть особливо значущими для сучасної віртуальної реальності в приміщенні, де загальне середовище прослуховування є окремим простором (наприклад, ізольованою кімнатою з низьким фоновим звуком), тож незначний витік звуку не нашкодить. Ми маємо доступ до великої потужності, і частотні характеристики повинні підтримувати припущення моделювання стереозвуку.

Стандартні внутрішні і зовнішні навушники повинні торкатися чи огортати вухо для досягнення своїх цілей. Ми бачили, що це часто працює проти переконливого звуку наступним чином:

• Подача звуку безпосередньо у вушний канал обходить природний процес прослуховування, котрий викликається вухом і головою, взаємодіючи з реальними звуковими хвилями. Слухачі пропускають тональний звуковий підпис, створений вухами, головою та лицевою геометрією. Це може призвести до появи звуку, котрий здається несправжнім або лунає з голови, навіть якщо вміст цього звуку дуже просторовий та імітується фізично. Ми очікуємо, що програмні симуляції це врахують.
• Тиск у вухах може стати болючим і неприємним після тривалого часу, що призводить до втрати людьми занурення у ВР.
• Деякі тестувальники відзначали, що навіть простий дотик навушників говорить їм, що будь-який звук звідти буде несправжнім.
• Герметизація вуха за допомогою гарнітури навушників може втримувати тепло, через що шолом ВР відчуватиметься гарячішим, ніж насправді, і це теж шкодить зануренню у ВР.
• Якість звуку деяких навушників може заважати тонким частотам стереосимуляції. Наприклад, навушники з перебільшеними або приглушеними середніми частотами, найімовірніше, будуть заважати тонким фільтрам HRTF, що призведе до поганого відчуття спрямування звуку в іграх та у віртуальній реальності.

Чому не колонки?

Ми також розглядали можливість використання колонок і динаміків формування звуку у типових налаштуваннях стереозвуку чи об'ємного звучання. Колонки уникають багатьох проблем із комфортом, що пов’язані з навушниками, та подають звук, який ми легко сприймаємо як зовнішній стосовно наших власних голів, але вони створюють багато перепон для адаптації:

• Наявні конфігурації стереоколонок передбачають орієнтування вперед, тому звук відтворюється так, ніби людина знаходиться в аудиторії, слухає гурт на сцені чи дивиться телевізор із дивану. Це добре для музики та фільмів на екрані, однак ВР та стереоскопічний ігровий вміст передбачають, що правий і лівий канали будуть орієнтуватися безпосередньо на розташування голови слухача.
• Звичайні системи об’ємного звуку 5.1 та 7.1 обмежують відтворення горизонтальним полем, тоді як віртуальна реальність та ігровий звук можна розташувати майже в будь-якому місці навколо слухача.
• Акустичні системи можуть займати час і простір для правильного налаштування користувачем. І це створить додаткові перешкоди при встановленні ВР.
• Колонки вимагають, щоби гравець знаходився в невеликому «ідеальному місці» для коректного просторового відтворення звуку. ВР іноді може вимагати, щоби гравець пересувався на великому просторі.
• На системи колонок може впливати акустика реальної кімнати, що може конфліктувати із потрібною для віртуального світу.
• Через колонки звук може здатися надто віддаленим, на відміну від віртуального звукового джерела, яке може знаходитися близько до вух слухача.

Ідея

Розглядаючи всі вище згадані компроміси, ми з’ясували, що оптимальним рішенням для ВР може бути пара навушників з широким діапазоном дії, які розташовані зовні вух і на деякій відстані від них. Вони мають бути достатньо близько до вух, щоби бути схожими на стереогарнітуру програвача і підтримувати звуковий формат поточної ВР, і водночас достатньо далеко, щоби дозволити вухам та голові передавати свій власний тон звуку, а також щоб уникати дискомфорту і проблем із тиском. Саме ця реалізація у поєднанні з натхненням із дитинства, коли занурення відбувалося завдяки двом динамікам над кожним вухом, призвели до створення наших перших прототипів.

Еволюція

Перший прототип було створено шляхом приєднання двох невеликих колонок широкого діапазону до боків скейтбордного шолому. Старий Vive було прикріплено до зовнішньої сторони шолому. Динаміки отримували живлення через USB, а звук виводився через роз’єм для навушників на HTC Vive. Цей грубий прототип зробив на диво чудову роботу в демонстрації збільшення рівня звукового занурення та екстерналізації, коли ми дозволили нашим власним вухам та голові природним чином інтерпретувати звуки. Почуття занурення важко виміряти кількісно, тож на цьому етапі ми покладалися на якісні відгуки від колег та учасників тестування, які описували звукову різницю у ВР між цим прототипом і парою навушників KOSS Porta Pro. Відгуки були достатньо значними на користь колонок, тож ми почували себе комфортно, коли продовжили працювати над цим дизайном. Однак виникли певні проблеми:

• Дуже обмежений басовий виклик.
• Незначні зміни у розташуванні динаміків, викликані різним стилем одягання шолома або переміщеннями у ВР, призвели до суттєвої зміни гучності, частотної характеристики й балансу звуку.
• Вага і розмір. Колонки були заважкими (70 г кожна), що суперечило основній цілі продукту — зробити шолом легким і комфортним. Це, імовірно, було найбільшою проблемою на ранньому етапі.
• Траплявся витік звуку.

Для вирішення проблем із вагою ми дослідили використання динаміків із навушників замість динаміків із колонок. Попри те, що вони легші та енергоефективніші, навушники не можуть давати достатню гучність, якщо знаходяться на певній відстані від вуха. Хоча ми знали, що так воно і буде, але все ж було цікаво взнати ціну компромісу між звуковим зануренням, дистанцією від вуха та частотною характеристикою і гучністю.

Ми хотіли знати, якими великими повинні бути динаміки навушників, щоби відповідати нашим вимогам до гучності й частотним характеристикам у нашому екстраауральному контексті. Ми поговорили з Audeze, котрі розробили пару пласких магнітних екстраауральних навушників, щоби вони допомогли нам це з’ясувати. Результат звучав неймовірно, однак вага, розмір та вартість були неприйнятними для виробничих цілей Valve Index.

Ми повернулися до використання динаміків колонок як основи для нашого дизайну. Однією з переваг ранніх досліджень та розробок у сфері звуку на цьому етапі була можливість працювати незалежно від решти системи шолому Valve Index. За допомогою інженера-механіка ми створили автономний зовнішній модуль для навушників. У цьому новому контексті нам вдалося швидко виконати ітерації з характеристик низьких частот, налаштування, орієнтації на вухо, відстані від вуха та оцінки тестового динаміка. Цей прототип був першим, який ми надрукували на 3D-принтері. Внутрішньо ми назвали його «Колібрі».

Ці яскраві «Колібрі» створені з метою оцінки різних видів невеликих повнофункціональних динаміків. До цього часу ми перепрофільовували цілі користувацькі системи колонок і навушників. Придбання й оцінка готових деталей вимагали від нас розпочати створення основ звукових підсистем: посилювачів, звукових чіпів, цифрової обробки сигналів та мікрофонів. Паралельно, ми наближалися до визначення наших фінальних цілей для оптимальної відстані від вуха, повороту, ваги, розмірів динаміків та частотних характеристик.

На етапі оцінки динаміків ми зіткнулися із BMR-динаміками (Balance Mode Radiator) й одразу помітили деякі суттєві переваги: вони зменшили різнорідність, викликану неточним розташуванням, були майже в межах нашої цільової ваги, мали чудові частотні характеристики на середніх і високих діапазонах (важливо для стереоскопічного моделювання) і були значно тоншими, ніж традиційні динаміки. Ми почали співпрацювати із Tectonic, щоби створити власний динамік для використання як зовнішнього навушника.

У нас зростало хвилювання з приводу того, як багато звуків від таких навушників проникатимуть у середовище, а також як багато звуків вони впускатимуть. Щоби зрозуміти, наскільки це буде корисно для клієнтів, ми створили понад 20 «Колібрі» і дали їх нашим колегам для тестування вдома. Ніхто не захотів їх повертати. Це був добрий знак, поруч із дуже позитивними відгуками від тестувальників. Учасники тестування відзначили, що переваги відсутності елементів, які торкаються вуха, та зростання занурення у звук компенсують проблеми, викликані потраплянням зовнішнього звуку чи витоком внутрішнього звуку. Ми вирішили продовжити працювати над цим дизайном, але пам’ятали про недоліки.

Продукт

Тепер у нас була робоча підсистема динаміків для вух, котра добре тестувалася і була в межах наших цілей стосовно точності, вартості та дизайну. Ми почали процес злиття дизайну навушників із шоломом Valve Index. Тут стало важливим почати акустичне вимірювання нашої аудіопідсистеми в контексті всього шолому. Проведення точних вимірювань дозволило нам зафіксувати поступові покращення, а також виявити проблеми в аудіопідсистемі. Спочатку ми використовували «Містера Капелюха», нашу манекенну модель голови, для вимірювання частотних характеристик наших вушних динаміків. Синя стрічка на обличчі позначає точне розташування шолома на моделі, тож ранні вимірювання могли лишатися незмінними.

Щоби максимізувати якість звуку, частотні характеристики й розширення басів вимірювалися та уточнювалися на щоденній основі. Поки ми у Valve працювали над поліпшенням розширення басів через DSP з використанням налаштувань еквалайзера і таких алгоритмів, як психоакустичний бас, Tectonic працювали над механічним поліпшенням басів через оптимізацію самого динаміка. Поєднання цих зусиль дозволило нам досягти й перевершити наші цілі щодо якості звуку та басових відгуків.

Використовуючи BMR-динаміки, ми змогли забезпечити стабільну якість звуку без викривлень, навіть якщо динаміки були дещо зміщені стосовно запланованого розташування на голові. Це сталося через унікальний спосіб, яким BMR-динаміки поширюють звук. На низьких частотах вони поводяться як звичайні динаміки. Подається електричний сигнал, і вся діафрагма (передня частина динаміка) пересувається назад і вперед, відстежуючи форму сигналу. Однак справжня магія починається на високих частотах. Коли довжина перехресних хвиль, які проходить через діафрагму, схожа на розмір діафрагми, традиційні динаміки переходять у режим «ламання», котрий змушує діафрагму вигинатися й коливатися, створюючи дуже різкі піки та провали у частотних відгуках, які, окрім того, що погано звучать, дуже чутливі до розташування. BMR-динаміки створені для використання природної поведінки діафрагми, збалансовуючи вібрації з різних зон за допомогою оптимізованого вибору матеріалу, масового навантаження та розширеного моделювання конструкції. По суті, завдяки їм ваші вуха завжди отримують повну звукову інформацію, навіть якщо вони не ідеально вирівняні з BMR-динаміками.

Окрім того, Tectonic змогли механічно мінімізувати витік звуку. Оскільки динамік Valve Index відкритий зі зворотного боку, тиск спереду може взаємодіяти з тиском позаду, а вони за визначенням не збігаються за фазою. Однак динамік сам по собі забезпечує певний ступінь «самовіддачі» завдяки своєму загальному діаметру. По суті, для будь-якого динаміка його зовнішній діаметр допомагає вберігатися від тиску спереду, що відповідає тиску ззаду. Хоча це допомагає лише тоді, коли довжина звукових хвиль у повітрі менша, ніж власна самовіддача діаметру динаміка. Коли довжина хвилі стає більшою за діаметр динаміка, тиск із переднього боку безпосередньо взаємодіятиме з тиском ззаду, і тоді відбувається сильне придушення. Загальний діаметр динаміка складає 5 см. Це означає, що вище 3 кГц немає жодного придушення, але, як ми знаємо, вище цієї частоти майже немає аудіовмісту. Більшість звукового вмісту створюється нижче 3 кГц, а саме тут придушення дуже сильне, і звуки не турбуватимуть людей поруч. «У слухача в шоломі його вуха настільки близькі до динаміка (ближнього поля), що придушення не сприймається як тиск спереду, яке ВІДНОСНО значно ближче до вуха, ніж зовнішній бік» (Тім Вітвелл, CTO у Tectonic).

Мікрофон

Ми хотіли створити високоякісний мікрофон, щоби допомогти стрімерам і гравцям у багатокористувацьких іграх. Однак через конструкцію динаміка за межами вуха ми очікували, що продуктивність мікрофона буде справжнім випробуванням. На наш подив, це виявилося не так. Через деякі унікальні особливості навушників ми змогли уникнути використання великої кількості шумів DSP на сигналі мікрофона, що, своєю чергою, дозволило нам підтримувати дуже високу частоту дискретизації потоку мікрофону на 48 кГц. Ось список особливостей, які допомогли створити високоякісний мікрофонний сигнал:

• Подвійний мікрофонний масив для звуження спрямованого відгуку та фокусування на сигналі (на роті користувача) й вилучення інших сторонніх шумів. Двонаправлений мікрофонний блок фіксує звук на вустах користувача і виключає будь-який зовнішній звук.
• «Самовіддача» BMR-динаміків зменшує зовнішнє звукове забруднення у порівнянні з традиційними динаміками.
• Акустика динаміків і мікрофона була розроблена таким чином, щоби суттєво зменшити будь-який нелінійний акустичний зворотний зв’язок. Власна голова гравця поглинає велику частину початкової звукової енергії від BMR-динаміків.
• Мікрофони з високим SNR та аудіоканали.
• Високоякісні мікрофони та акустичні ущільнення.
• Динамічне стискання вхідного звуку, щоб уникати обрізання гучних звуків.

Підсумки

Усі ці дослідження, ітерації та відгуки переконали нас, що дизайн вушних динаміків Valve Index максимально наближений до оптимального балансу компромісів і функцій, що спеціально розроблені для відтворення звуку у віртуальній реальності в масштабі кімнати. Ми дійсно задоволені тим, як відтворюється звук, однак нам ще багато доведеться дізнатися, бо існує ще багато поліпшень, які ми можемо зробити.

Якщо ви захоплюєтеся звуком і хотіли би попрацювати з нами над розв’язанням подібних проблем, перегляньте наші href='https://www.valvesoftware.com/en/?job_cat=audio'>пов’язані зі звуком вакансії або напишіть на jobs@valvesoftware.com

.