Науковці з Національної лабораторії Аргонн (Argonne National Laboratory) Міністерства енергетики США виконали дві з найбільших космологічних симуляцій, які будь-коли проводилися. Як повідомляє Newswise Science News, кожна симуляція відстежувала еволюцію 13,4 трильйона частинок темної матерії у регіоні Всесвіту завширшки 28,6 мільярда світлових років.
Темна матерія невидима для телескопів, але її гравітація керує формуванням галактик і великих космічних структур. У цих розрахунках частинки виступають «маячками», що позначають розподіл густини та швидкостей темної матерії. Це дає змогу простежити, як космічна структура змінювалася протягом мільярдів років.
Екзаскейл-суперкомп’ютер для Всесвіту
Обчислення такого масштабу потребують колосальної потужності. Команда використала екзаскейл-суперкомп’ютер Aurora, систему Intel-HPE, здатну виконувати понад квінтильйон операцій за секунду. Aurora має 10 624 обчислювальні вузли та 63 744 графічні процесори (GPU) і розміщена в Argonne Leadership Computing Facility (ALCF).
Для кожного запуску симуляції дослідники задіяли близько 8 100 вузлів і приблизно 50 000 GPU. Обидві симуляції та значна частина аналізу даних були завершені приблизно за чотири дні.
Проєкт очолює обчислювальний науковець Argonne Ніколас Фронтьєр (Nicholas Frontiere). Мета роботи — краще зрозуміти фізику космічної інфляції, тобто надзвичайно швидкого розширення Всесвіту на самому початку його існування.
За теорією інфляції, мікроскопічні квантові флуктуації були розтягнуті до космологічних масштабів, залишивши крихітні відхилення в густині, які згодом гравітація перетворила на космічну павутину галактик і скупчень. Однак точний механізм інфляції залишається невизначеним, тому вчені шукають підказки в тому, як матерія розподілена у Всесвіті сьогодні.
Пошук слідів інфляції в розподілі матерії
Нові симуляції мають допомогти в аналізі великих оглядів неба, зокрема інструмента Dark Energy Spectroscopic Instrument (DESI), що підтримується DOE, та космічної місії NASA SPHEREx (Spectro-Photometer for the History of the Universe, Epoch of Reionization and Ices Explorer). Обидва проєкти вже збирають дані, а поєднання їхніх спостережень із надмасштабними симуляціями дає дедалі детальнішу картину еволюції Всесвіту.
Стандартні моделі інфляції передбачають, що ранні флуктуації мали гаусівський розподіл — одну з найпростіших форм випадковості. Дослідники шукають невеликі відхилення від цього шаблону, відомі як первинна негаусівськість. Вимірюваний відступ від гаусівського розподілу може вказувати на додаткові поля, взаємодії або динаміку під час інфляції й допомогти відрізнити конкуруючі теорії раннього Всесвіту.
Очікується, що такий сигнал буде дуже слабким і до того ж частково «розмиватиметься» космічною варіацією — статистичною невизначеністю, пов’язаною з тим, що огляди охоплюють лише скінченний об’єм Всесвіту. Тому потрібні симуляції, які одночасно покривають найбільші космічні масштаби й мають достатню роздільну здатність, щоб відтворити гало темної матерії — великі скупчення, у яких формуються галактики. Саме розподіл галактик і вимірюють DESI та SPHEREx.
Поєднати гігантський об’єм і високу роздільну здатність — головна складність цих розрахунків, і саме тут екзаскейл-машини на кшталт Aurora виявляються особливо ефективними.
Код HACC і роль пам’яті та зберігання даних
Команда Фронтьєра використовує програмний комплекс HACC (Hardware/Hybrid Accelerated Cosmology Code), розроблений в Argonne спеціально для екстремальних космологічних симуляцій. У межах Exascale Computing Project код адаптували для ефективної роботи на різних екзаскейл-архітектурах.
До запусків на Aurora дослідники застосували інший екзаскейл-суперкомп’ютер — Frontier в Oak Ridge National Laboratory — для найбільшої на сьогодні гідродинамічної симуляції Всесвіту, де разом із гравітацією моделювали газ, зорі та інші процеси формування галактик. На Aurora вони обрали інший підхід: зосередилися лише на гравітації, що дозволило охопити більший об’єм і використати більше частинок.
Висока ємність пам’яті Aurora була критично важливою, оскільки дані про трильйони частинок мали залишатися доступними в процесі обчислень. Система розподіленого асинхронного зберігання об’єктів DAOS забезпечила запис гігантських масивів даних: дві симуляції разом записали понад 85 петабайтів, переважно у вигляді контрольних точок для перезапуску. Це дозволяло відновити розрахунки після можливих збоїв без початку «з нуля». Близько 8 петабайтів даних збережено для наукового аналізу.
За словами обчислювального науковця ALCF Адріана Поупа (Adrian Pope), Aurora поєднує все необхідне для такого проєкту: GPU забезпечують потужність для еволюції трильйонів частинок, велика пам’ять дає змогу працювати з настільки масштабною задачею, а DAOS дозволяє надійно зберігати масивні контрольні точки.
«Дзеркальні» Всесвіти як полігон для методів аналізу
Обидві симуляції на Aurora побудовані на однаковій космологічній моделі й містять той самий сигнал первинної негаусівськості, але їхні початкові фази «перевернуті». Це робить їх статистичними дзеркальними відображеннями одна одної.
Під час спільного аналізу значна частина випадкових флуктуацій у таких «дзеркальних» Всесвітах взаємно компенсується, що дає чистіший вимір фундаментальної фізики. До того ж сила сигналу навмисно «засліплена»: дослідники, які використовуватимуть ці дані для тестування своїх методів, не знатимуть правильного значення наперед.
Перевіряючи, чи здатні їхні аналітичні «конвеєри» відновити приховане значення з синтетичних спостережень, науковці можуть валідовувати свої підходи до того, як застосують їх до реальних даних DESI, SPHEREx та інших оглядів.
За кількістю частинок ці обчислення стали найбільшими індивідуальними космологічними симуляціями, які будь-коли виконувалися. Їхній об’єм дозволить створювати синтетичні повнонебесні карти й реалістичні «муляжі» спостережень для різних оглядів неба. Такі набори даних допоможуть виявляти систематичні похибки, вдосконалювати методи аналізу й отримувати більш надійні вимірювання з реальних спостережень.
Фронтьєр підкреслює, що розширення масштабу симуляцій допомагає краще поєднати теорію з тим, що ми бачимо в телескопи. Чим більші об’єми й детальніші моделі вдається змоделювати, тим ефективніше вчені можуть досліджувати фундаментальні питання про походження й еволюцію Всесвіту та використовувати потенціал нових потужних оглядів неба.