Главная страница описания Главная страница ЛТФ

Серверы для параллельных вычислений

THEOR2 ( 2013 г.)    THEOR3 ( 2018 г. )    THEOR4 ( 2020 г. )    THEOR5 ( 2023 г. )
  • Введение
  • Аппаратное обеспечение
  • Программное обеспечение
  • Производительность
  • Доступ пользователей
  • Источники информации
  • Статистика загрузки: theor2 , theor3 , theor4 , theor5
  • Другие вычислительные серверы в ЛТФ: i9A, i9B, i9C, i9D, i9E.

    Введение

    Xeon Logo

    К концу 2012 г штатная тактовая частота новых процессоров едва достигла рубежа в 4 ГГц. Но такие процессоры имеют одно-два(?) ядра, так как интенсивное выделение тепла не позволяет разместить на одном кристалле большое количество ядер, работающих на высокой частоте. Конструктив современных процессоров ограничивает рассеиваемую корпусом процессора мощность (TDP) величиной 150-160 W, а для последних кристаллов малой площади и того меньше - 70-90 W. Превзойти эти величины можно повышая эффективность отвода тепла от корпуса процессора применяя охладители с жидким теплоносителем, однако, если исключить использование жидкого азота и др. криогенных жидкостей, то значительно увеличить допустимую рассеиваемую мощность не удаётся.

    Вместо увеличения тактовой частоты для повышения производительности компьютера в целом можно пойти по пути увеличения числа процессоров, и наиболее экономичным является размещение нескольких процессоров на одном кристалле (многоядерные процессоры), работающих на умеренной частоте. На этом пути уже несколько лет назад созданы многоядерные процессоры сначала для серверов, затем для настольных ПК, ноутбуков, а теперь и для планшетов и смарт-телефонов.

    Лидерами по количеству ядер на процессор и по количеству процессоров в системе являются, конечно, серверы (не считая специализированные вычислительные системы, такие, как графические карты, которые содержат сотни ядер). Однако увеличение количества процессорных ядер выгодно лишь при условии, что все ядра заняты вычислениями, что требует либо распараллеливания задачи на несколько одновременно исполняемых потоков вычислений, либо надо загрузить компьютер огромным количеством однопоточных задач.



    Вверх Главная страница описания Главная страница ЛТФ

    Аппаратное обеспечение

    theor2 server

    THEOR2 : Компьютер представляет собой GPU SuperWorkstation 7047GR-TRF производства Supermicro® с небольшими модификациями. Основой является высоконадёжная системная плата Supermicro® X9DRG-QF, допускающая установку до 2-х процессоров Xeon и до 16 модулей памяти с исправлением ошибок (ECC). Качество оборудования производства Supermicro продемонстрировано многолетней бесперебойной работой базового сервера ЛТФ Theor.

    На системной плате установлены 2 процессора Intel® Xeon® E5-2667 v2 с номинальной частотой 3.30 ГГц (апгрейд 2016 г). В каждом процессоре по 8 ядер, представляющих полноценные вычислительные устройства. Таким образом Theor2 является по сути 16-ти процессорным сервером. В зависимости от суммарной загрузки процессора, отдельные ядра могут "разгоняться" до 4.0 ГГц в т.н. "турбо-режиме". При отключенном HyperThreading все ядра одновременно могут долговременно работать на частоте 3.6 ГГц. Объём установленной памяти - 512 ГБайт (апгрейд 2016 г).

    Сервер Theor2 имеет отсеки для установки 8 3.5''-дюймовых и для 8 2.5''-дюймовых SAS или SATA дисков. 16-портовый SATA/SAS контроллер LSI® SAS 9201-16i обеспечивает подключение всех дисков. В настоящий момент установлены 5 SAS дисков Seagate Cheetah ST3600057SS 15000 rpm по 600 ГБ и один SSD диск 240 ГБ для размещения операционной системы. SAS диски объединены в один отказоустойчивый RAID-5 массив ёмкостью 2 Терабайта со скоростью линейного чтения до 700 МБайт/c.

    THEOR3 : Компьютер (платформа SYS-7048GR-TR) представляет собой, соответствующее концу 2017 г., перевоплощение предыдущей модели. Системная плата Supermicro® X10DRG-Q, допускающая установку до 2-х процессоров Xeon v.4 и до 16 модулей памяти LRDIMM DDR4 с исправлением ошибок (ECC). На системной плате установлены два 12-ти ядерных процессора Intel® Xeon® E5-2687W v4 с номинальной частотой 3.0 ГГц (до 3.5 ГГц в турбо-режиме). Объём установленной памяти - 1024 ГБайт.

    В качестве дополнительного вычислительного средства на THEOR2 имеется графический процессор (GPU) Nvidia Tesla C2075 с максимальной теоретической производительностью 515 Гфлопс с двойной точностью (1 Терафлопс для чисел с одинарной точностью). А на THEOR3 установлен более новый GPU Nvidia Tesla P100 с максимальной теоретической производительностью 4700 Гфлопс с двойной точностью (9.3 Терафлопс для чисел с одинарной точностью). Для проведения вычислений на GPU необходимо использование специальных языков и приёмов программирования, но есть возможность использования готовых библиотек алгоритмов или программных продуктов подобных Maple и Mathematica. Дополнительно см. страницу о технологии CUDA.

    THEOR4 : Компьютер (платформа SYS-7049GP-TRT) по конструкции аналогичен THEOR2/3, но в нём установлены новейшие, доступные в конце 2019 года компоненты. Системная плата Supermicro® X11DPG-QT, допускающая установку до 2-х процессоров Xeon Cascade Lake с тепловым пакетом до 200 Ватт и до 24 модулей памяти LRDIMM DDR4 (до 2933 MHz) с исправлением ошибок (ECC). На системной плате установлены два 18-ти ядерных процессора Intel® Xeon® Gold 6254 с номинальной частотой 3.1 ГГц (до 4.0 ГГц в турбо-режиме). Объём установленной памяти - 1536 ГБайт.

    THEOR5 : Сервер "Gladius". Системная плата Supermicro® X12DPi-N6, допускающая установку до 2-х 3rd generation Xeon Scalable процессоров с тепловым пакетом до 270 Ватт и до 16 модулей памяти LRDIMM DDR4 (до 3200 MHz) с исправлением ошибок (ECC). На системной плате установлены два 18-ти ядерных процессора Intel® Xeon® Gold 6354 с номинальной частотой 3.0 ГГц (до 3.6 ГГц в турбо-режиме), превосходящие по производительности процессоры Xeon® Gold 6254 в сервере THEOR4. Объём установленной в сервере оперативной памяти - 1 TБайт. Корпус (Supermicro CSE-825BTQC-R1K23LPB-2U) выбран вдвое меньшей высоты (2U), чем предыдущие серверы THEOR/2/3/4 из-за удобства размещения в стойке при отсутствии необходимости в большом количестве дисковых накопителей классического формата. Система, прикладное ПО, и директория для временного хранения файлов /scratch размещены на SSD накопителе формата M.2 NVME Samsung PM9A3 ёмкостью 960GB .

    Сравнение процессоров на THEOR (Xeon E5-2690 @ 2.9GHz) с процессорами Xeon на более новых серверах ЛТФ см. на странице "CPU Benchmarks".


    Вверх Главная страница описания Главная страница ЛТФ

    Программное обеспечение

    Linux Logo

    Компьютеры Theor2/3/4/5 работают под управлением 64-бит ОС Linux Debian 12.


    Список наиболее важного прикладного программного обеспечения установленного на Theor2/3/4/5:
    Название версия команда X11 документация комментарий
    Компиляторы с языков высокого уровня, средства разработки
    Intel Fortran 77, 90, 95 19.0 ifort   ifort -help, Guide ver.19, Other DOCs v.19 рекоменуемая оптимизация '-fast'
    Intel C 19.0 icc   icc -help, Guide v.19  
    Intel C++ 19.0 icpc   icpc -help, Guide v.19  
    GNU Fortran 77 12
    gfortran     о компиляторах GNU
    GNU C 12 gcc   man gcc, info gcc
    HTML
    рекомендуемая оптимизация '-O3 -mtune=core2',
    о компиляторах GNU
    GNU C++ 12
    g++   man g++, info g++
    HTML
    о компиляторах GNU
    GNU Debugger 13 gdb   man gdb, info gdb  
    Code::Blocks 20
    codeblocks + docs in HTML Среда разработки gcc
    Eclipse 3.8
    eclipse + Среда разработки JAVA
    geany 1.38
    geany + fast and lightweight IDE
    Библиотеки программ
    CERNLIB 2006.12.20 `cernlib` - Info in HTML
    ATLAS3 3.
    - Docs in PS
    LAPACK 3.0.2
    - Docs HTML программы линейной алгебры
    BLAS 1.1
    - Docs in PS
    Intel Math Kernel Library
    -lmkl - Guide
    Системы аналитических и численных вычислений
    Mathematica
    13 Mathematica / math +/- Demo, Guide License Monitor
    Maple
    21 xmaple / maple +/- Maple установлен ещё на i7a, i7h!
    Reduce Free CSL reduce
    xreduce
    -
    +
    info redref
    PDF, PS
    о Reduce
    Form
    4.2 form - PDF, HTML, Home
    Octave
    4.0 octave - HOME
    Scilab
    5.5 scilab + HTML, Wiki Scientific software package for numerical computations, analog MATLAB
    Maxima
    5.38 maxima - HTML  
    PAW
    2.14 pawX11 +  
    PAW++
    2.14 paw++ +  
    ROOT
    6.10 root / root -b +/- Home, User Guide, Tutorials ROOT is a framework for data processing, born at CERN
    Браузеры, FTP, e-mail и т. п.
    Iceape
    2.0.11
    iceape
    + man iceape браузер
    Редакторы текстов
    Emacs 24 emacs +/- man emacs
    info emacs
     
    Visual Editor IMproved 8.0 gvim
    vim
    +
    -
    man vim  
    Системы подготовки и просмотра документов
    Ghost Script 9.20 gs + man gs работа с PostScript файлами
    Evince 3.22 evince + man evince Document (PostScript, PDF) viewer
    XPDF 3.0 xpdf + man xpdf Document (PostScript, PDF) viewer
    Графические средства
    GNU Image Manipulation Program 2.8 gimp + man gimp  
    Grace 5.1 grace
    xmgrace
    + HTML  
    X Fig 3.2 xfig + man xfig  
    GNU plot 5.4 gnuplot +/- man gnuplot  
    Файл-менеджеры
    Midnight Commander 4.8 mc - man mc, HTML со встроенным FTP клиентом
    "+" в колонке "X11" показывает необходимость системы X-Window для работы программы,
    "+/-" означает, что программа может работать, как в системе X-Window, так и в текстовом режиме.

    Fortran Серверы Theor2/3/4/5 обеспечивают отличную производительность для тех, кому необходимы вычисления с плавающей точкой. Большое количество процессорных ядер открывает возможности для ускорения расчётов путём распараллеливания. Для пользователей, желающих программировать на Fortran, естественно использовать компилятор от компании Intel. Компилятор поддерживает стандарты Fortran-77, -90, -95. Вызывается компилятор командой 'ifort' (Intel Fortran). Рекомендуется использовать опцию оптимизации '-fast'. Краткую справку по опциям командной строки можно получить по команде 'ifort -help'.Документацию по Intel Fortran можно найти на Web-страницах: Локальная копия документации 2019 г,   "Intel(R) Fortran Compiler Documentation",   "Intel(R) Fortran Compiler for Linux - Top Technical Issues",   Intel(R) Fortran Compiler for Linux Product Manuals.


    Mathematica - использует одну из пяти конкуррентных сетевых лицензий, доступных в ЛТФ. Текущее использование лицензий показывает License Monitor", а график поможет вам выбрать время, когда можно ожидать максимальную вероятность получения свободной лицензии в ваше распоряжение.


    maple

    Maple - установлен с фиксированной лицензией на данный компьютер, но может быть одновременно запущен несколькими пользователями. Maple способен использовать несколько процессорных ядер для вычислений (по умолчанию до 8). Изменить максимальное количество ядер, разрешённых для использования, можно командой "kernelopts(numcpus=N);", где N от 1 до 16. В некоторых функциях Maple может использовать GPU Tesla на Theor2/3. Подробнее см. страницу, посвящённую использованию технологии CUDA.


    Reduce Reduce на Theor2/3/4 - 64-разрядный, способен адресовать более 4 GB памяти.




    Вверх Главная страница описания Главная страница ЛТФ

    Производительность

    Результаты некоторых тестов производительности (для одного ядра процессора):
    1) См. полный график результатов теста Linpack
    2) O.C. - означает OverClocked - повышенная частота

    Вверх Главная страница описания Главная страница ЛТФ

    Доступ пользователей

    Все пользователи, зарегистрированные на Unix кластере ЛТФ, получают возможность доступа на Theor2/3/4/5. Методы доступа аналогичны другим серверам ЛТФ.

    Для работы на Theor2/3/4/5 с программами, интенсивно использующими ввод/вывод данных из файлов, выделено пространство на локальном SSD диске в директориях /scratch и RAID массивах из HDD: /data/theor2[3]. Хранение на этих ресурсах данных, не связанных непосредственно с вычислениями, не допускается.



    Вверх Главная страница описания Главная страница ЛТФ

    Источники информации



    Компьютерная группа ЛТФ

    2013 - 2023 гг.

    e-mail: super@theor.jinr.ru, telepuzik@theor.jinr.ru e-mail yoda@theor.jinr.ru, godzilla@theor.jinr.ru

    Дата обновления: 2024-03-27 19:20:38

    Вверх Главная страница описания Главная страница ЛТФ