Главная страница описания Главная страница ЛТФ

Сервер THEOR

Базовый сервер Unix кластера ЛТФ
2004 г.

  • Введение
  • Аппаратное обеспечение
  • Программное обеспечение
  • Производительность
  • Доступ пользователей
  • Дисковое пространство
  • Источники информации
  • Статистика загрузки
  • Статистика электронной почты
  • Просьба не загружать THEOR вычислениями, а использовать для этого более новые и более производительные серверы ЛТФ: Theor2, i7X/K, i7A/B

    Введение

    Intel Inside Xeon

    Конец 2004 г, успехи компании Intel в развитии архитектуры процессоров x86 продолжают теснить конкурирующие RISC (Sun SPARC, IBM Power) процессоры в секторе серверов начального уровня. Линия процессоров Alpha, права на разработку которого многократно перепродавались, более не развивается. Компания AMD, даже выпустив замечательный 64-разрядный Athlon, не в состоянии полноценно конкурировать с Intel на рынке серверов. Intel продвигает свой новый 64-бит процессор Itanium продолжая, тем не менее, развитие линии 32-бит процессоров. На сегодня 32-бит процессоры от Intel имеют самые высокие тактовые частоты и являются наилучшими по соотношению цена/производительность. Новые системные наборы микросхем (chipsets), разработанные Intel, позволили увеличить скорость обмена с памятью до 6.4 GB/sec за счёт использования двух каналов обмена с DDR памятью. Эта технология оказалась настолько удачной, что сегодня используется не только на серверах, но практически на всех современных настольных компьютерах. Это не значит, что сегодня серверы начального уровня совсем мало отличаются от настольных ПК. Используемые в серверах процессоры Xeon, шина PCI-X (64 бит, тактовая частота 133 MHz вместо 32 бит и 33 MHz у PCI шины в ПК), PCI-Express, память с исправлением ошибок, высоконадёжные, дублированные системы электропитания и охлаждения, супербыстрые SCSI и Gigabit Ethernet контроллеры, множество отсеков для дисковых накопителей SCSI с возможностью "горячей" замены всё же выделяют серверы в совершенно другой класс компьютеров. Несмотря на отличную оснащённость и высокую производительность серверы на процессорах Intel характеризуются невысокой стоимостью, что выгодно отличает их от изделий конкурентов.

    Вниманию пользователей ЛТФ предлагается новый сервер на двух процессорах Intel Xeon 3.2 GHz, работающий под управлением ОС Linux. Этот сервер является новым базовым сервером для Unix кластера ЛТФ. На сервере размещены домашние директории и почтовые ящики пользователей, WWW-сервер ЛТФ, перенесённые со старого серверa THSUN1. Почтовый адрес пользователей username@theor.jinr.ru. "Старый" адрес username@thsun1.jinr.ru остаётся действительным, письма будут приходить на новый сервер в единый почтовый ящик.

    Стоит сказать, что прежний базовый сервер ЛТФ THSUN1 находился в строю с 1994 г. и проработал 16 лет до 2010 г. практически без остановок! За это время было проведено несколько очень дорогостоящих модернизаций с заменой и установкой дополнительных системных плат, процессоров, памяти, контроллеров, дисков. Дальнейшая модернизация либо технически невозможна, либо экономически нецелесообразна. Выпускаемые компанией Sun Microsystems новые версии операционной системы Solaris более не поддерживают устаревшую архитектуру THSUN1.


    Вверх Главная страница описания Главная страница ЛТФ

    Аппаратное обеспечение

    THEOR in rack-mount case

    В компьютере 'theor' (модель Supermicro 7044H-82RB) установлены два процессора Pentium 4 Xeon Nocona, работающие на частоте 3.2 GHz. Каждый процессор оснащён кэш-памятью второго уровня объемом 1 MB. Основой компьютера является системная плата Supermicro X6DH8-G2, построенная на наборе микросхем Intel E7520. На системной плате имеются встроенные Ultra-320 SCSI PCI-X двухканальный контроллер Adaptec AIC7902, двухпортовый сетевой адаптер Gigabit Ethernet Intel(R) PRO/1000 (i82546GB), 2 SATA контроллера. 'Theor' укомплектован оперативной памятью типа DDR2, 5-ю жесткими дисками SCSI и 2-мя жёсткими дисками SATA. Смонтирован компьютер 'theor' в корпусе SC743S1-R760 высотой 4U, предназначенном для монтажа в 19-ти дюймовую стойку. Корпус компьютера имеет отсеки для установки до 8 жёстких дисков SCSI и до 3 дисков Serial ATA ( все hot-swap). Для обеспечения бесперебойной работы компьютер оснащён тройным источником питания суммарной мощностью 760W. Поставку сервера осуществила московская фирма "True System".

    Обновление 2008 г. : Оперативная память расширена до 8GB. Файловая система для домашних директорий расширена до 300 ГБ с использованием 2-х 300 ГБ SCSI дисков Fujitsu в конфигурации RAID1.

    Обновление 2010 г. : Файловая система /data/theor расширена до 500 ГБ (в конфигурации RAID1) и создана файловая система для временного хранения /scratch (в конфигурации RAID0) ёмкостью 500 ГБ с использованием 2-х 750 ГБ SATA дисков Seagate ST3750330.

    Обновление 2012 г. : Файловая система /home расширена до 600 ГБ (в конфигурации RAID1) с применением 2-ух SAS дисков формата 2.5" Toshiba MBF260LRC.

    Обновление 2013 г. : Файловая система /home расширена до 1200 ГБ (в конфигурации RAID10) с применением 4-х SAS дисков формата 2.5" Toshiba.


    Вверх Главная страница описания Главная страница ЛТФ

    Программное обеспечение

    Linux logo

    Компьютер 'theor' работает под управлением ОС Linux Debian 7 (Wheezy). Для получения справки по командам Linux следует использовать команду 'man command_name' на компьютере 'theor'. Некоторые программные пакеты (gfortran, gcc, reduce и др.) сопровождаются документацией, к которой можно обратится командой 'info', например 'info gfortran'.

    Список наиболее важного прикладного программного обеспечения установленного на THEOR:
    Название версия команда X11 документация комментарий
    Компиляторы с языков высокого уровня, средства разработки
    Intel Fortran 77, 90, 95 8.0 ifort   ifort -help, PDF рекомендуемая оптимизация '-fast'
    Intel C/C++ 8.0 icc   icc -help  
    Intel Debugger 7.3 idb   idb -help  
    GNU Fortran 95 4.4 gfortran   info gfortran
    о компиляторах GNU
    GNU C 4.4 gcc   man gcc, HTML о компиляторах GNU
    GNU C++ 4.4 g++
    man g++, HTML о компиляторах GNU
    GNU Debugger 7.0 gdb
    man gdb, info gdb
    OpenWatcom Fortran 1.9 wfc
    docs
    Библиотеки программ
    CERNLIB 2006 `cernlib` - HTML
    ATLAS2 3.6
    - PS
    LAPACK 3.2
    - HTML программы линейной алгебры
    BLAS 1.2
    - PS
    Intel Math Kernel Library
    -lmkl - HTML
    Системы аналитических и численных вычислений
    Reduce Free CSL reduce
    xreduce
    -
    +
    info redref
    PDF, PS
    о Reduce
    Form 3.2 form
    PDF текст лицензии, ещё о Form 3
    ROOT 5.19/02 root -b
    root
    -
    +
    HTML объектно-ориентированная система для
    численных расчётов с графическими
    возможностями, C/C++ интерпретатор
    PAW 2.14 paw + HTML Physics Analysis Workstation
    Браузеры, FTP, e-mail и т. п.
    IceWeasel 3.5 iceweasel +
    Browser
    IceApe 2.0 iceape +
    Browser
    Chromium Browser 6.0 chromium-browser +
    Browser
    Konqueror 4.4 konqueror +
    Browser
    ELinks 0.12 elinks -
    Усовершенствованный browser для текстового режима
    NcFTP 3.2 ncftp -
    FTP клиент для текстового режима
    Lynx 2.8 lynx - man lynx браузер для текстового режима
    ALPine 2.0 pine -
    почтовая программа для текстового режима
    Mutt Mail User Agent 1.5 mutt -
    почтовая программа для текстового режима
    KMail 4.4 kmail +
    почтовая программа KDE
    Редакторы текстов
    Emacs 23.2 emacs +/- man emacs
    info emacs

    Visual Editor IMproved 7.2 vim
    gvim

    man vim,
    HTML

    Системы подготовки и просмотра документов
    OpenOffice 3.2 ooffice + man ooffice
    OpenOffice Writer 3.4 oowriter +
    Аналог Microsoft Word, поддерживает DOC файлы
    OpenOffice Impress 3.2 ooimpress +
    Аналог Microsoft PowerPoint, поддерживает PPT файлы
    KDE Office Suite 2.2 - +
    в составе: kword, karbon, kformula, kchart etc
    KDE Office Editor 2.2 kword +
    поддерживает DOC файлы от Microsoft Word
    Ghost Script 8.71 gs +/- man gs работа с PostScript и PDF документами
    GS Viewer 3.7 gv +/- man gv просмотр PostScript и PDF документов
    Acrobar Reader 9.5 acroread +
    просмотр PDF файлов
    Evince 2.3 evince +
    просмотр PostScript и PDF документов
    Kile 2.1 kile +
    KDE Integrated LaTeX Environment
    Графические средства
    Grace 5.1 grace + HTML XY plotting tool, потомок XMGR
    XFig 3.2.5 xfig + HTML interactive draw tool
    Graphicsmagick 1.1 display, convert etc +/- HTML image view, convert and transform
    GIMP 2.6 gimp + HTML GNU Image Manipulation Program
    GNU plot 4.4 gnuplot +/- man gnuplot
    HTML

    Open Office Draw 3.2 oodraw + man draw
    HTML

    Файл-менеджеры
    Midnight Commander 4.7 mc - man mc, HTML со встроенным FTP клиентом
    File Explorer 1.32 xfe + man xfe
    Печать на принтере
    CUPS 1.4.4 lpr
    lpr -P ljsimplex
    - man lpr,
    HTML
    Common UNIX Printing System
    "+" в колонке "X11" показывает необходимость системы X-Window для работы программы, "+/-" означает, что программа может работать, как в чисто текстовом режиме, так и в системе X-Window.
    По просьбе пользователей может быть установлено любое необходимое программное обеспечение из широкого набора бесплатного ПО для Linux.

    Fortran Для пользователей, желающих программировать на Fortran, компания Intel разработала версию компилятора для архитектуры Linux/Intel. Компилятор поддерживает стандарты Fortran-77, -90, -95. Вызывается компилятор командой 'ifort' (Intel Fortran Compiler). Рекомендуется использовать опцию оптимизации '-O2'. Краткую справку по опциям командной строки можно получить по команде 'ifort -help'. Руководство пользователя I, II и другую полезную документацию по данному компилятору Fortran можно найти в каталоге http://thproxy.jinr.ru/pub/doc/fortran/intel/linux/. Дополнительную полезную информацию можно поискать на Web-страницах Intel Fortran Compiler, Intel Fortran Compiler Documentation Fortran Manuals.

    GCC logo

    GNU компиляторы Fortran77(g77), С(gcc) и С++ (g++) Для достижения максимальной производительности программ рекомендуется при компиляции, кроме общих флагов оптимизации '-O' или '-O2', использовать флаг '-mcpu=i686'.
    Описание библиотеки libstdc++: v3 Source Documentation

    Form v. 3 на 'theor' для 32-разрядных процессоров Intel и идентичен тому, что установлен на 'unamp' и 'up4m'. В процессе работы Form интенсивно использует чтение-запись во временные файлы, поэтому, чтобы не замедлять работу программы и не перегружать сеть, следует либо запускать Form на 'theor' на локальном диске в подкаталогах каталога /data/theor, либо задавать каталог для временных файлов /tmp с помощью ключа '-t /tmp' или в файле установок, например, form.set с помощью строки 'tempdir /tmp'. На файл установок должна указывать переменная FORMSETUP. Задать свой файл установок можно либо устанавливая значение этой переменной командой 'setenv FORMSETUP form.set', либо указывая имя файла в командной строке после ключа '-s'. Следует обратить внимание на то, что синтаксис языка Form в версии 3 несколько изменился по сравнению с версией 2, для преобразования прежних программ в новый вид можно использовать утилиту 'conv2to3'.

    ZIB Logo

    Reduce Free CSL - 32-bit. Все 32-разрядные версии Reduce из-за используемой модели памяти имеют характерное ограничение в 128 МБайт для использования в вычислениях. По умолчанию скрипт /usr/local/bin/reduce задаёт максимальный объём используемой памяти равный 16 МБайт. Для увеличения этого объёма вплоть до предела в 128 МБ следует запускать Reduce другим скриптом, указав в командной строке запуска 'bpsl' после ключа '-td' необходимый объём в байтах. Задачи, требующие для решения более 128 МБ памяти, можно запускать на других серверах ЛТФ, которые все работают под управлением 64-bit Linux.


    Вверх Главная страница описания Главная страница ЛТФ

    Производительность (на 2004 г.)

    Благодаря высокой тактовой частоте процессоры Pentium 4, установленные в компьютере 'theor', потенциально обладают хорошей пиковой производительностью. Однако, для достижения этой пиковой производительности вычислительные конвейеры процессора должны быть загружены на 100%, что далеко не всегда достигается при решении реальных задач. Такие детали архитектуры процессора, как эффективнось и объём кэш-памяти, эффективность предсказания ветвлений, задержки (латентность) в работе подсистем процессора зачастую являются определяющими для быстродействия при решении широкого класса задач. По этой причине процессор Pentium 4 иногда может уступать в производительности своему конкурентам - процессорам Athlon и Opteron, даже если те работают на более низкой частоте. Для некоторых задач наиболее узким местом становится производительность основной памяти (RAM). Для таких задач компьютер 'theor' располагает двухканальной подсистемой памяти использующей модули типа DDR RAM с тактовой частотой 400 MHz (PC3200) c суммарной пиковой полосой пропускания 6.4 GByte/sec.

    Результаты некоторых тестов производительности (на 2004 г.):
    Тест, компилятор / Компьютер, процессор Theor
    Pentium 4 Xeon
    3.2 GHz, E7520
    Up4m
    Pentium 4 Xeon
    2.2 GHz, i860
    Unamp
    Athlon MP 2800+
    2.15 GHz
    Unas1
    Alpha 21264A
    750 MHz
    Thsun5
    Ultra SPARC
    750 MHz
    PC-2003
    Pentium 4
    2.4 GHz, i875
    Whetstone, Fortran 3220 mln. 2300 mln. 4000 mln. 1750 mln. 470 mln. 2560 mln.
    Linpack 1000x1000 matrix, Fortran 235 MFlops 300 MFlops 118 MFlops 185 MFlops 153 MFlops 266 MFlops
    Linpack 200x200 matrix, C 1050 MFlops 850 MFlops 980 MFlops 290 MFlops 167 MFlops ? MFlops
    Linpack 4000x4000 matrix, C 220 MFlops 210 MFlops 114 MFlops 150 MFlops 58 MFlops ? MFlops
    Fast Fourier Transform 106 points, Fortran 1.5 sec 1.5 sec 2.0 sec 3.0 sec 3.2 sec ? sec
    Fast Fourier Transform 20011 points, Fortran 1.7 sec 3 sec 5.2 sec 5.4 sec 9.4 sec ? sec
    Fast Fourier Transform 106 points, C++ 1.2 sec 1.57 sec 2.1 sec 3.0 sec 3.7 sec ? sec
    Fast Fourier Transform 20011 points, C++ 1.6 sec 3.6 sec 5.6 sec 6.2 sec 9.3 sec ? sec
    int(1/(sin(x)^31*cos(x)^47),x)$, Reduce 3.7 1.8 sec 2.5 sec 1.34 sec 4.3 sec 6.1 sec 2.3 sec
    Integrate[1/(Sin[x]^31*Cos[x]^47),x],
    Mathematica 4
    0.47 sec 0.66 sec 0.52 sec 1.8 sec 2.4 sec 0.61 sec
    f=(a+b+c+d)^50, Form 3 0.35 sec 0.51 sec 0.43 sec 0.72 sec 1.5 sec 0.58 sec
    Примечания:
    Тесты на Fortran, C и C++ проводились с двойной точностью.
    Использовался Intel Fortran 6.0 для Linux/x86.
    См. также график результатов теста Linpack
    См. также описания более новых компьютеров: Theor2, i7X/K, DXCore, i7A/B.

    Вверх Главная страница описания Главная страница ЛТФ

    Доступ пользователей

    Все пользователи, зарегистрированные на Unix кластере ЛТФ, автоматически получают доступ к новому компьютеру 'theor'. Для входа на 'theor' можно воспользоваться telnet (в пределах сети ОИЯИ) или ssh из любого места в Интернет. Через 'theor пользователи, находящиеся за пределами сети ОИЯИ, могут войти на любые серверы Linux кластера ЛТФ с помощью команды 'rlogin host_name'. В локальной сети можно и иначе, сначала войти на любую машину кластера ЛТФ, затем набрать команду 'rlogin theor', пароль для входа на 'theor' при этом не требуется. Если вы используете систему X-Window, то вместо 'rlogin theor' удобнее воспользоваться командой 'xon theor', при этом на 'theor' запустится программа 'xterm', которая создаст новое окно, в котором вы окажетесь уже на компьютере 'theor'.


    Вверх Главная страница описания Главная страница ЛТФ

    Дисковое пространство

    Домашние директории пользователей едины для всего кластера Unix ЛТФ и физически размещены именно на компьютере 'theor' на файловой системе /home. Квота по умолчанию (при создании нового эккаунта) на этой файловой системе составляет 2 ГБ и без вопросов может быть увеличена до 5 ГБ, дальнейшее увеличение квоты может потребовать обоснования и проверки рациональности уже использованого пространства. Например, хранение в /home архивов программ для ПК не приветствуется, но для этого можно использовать /data/theor.

    По просьбе пользователя, ранее созданные эккаунты с меньшими квотами могут получить такой же лимит, как новые.

    Файловая система /var/mail, предназначенная для хранения входящей электронной почты, также имеет квоты, по умолчанию - 200 МБ, для конференций возможна установка более высокого значения. Пользователи должны самостоятельно заботиться о соблюдении квоты, удаляя ненужные сообщения или сохраняя их в домашней директории или других местах. В случае превышения квоты в /var/mail длительностью более 6 дней электронная почта перестанет приходить на адрес пользователя.

    Проверить текущее состояние своей дисковой квоты можно на 'theor' с помощью команды 'quota', например:

    
    theor:> quota -vs
    Disk quotas for user guest (uid 7999): 
         Filesystem  blocks   quota   limit   grace   files   quota   limit   grace
           /dev/md0   27984    196M    293M             800    5000    6000        
          /dev/sdd1     452   60000    118M               1      10      20        
          /dev/sdf1       0   1954M   2930M               0   20000   30000
    
    
    первая колонка - имена устройств, соответствующие файловым системам /dev/sdd1 = /var/mail, /dev/md0 = /home и /dev/sdf1 = /data/theor, следующие три колонки показывают количество занятых блоков (1 КБ), квоту и жёсткий предел, при превышение которого запись будет невозможна. 'grace' означает период времени, в течении которого после превышения квоты запись ещё возможна. Следующие 4 колонки это текущие значение и квоты на количество файлов.

    Для работы на 'theor' с программами требующими больших объёмов вводa/выводa данных из файлов выделено пространство на локальном диске в директории /data/theor/users. Эта файловая система доступна на других компьютерах кластера в директории /data/theor. Разрешается хранение в '/data/theor' данных, не связанных непосредственно с вычислениями, в пределах отведённой квоты - по умолчанию она составляет 5 ГБ. Для кратковременного хранения файлов предназначена файловые системы /scratch и /week. Следут иметь ввиду, что, файлы хранящиеся на /week, будут автоматически удаляться через неделю.

    Пользователям запрещается использовать для хранения своих файлов директории /tmp, /var/tmp. Директории типа /tmp предназначены только для системных целей и временных файлов, создаваемых программным обеспечением в процессе работы. Использование этих директорий для хранения файлов может привести к исчерпанию ограниченного ресурса и нарушению работы сервера! Файлы, преднамеренно размещённые пользователями в этих директориях, будут удаляться без предупреждения!


    Вверх Главная страница описания Главная страница ЛТФ

    Источники информации


    Компьютерная группа ЛТФ

    18 февраля 2004 г.

    e-mail: super@theor.jinr.ru, telepuzik@theor.jinr.ru e-mail yoda@theor.jinr.ru, godzilla@theor.jinr.ru

    Дата обновления: 2014-04-10 17:29:08

    Valid HTML 4.01!

    Вверх Главная страница описания Главная страница ЛТФ