OpenMP
OpenMP (Open Multi-Processing) — открытый стандарт для распараллеливания программ на языках Си, Си++ и Фортран. Дает описание совокупности директив компилятора, библиотечных процедур и переменных окружения, которые предназначены для программирования многопоточных приложений на многопроцессорных системах с общей памятью.
Разработка
Разработку спецификации OpenMP ведут несколько крупных производителей вычислительной техники и программного обеспечения, чья работа регулируется некоммерческой организацией, называемой OpenMP Architecture Review Board (ARB) [1].
Первая версия появилась в 1997 году, предназначалась для языка Fortran. Для С/С++ версия разработана в 1998 году. В 2008 году вышла версия OpenMP 3.0.
Введение
OpenMP реализует параллельные вычисления с помощью многопоточности, в которой «главный» (master) поток создает набор подчиненных (slave) потоков и задача распределяется между ними. Предполагается, что потоки выполняются параллельно на машине с несколькими процессорами (количество процессоров не обязательно должно быть больше или равно количеству потоков).
Задачи, выполняемые потоками параллельно, также как и данные, требуемые для выполнения этих задач, описываются с помощью специальных директив препроцессора соответствующего языка — прагм. Например, участок кода на языке Fortran, который должен исполняться несколькими потоками, каждый из которых имеет свою копию переменной N, предваряется следующей директивой: !$OMP PARALLEL PRIVATE(N)
Количество создаваемых потоков может регулироваться как самой программой при помощи вызова библиотечных процедур, так и извне, при помощи переменных окружения.
Ключевые элементы
Ключевыми элементами OpenMP являются
- конструкции для создания потоков (директива
parallel), - конструкции распределения работы между потоками (директивы
DO/forиsection), - конструкции для управления работой с данными (выражения
sharedиprivateдля определения класса памяти переменных), - конструкции для синхронизации потоков (директивы
critical,atomicиbarrier), - процедуры библиотеки поддержки времени выполнения (например,
omp_get_thread_num), - переменные окружения (например,
OMP_NUM_THREADS).
Примеры программ
Ниже приведены примеры программ с использованием директив OpenMP:
Fortran 77
В этой программе на языке Fortran создается заранее неизвестное число потоков (оно определяется переменной окружения OMP_NUM_THREADS перед запуском программы), каждый из которых выводит приветствие вместе со своим номером. Главный
поток (имеющий номер 0) также выводит общее число потоков, но только после того, как все они «пройдут» директиву BARRIER.
PROGRAM HELLO
INTEGER ID, NTHRDS
INTEGER OMP_GET_THREAD_NUM, OMP_GET_NUM_THREADS
C$OMP PARALLEL PRIVATE(ID)
ID = OMP_GET_THREAD_NUM()
PRINT *, 'HELLO WORLD FROM THREAD', ID
C$OMP BARRIER
IF ( ID .EQ. 0 ) THEN
NTHRDS = OMP_GET_NUM_THREADS()
PRINT *, 'THERE ARE', NTHRDS, 'THREADS'
END IF
C$OMP END PARALLEL
END
В этой программе два массива (a и b) складываются параллельно десятью потоками.
#include <stdio.h>
#include <omp.h>
#define N 100
int main(int argc, char *argv[])
{
double a[N], b[N], c[N];
int i;
omp_set_dynamic(0); // запретить библиотеке openmp менять число потоков во время исполнения
omp_set_num_threads(10); // установить число потоков в 10
// инициализируем массивы
for (i = 0; i < N; i++)
{
a[i] = i * 1.0;
b[i] = i * 2.0;
}
// вычисляем сумму массивов
#pragma omp parallel for shared(a, b, c) private(i)
for (i = 0; i < N; i++)
c[i] = a[i] + b[i];
printf ("%f\n", c[10]);
return 0;
}
Эту программу можно скомпилировать, используя gcc-4.4 и более новые с флагом -fopenmp.
Существующие реализации
OpenMP поддерживается многими современными компиляторами.
- Компиляторы Sun Studio поддерживают официальную спецификацию — OpenMP 2.5 [2] — с улучшенной производительностью под ОС Solaris; поддержка Linux запланирована на следующий выпуск.
- Visual C++ 2005 и 2008 поддерживает OpenMP 2.0 в редакциях Professional и Team System, 2010 - в редакциях Professional, Premium и Ultimate, 2012 - во всех редакциях [3].
- GCC 4.2 поддерживает реализацию OpenMP в языках C/C++ и FORTRAN (на базе gfortran), а некоторые дистрибутивы (такие как Fedora Core 5 gcc) включили поддержку в свои версии GCC 4.1.
- Intel C++ Compiler, Intel Fortran Compiler и Intel Parallel Studio поддерживают версию OpenMP 3.0, а также Intel Cluster OpenMP для программирования в системах с распределённой памятью.
- IBM XL compiler
- PGI (Portland group)
- Pathscale
- HP
- Clang/llvm 3.7 поддерживает версию OpenMP 3.1.[4]
Пример реализации
Компиляторы Sun Studio создают отдельную процедуру из исходного кода, располагающегося под директивой parallel, а вместо самой директивы вставляют вызов процедуры __mt_MasterFunction_ библиотеки libmtsk, передавая ей адрес искусственно созданной. Таким образом, разделяемые (shared) данные могут быть переданы последней по ссылке, а собственные (private) объявляются внутри этой процедуры, оказываясь независимыми от своих копий в других потоках.
Процедура __mt_MasterFunction_ создает группу потоков (количеством 9 в приведенном выше примере на языке C), которые будут выполнять код конструкции parallel, а вызвавший её поток становится главным в группе. Затем главный поток организовывает работу подчиненных потоков, после чего начинает выполнять пользовательский код сам. Когда код будет выполнен, главный поток вызывает процедуру _mt_EndOfTask_Barrier_, синхронизирующую его с остальными.
Инструменты
- VivaMP (поддержка прекращена) — Статический анализатор Си/Си++ кода для выявления ошибок в программах, построенных на технологии OpenMP Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Intel® Threading Tools — инструменты анализа производительности программ OpenMP Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
См. также
- Intel Threading Building Blocks — библиотека для параллельного программирования на С++
- MPI (Message Passing Interface) — интерфейс обмена сообщений между процессами
- Список многопоточных библиотек C++
- OpenCL — открытый каркас для параллельных вычислений на графических и центральных процессорах
- OpenACC
Примечания
Ссылки
- openmp.org — официальный сайт OpenMP
- Intel Software Network Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Richard Gerber. Начало работы с OpenMP*. Intel Software Network (5 июня 2009). Дата обращения: 11 февраля 2010. Архивировано из оригинала 3 марта 2012 года.
- Richard Gerber. Эффективное распределение нагрузки между потоками с помощью OpenMP*. Intel Software Network (5 июня 2009). Дата обращения: 11 февраля 2010. Архивировано из оригинала 3 марта 2012 года.
- Andrey Karpov. Кратко о технологии OpenMP. Intel Software Network (5 января 2010). Дата обращения: 11 февраля 2010. Архивировано из оригинала 3 марта 2012 года.
- Статья «32 подводных камня OpenMP при программировании на Си++» Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Статья «Отладка и оптимизация многопоточных OpenMP-программ» Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Другие источники
- Введение в OpenMP: API параллельных программ для многопроцессорных систем с общей памятью Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Что такое OpenMP? Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}. - базовая статья на сайте parallel.ru
- OpenMP и C++ Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- Параллельное программирование с использованием OpenMP Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}. - Учебный курс на сайте Intuit.ru
- Презентация на тему OpenMP Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.
- OpenMP Support in Sun Studio Compilers and Tools Устаревший синтаксис шаблона: пишите {{ref|lang}} вместо {{ref-lang}}.