ПАРАЛЛЕЛЬНОЕ ПРОГРАММИРОВАНИЕ
6
ВВЕДЕНИЕ
Одним из современных направлений развития вычислительной техники
является применение параллельных вычислительных систем (ПВС). Это обстоятель-
ство вызвано необходимостью решать проблемы, связанные с решением таких прак-
тических задач, как проектирование интегральных схем, моделирование климата,
анализ загрязнения окружающей среды и др. Несмотря на то, что процесс создания
высокопроизводительных вычислительных систем является сложной научно-
технической задачей, требующей к тому же больших финансовых инвестиций, это
направление вычислительной техники развивается «семимильными шагами».
Среди существующей вычислительной техники можно выделить одну из наи-
более быстродействующих супер-ЭВМ SX-6 японской фирмы NEC с быстродейст-
вием одного векторного процессора порядка 8 млрд операций в секунду (8 Гфлопс).
Еще более высокие показатели быстродействия у многопроцессорных систем.
Например, система ASCI Red фирмы Intel (США, 1997) имеет предельную (пико-
вую) производительность 1,8 триллионов операций в секунду (1,8 Тфлопс). Система
ASCI Red включает в свой состав 9624 микропроцессоров PentiumPro с тактовой
частотой 200 МГц, общий объем оперативной памяти 500 Гбайт и имеет стоимость
50 млн долл. (т.е. стоимость 1 Мфлопс составляет около 25 долл.), многопроцессор-
ный комплекс Earth Simulator корпорации NEC, состоящий из 640 8-процессорных
узлов SX-6 с общей суммарной пиковой производительностью 40 Тфлопс/с.
Несмотря на полученные успехи в этой области, применение параллелизма не полу-
чило широкого распространения по следующим причинам [28]:
высокая стоимость параллельных систем. В соответствии с подтверждае-
мым на практике законом Гроша (Grosch), производительность компьютера
возрастает пропорционально квадрату его стоимости;
потери производительности для организации параллелизма. Согласно гипо-
тезе Минского (Minsky), ускорение, достигаемое при использовании парал-
лельной системы, пропорционально двоичному логарифму от числа про-
цессоров (т.е. при 1000 процессорах возможное ускорение оказывается
равным 10);
постоянное совершенствование последовательных компьютеров. В соот-
ветствии с широко известным законом Мура (Moore) мощность последова-
тельных процессоров возрастает практически в два раза каждые 18-24 ме-
сяцев (исторический экскурс показывает, что быстродействие ЭВМ увели-
чивалось на порядок каждые 5 лет) и, как результат, необходимая
1,2,3,4,5,6,7 9,10,11,12,13,14,15,16,17,18,...180