Моделювання паралельних обчислень з метою оптимізації продуктивності програмних застосувань

Abstract

Магістерська робота складається зі вступу, трьох розділів, висновків, списку використаних джерел та додатків. Загальний обсяг роботи становить 82 сторінок, містить 24 рисунків, 30 бібліографічних джерел. Робота оформлена відповідно до вимог університету. Актуальність теми Сучасні обчислювальні системи вже не можуть забезпечувати приріст продуктивності лише за рахунок збільшення тактової частоти процесорів. Тому розвиток високопродуктивних обчислень відбувається через масштабування багатоядерних архітектур і застосування паралельних технологій. Вибір оптимальної бібліотеки чи підходу до паралельного програмування суттєво впливає на продуктивність програмних застосувань, особливо в задачах лінійної алгебри, моделювання, обробки великих даних та інженерних розрахунків. У цьому контексті особливо актуальними є експериментальні дослідження продуктивності різних паралельних технологій, а також аналіз їх обмежень відповідно до закону Амдала. Це дозволяє сформувати рекомендації щодо оптимізації програм під реальні багатоядерні процесори. Метою магістерської роботи є моделювання та експериментальне дослідження продуктивності різних технологій паралельних обчислень для оптимізації виконання програмних застосувань, а також аналіз ефективності їх масштабування на основі закону Амдала. Об’єкт дослідження. Процеси та методи паралельного виконання програмних застосувань у багатоядерних обчислювальних системах. Предмет дослідження. Підходи, алгоритми та бібліотеки паралельного програмування, зокрема: OpenMP, MPI, Parallel STL (PSTL), Intel oneTBB, OpenBLAS, а також їх ефективність, масштабованість і продуктивність під час виконання обчислювально інтенсивних задач. Методи дослідження. У роботі використано такі методи: 1. методи паралельного програмування (OpenMP, MPI, PSTL, oneTBB); 2. аналітичні методи оцінювання продуктивності, включаючи визначення часу виконання, прискорення, ефективності, GFLOPS; 3. методологія рівнянь продуктивності та закон Амдала для оцінки теоретичних меж масштабування; 4. експериментальний метод моделювання множення матриць різного розміру; 5. статистична обробка результатів з використанням повторних запусків; 6. візуалізація даних засобами Python (pandas, matplotlib) для побудови графіків. Наукова новизна роботи полягає у: 1. Комплексному порівнянні п’яти різних технологій паралельного програмування в єдиних експериментальних умовах для задачі множення матриць розмірності 256–2048. 2. Експериментальному визначенні реальних значень паралельної частки F та максимального прискорення S(max) згідно із законом Амдала для кожної технології. 3. Демонстрації, що різні бібліотеки мають різні межі масштабування, неочевидні з теорії, та залежать від архітектури CPU, структури алгоритму та внутрішніх моделей паралелізації. 4. Встановленні того, що OpenBLAS показує найвищу продуктивність (до десятків GFLOPS), тоді як MPI та PSTL мають обмежене масштабування на локальній платформі. 5. Наданні практичних рекомендацій щодо вибору технології паралелізації для високопродуктивних застосувань на звичайних багатоядерних процесорах. Практичне значення. Результати роботи можуть бути використані для:  оптимізації наукових та інженерних застосувань, що виконуються на багатоядерних CPU;  вибору найефективнішої бібліотеки паралельних обчислень для задач великої розмірності;  прогнозування продуктивності алгоритмів на основі закону Амдала;  підготовки освітніх матеріалів з паралельного програмування;  розробки високопродуктивних модулів у системах аналізу даних, машинного навчання та моделювання.

Structure and Volume of the Thesis. The master’s thesis consists of an introduction, three main chapters, conclusions, a list of references, and appendices. The total volume of the thesis is 82 pages, including 24 figures and 30 bibliographic sources. The work is formatted in accordance with university requirements. Relevance of the Topic. Modern computing systems can no longer rely on increasing processor clock frequency as the main source of performance improvement. The progress of high-performance computing has shifted toward scaling multi-core architectures and using parallel technologies. Selecting an optimal parallel programming framework significantly affects the performance of scientific, engineering, and data-intensive software applications. In this context, experimental analysis of different parallel programming technologies and evaluation of their scalability based on Amdahl’s law are particularly important. Such research provides a foundation for optimizing software for real multi-core CPU systems and identifying the practical limitations of existing parallelization approaches. Purpose of the Master’s Thesis. The purpose of this thesis is to model and experimentally evaluate the performance of various parallel computing technologies to optimize the execution of software applications, and to analyze their scalability and efficiency using Amdahl’s law. Object of Study. Processes and methods of parallel execution of software applications in multi-core computing systems. Subject of Study. Approaches, algorithms, and parallel programming libraries, including OpenMP, MPI, Parallel STL (PSTL), Intel oneTBB, and OpenBLAS, as well as their performance, scalability, and efficiency when executing computationally intensive tasks. Research Methods. The following methods were used in the thesis:  parallel programming techniques (OpenMP, MPI, PSTL, oneTBB);  analytical methods of performance evaluation, including execution time, speedup, efficiency, and GFLOPS;  Amdahl’s law and performance modeling for estimating theoretical scalability;  experimental simulation of matrix multiplication for problem sizes from 256 to 2048;  statistical processing of results, including repeated runs for accuracy;  data visualization using Python libraries (pandas, matplotlib). Scientific Novelty. The scientific novelty of the thesis lies in the following: 1. A comprehensive comparison of five parallel programming technologies under identical experimental conditions for matrix multiplication tasks of varying sizes. 2. Experimental estimation of the parallel fraction F and maximum speedup S(max) according to Amdahl’s law for each technology. 3. Demonstration that different libraries exhibit fundamentally different scalability limits, which depend on CPU architecture, algorithm structure, and internal parallelization mechanisms. 4. Identification of OpenBLAS as the most high-performing solution (reaching tens of GFLOPS), while MPI and PSTL exhibit limited scalability on a local multi-core platform. 5. Development of practical recommendations for selecting optimal parallel technologies for scientific and engineering applications executed on multi-core processors. Practical Significance. The results of the thesis can be applied to: 1. optimization of scientific and engineering applications running on multi-core CPUs; 2. selection of the most efficient parallel programming library for large-scale computational tasks; 3. prediction of algorithm performance based on Amdahl’s law; 4. development of educational materials on parallel programming; 5. designing high-performance modules for data analysis, numerical modeling, and machine learning.