Застосування алгоритмів паралельної обробки інформації в системах високопродуктивних рішень

Abstract

Сучасні високопродуктивні обчислювальні системи (High Performance Computing, HPC) є фундаментом для розвитку обчислювальної науки, штучного інтелекту, промислової аналітики, симуляцій складних процесів і обробки великих даних. Ефективність їх функціонування безпосередньо залежить від застосування алгоритмів паралельної обробки інформації, які забезпечують раціональний розподіл навантаження, синхронізацію процесів та зниження часу виконання задач [1]. З огляду на швидке зростання обсягів даних і складності моделей, розроблення нових підходів до динамічного планування та балансування ресурсів стає ключовою умовою підвищення продуктивності HPC-систем [2]. Актуальність теми зумовлена потребою створення інтелектуальних алгоритмів паралельної обробки, що поєднують високу масштабованість із гнучким розподілом задач між вузлами кластеру. Такі системи дозволяють досягти оптимальної швидкодії при змінних навантаженнях, мінімізувати затримки синхронізації та підвищити відмовостійкість інфраструктури. Розробка подібних рішень є актуальною для сучасних наукових обчислень, інженерного моделювання та обробки даних у режимі реального часу [3]. Метою роботи є розроблення та дослідження системи паралельної обробки інформації із застосуванням алгоритмів розподілених обчислень, динамічного планування та моніторингу продуктивності з метою підвищення ефективності високопродуктивних рішень. Для успішного виконання поставленої мети потрібно вирішити наступні задачі: – провести системний аналіз предметної області паралельних обчислень і сучасних HPC-архітектур; – дослідити алгоритми MPI, OpenMP та паралельного I/O для реалізації розподілених задач; – розробити архітектуру системи високопродуктивних обчислень із підтримкою адаптивного балансування; – побудувати UML-моделі (прецедентів, послідовності, активності, класів і компонентів); – реалізувати програмні модулі розподілу задач і моніторингу навантаження; – провести тестування продуктивності, масштабованості та стійкості системи до збоїв. Об’єкт дослідження – процеси паралельної обробки інформації у високопродуктивних обчислювальних системах. Предмет дослідження – алгоритми планування, синхронізації, балансування навантаження й оптимізації обчислювальних процесів у розподілених середовищах. Методологічна основа дослідження ґрунтується на поєднанні теоретичних положень інформатики, теорії паралельних і розподілених алгоритмів, обчислювальної математики та системного аналізу. Для розроблення й перевірки моделі використано методи UML-моделювання (структурні й поведінкові діаграми), теорію графів і черг, методи оцінки масштабованості (закони Амдала й Густафсона), а також методи експериментального аналізу продуктивності. У практичній частині застосовано мови Java (для серверної логіки) та Python (для аналітичних модулів), а також бібліотеки SQLite JDBC, MPI4Py, NumPy, Matplotlib і JUnit для тестування. Наукова новизна полягає у створенні адаптивної моделі управління обчислювальними процесами, яка динамічно змінює схеми планування й синхронізації залежно від навантаження системи. Запропоновано комбінований підхід, що поєднує механізми MPI-комунікацій з аналітичним моніторингом стану вузлів і дозволяє зменшити затримки між процесами без втрати точності розрахунків. Практична цінність роботи полягає у можливості застосування розробленої системи в наукових, навчальних і промислових HPC-кластерах для підвищення продуктивності паралельних задач, зокрема при аналізі великих даних, симуляції фізичних процесів і навчанні моделей штучного інтелекту. Розроблені програмні модулі можуть бути інтегровані у хмарні обчислювальні середовища з мінімальними змінами архітектури. Структура роботи. Магістерська робота складається зі вступу, чотирьох розділів, висновків, списку використаних джерел і додатків. У першому розділі подано системний аналіз предметної області, класифікацію алгоритмів паралельної обробки та формалізацію вимог до системи. У другому розділі розроблено UML-моделі, які відображають логіку функціонування, структуру компонентів і взаємодію процесів. Третій розділ присвячено розробленню програмного забезпечення, реалізації архітектури, бази даних і ключових алгоритмів системи. Четвертий розділ містить результати тестування системи, оцінку ефективності паралельного виконання, масштабованості та відмовостійкості