Дослідження ефективності трансформерних архітектур (BERT, GPT) у прогнозуванні цін фінансових активів на основі новинного фону

Abstract

У сучасних фінансових ринках, де мільйони угод здійснюються щосекунди, ключовими чинниками успішного прогнозування є швидкість обробки даних, здатність виявляти приховані закономірності та врахування контексту, що формується інформаційним середовищем. Традиційні статистичні моделі, такі як ARIMA, VAR чи GARCH, виявляються недостатньо ефективними для опису нелінійних взаємозв’язків та адаптації до динамічних умов ринку. Водночас розвиток технологій глибинного навчання (Deep Learning) відкрив нові можливості аналізу часових рядів та текстових даних у єдиному інтегрованому середовищі. Особливий інтерес викликають трансформерні архітектури, що стали основою сучасних мовних моделей – BERT, FinBERT та GPT. Їхня здатність виявляти складні контекстні залежності робить можливим інтеграцію новинного фону, аналітичних звітів і соціальних сигналів у процес фінансового прогнозування. Проте рівень ефективності цих архітектур у задачах прогнозування ринкових часових рядів із урахуванням текстових джерел досі не досліджено достатньо. Саме це визначає актуальність даної роботи, спрямованої на вивчення механізмів інтеграції ринкових та новинних даних у трансформерних моделях для підвищення точності фінансових прогнозів. Об’єктом дослідження є архітектура мультимодальних нейронних мереж для прогнозування часових рядів. Предметом дослідження є механізми інтеграції ринкових та текстових даних у трансформерних моделях (BERT, FinBERT, GPT) для підвищення ефективності фінансових прогнозів. Метою роботи є підвищення точності прогнозування цін фінансових активів шляхом використання трансформерних архітектур (BERT, FinBERT, GPT), здатних поєднувати ринкові часові ряди з текстовими джерелами інформації для моделювання комплексних залежностей між подіями та ринковими реакціями. Для досягнення поставленої мети необхідно вирішити такі завдання: 1. Провести аналіз існуючих методів прогнозування фінансових активів і визначити обмеження традиційних підходів. 2. Дослідити архітектури моделей BERT, FinBERT та GPT і визначити їх потенціал у фінансовому аналізі. 3. Розробити інтегровану модель прогнозування, яка поєднує ринкові часові ряди та текстові новинні дані. 4. Реалізувати навчання моделі на експериментальних даних і провести порівняння результатів із класичними моделями. 5. Оцінити вплив новинного фону на точність короткострокових прогнозів фінансових активів. У процесі дослідження використано такі методи: ● аналіз часових рядів і фінансових даних; ● методи обробки природної мови (Natural Language Processing) для аналізу текстових джерел; ● архітектури глибинного навчання (LSTM, CNN, Transformer) та їх фінансові модифікації (FinBERT); ● експериментальне моделювання з використанням фреймворку PyTorch; ● кількісна оцінка результатів за метриками MAE, RMSE, MAPE. Наукова новизна отриманих результатів полягає у розробці та дослідженні інтегрованого підходу до прогнозування цін фінансових активів на основі поєднання ринкових часових рядів і текстових новинних даних за допомогою трансформерних архітектур. На відміну від більшості існуючих рішень, що розглядають фінансові часові ряди окремо від новинного контексту, у цій роботі запропоновано підхід, який дозволяє об’єднати ці два типи даних у єдиній мультимодальній архітектурі. Запропонована модель використовує трансформерні архітектури BERT, FinBERT та GPT для кодування семантичного змісту новин і їх інтеграції з ринковими ознаками, що дає змогу враховувати контекстну динаміку інформаційного середовища при прогнозуванні цін. Крім того, у роботі проведено порівняльний експериментальний аналіз ефективності трансформерних моделей у задачах фінансового прогнозування, що дало змогу виявити вплив типу текстового представлення (BERT, FinBERT, GPT) на точність прогнозів. Отримані результати підтвердили доцільність інтеграції текстових і ринкових даних та продемонстрували, що застосування мультимодальних трансформерних підходів може підвищити точність короткострокових фінансових прогнозів порівняно з класичними нейронними мережами. Результати дослідження були апробовані під час участі у XVI міжнародній науково-практичній конференції молодих вчених «ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ: ЕКОНОМІКА, ТЕХНІКА, ОСВІТА» (НУБіП, Київ, 2025 р.). Магістерська робота складається зі вступу, чотирьох основних розділів, висновків, списку використаних джерел і додатків. Загальний обсяг роботи становить 69 сторінок, з яких додатки – 13 сторінок, а список використаних джерел містить 17 найменувань. Зміст роботи: ● перший розділ присвячений аналізу предметної області та сучасних методів прогнозування; ● другий розділ містить моделювання процесу прогнозування з використанням трансформерних моделей; ● третій розділ описує розробку інтегрованої моделі та її навчання; ● четвертий розділ включає результати експериментів і порівняльний аналіз ефективності моделей