Інтелектуальна система з обробки та перекладу рукописного тексту

Abstract

Основна частина пояснювальної записки займає сторінок 76 із них 66 сторінок основного тексту. Додатки мають обсяг в 4 сторінки. Робота містить 26 рисунків. Для виконання дослідження та підготовки матеріалів використано 25 джерел інформації. Об’єкт дослідження - Процес автоматизованої обробки, розпізнавання та перекладу рукописного тексту засобами штучного інтелекту. Предмет дослідження - Моделі, методи та алгоритми побудови інтелектуальної системи, яка здійснює розпізнавання рукописного тексту з використанням нейронних мереж і забезпечує його переклад засобами машинного перекладу. Методи дослідження. У ході дослідження було застосовано низку сучасних методів, що дозволили досягти поставленої мети та отримати достовірні результати. Використовувалися різні підходи машинного навчання, серед яких ключову роль відіграли згорткові нейронні мережі, рекурентні нейронні мережі та моделі типу Transformer. Ці методи надали можливість ефективно розпізнавати структуру рукописного тексту, враховуючи контекст та стилістичні особливості письма. Також застосовувалися методи комп’ютерного зору для попередньої обробки зображень такі як- видалення шумів, сегментація, нормалізація яскравості та контрасту, що покращило якість вхідних даних і підвищило точність розпізнавання. Для оцінки результатів використовувалися математичне моделювання та статистичний аналіз, які допомогли проаналізувати рівень точності, частоту помилок і стабільність системи на різних наборах даних. Мета і завдання дослідження. Полягає у створенні ефективної нейронної мережі для розпізнавання рукописного тексту, здатної точно і швидко перетворювати зображення письмових символів у цифровий формат. Це включає розробку моделі, яка враховує контекстні та стилістичні особливості рукопису. Завдання дослідження включають: ● Аналіз сучасних методів машинного навчання, зокрема згорткових та рекурентних нейронних мереж, а також моделей типу Transformer, для застосування у розпізнаванні тексту. ● Розробку методів попередньої обробки зображень (шумозаглушення, сегментація, нормалізація яскравості і контрасту) для підвищення якості вхідних даних. ● Створення і тренування архітектури нейронної мережі з використанням сучасних алгоритмів навчання. ● Проведення експериментального тестування прототипу системи на відкритих базах рукописних текстів (IAM Handwriting Database, MNIST) для оцінки її точності, стабільності та адаптивності до різних стилів почерку. ● Виконання кількісного аналізу результатів з допомогою методів математичного моделювання та статистичного аналізу для визначення рівня помилок і ефективності системи. Наукова новизна полягає у розробці та впровадженні сучасного комплексного підходу до розпізнавання рукописного тексту на основі сучасних архітектур нейронних мереж, зокрема згорткових, рекурентних мереж і трансформерів. Запропоновано нові методи попередньої обробки зображень, що підвищують якість вхідних даних і відповідно точність розпізнавання. Вперше адаптовано ці технології для роботи з різноманітними стилями почерку, враховуючи контекст і стилістичні особливості письма. Практичне значення розроблена система може бути інтегрована у різноманітні програмні комплекси, що забезпечують цифрову обробку документів, автоматичне введення даних, навчальні платформи чи сервіси машинного перекладу. Її впровадження сприяє зменшенню часу обробки рукописних матеріалів, підвищенню точності передачі текстової інформації та зручності взаємодії користувача з інформаційними системами. Створений програмний прототип може бути використаний у сфері освіти для оцифрування конспектів і нотаток, у науково-дослідній діяльності — для перекладу історичних рукописів, у бізнесі — для обробки заповнених вручну форм, анкет чи документів.

The main part of the explanatory note occupies 76 pages, 66 of which are the main text. The appendices are 4 pages long. The work contains 26 figures. Twenty-five sources of information were used to conduct the research and prepare the materials. The object of the study is the process of automated processing, recognition and translation of handwritten text using artificial intelligence. The subject of the research is models, methods and algorithms for building an intelligent system that recognises handwritten text using neural networks and translates it using machine translation. Research methods. During the study, a number of modern methods were used to achieve the set goal and obtain reliable results. Various machine learning approaches were used, among which convolutional neural networks, recurrent neural networks, and Transformer-type models played a key role. These methods made it possible to effectively recognise the structure of handwritten text, taking into account the context and stylistic features of the writing. Computer vision methods were also used for pre-processing images, such as noise removal, segmentation, brightness and contrast normalisation, which improved the quality of the input data and increased recognition accuracy. Mathematical modelling and statistical analysis were used to evaluate the results, which helped to analyse the accuracy, error rate and stability of the system on different data sets. Research objectives and tasks. The aim is to create an effective neural network for handwritten text recognition, capable of accurately and quickly converting images of written characters into digital format. This includes developing a model that takes into account the contextual and stylistic features of handwriting. The objectives of the research include: • Analysis of modern machine learning methods, in particular convolutional and recurrent neural networks, as well as Transformer-type models, for use in text recognition. • Developing image pre-processing methods (noise suppression, segmentation, brightness and contrast normalisation) to improve the quality of input data. • Creating and training a neural network architecture using modern learning algorithms. • Conducting experimental testing of the prototype system on open handwritten text databases (IAM Handwriting Database, MNIST) to evaluate its accuracy, stability, and adaptability to different handwriting styles. • Performing quantitative analysis of the results using mathematical modelling and statistical analysis methods to determine the error rate and effectiveness of the system. The scientific novelty lies in the development and implementation of a modern comprehensive approach to handwritten text recognition based on modern neural network architectures, in particular convolutional, recurrent networks and transformers. New methods of image pre-processing are proposed, which improve the quality of input data and, accordingly, the accuracy of recognition. For the first time, these technologies have been adapted to work with a variety of handwriting styles, taking into account the context and stylistic features of writing. The developed system can be integrated into various software complexes that provide digital document processing, automatic data entry, educational platforms, or machine translation services. Its implementation helps reduce the time required to process handwritten materials, increase the accuracy of text information transfer, and improve the user experience with information systems. The software prototype can be used in education to digitise lecture notes and notes, in research to translate historical manuscripts, and in business to process handwritten forms, questionnaires, or documents.