Система розпізнавання рукописного тексту з використанням методів комп’ютерного зору

Abstract

У межах даної бакалаврської кваліфікаційної роботи розроблено програмний застосунок ZenDraw. Його ідея полягає в тому, що користувач малює математичний символ безпосередньо на полотні, після чого програма розпізнає рукописний начерк, замінює його на друкований символ і розміщує у відповідному місці виразу. Якщо символ намальовано над базовим елементом, він може стати верхнім індексом; якщо під ним - нижнім індексом; якщо всередині зони кореня - підкореневим виразом; якщо у зоні дробу - чисельником або знаменником. Актуальність роботи зумовлена потребою у зручному, легкому та кросплатформному інструменті для цифрового запису математичних виразів. Такий інструмент може бути корисним студентам, викладачам, школярам, репетиторам, авторам навчальних матеріалів і всім користувачам, які часто працюють з формулами. На відміну від класичного редактора формул, ZenDraw орієнтований на швидке рукописне введення. Метою роботи є розробка кросплатформного програмного застосунку для інтерактивного рукописного введення математичних символів, їх автоматичного розпізнавання методами комп’ютерного зору та подальшого структурованого відображення у вигляді математичних виразів. Об’єктом дослідження є процес цифрового введення та редагування математичних виразів у програмних середовищах. Предметом дослідження є методи й програмні засоби розпізнавання рукописних математичних символів, а також алгоритми їхнього структурного розміщення в математичному виразі. Для досягнення поставленої мети необхідно виконати такі завдання: проаналізувати предметну область рукописного введення математичних виразів; розглянути існуючі рішення та їх обмеження; сформувати функціональні й нефункціональні вимоги до системи; розробити модель даних математичного виразу; реалізувати модуль попередньої обробки рукописного зображення; реалізувати модуль розпізнавання символів; розробити алгоритм структурного розміщення символів; створити графічний інтерфейс користувача; забезпечити збереження сесій, історію дій, масштабування та роботу на різних пристроях; провести тестування готового програмного застосунку. Методи розробки включають об’єктно-орієнтоване програмування, комп’ютерний зір, попередню обробку растрових зображень, класифікацію рукописних символів за допомогою згорткової нейронної мережі[2,3,4,5], моделювання структури математичного виразу у вигляді дерева[6,7], а також розробку графічного інтерфейсу користувача з підтримкою сенсорних жестів. Практичне значення отриманого результату полягає у створенні застосунку, який дозволяє швидше вводити математичні вирази природним рукописним способом. Програма працює як на комп’ютері, так і на мобільних пристроях або планшетах, що робить її зручною для навчального використання. Розроблена архітектура може бути розширена підтримкою експорту у LaTeX, MathML[8] або формат зображення. Пояснювальна записка складається зі вступу, чотирьох основних розділів, висновків, списку використаних джерел і додатків. У першому розділі проведено системний аналіз предметної області, сформульовано постановку задачі, вимоги та моделі взаємодії користувача із системою. У другому розділі описано інформаційне забезпечення. У третьому розділі наведено архітектуру й програмну реалізацію основних модулів ZenDraw. У четвертому розділі розглянуто тестування, експлуатацію, вимоги до середовища та перспективи розвитку системи.