Курсовик1
Корзина 0 0 руб.

Работаем круглосуточно

Доступные
способы
оплаты

Свыше
1 500+
товаров

Каталог товаров

Методы машинного обучения при решении задач компьютерной лингвистики

В наличии
500 руб.

Купить курсовую методы машинного обучения при решении задач компьютерной лингвистики

После нажатия кнопки В Корзину нажмите корзину внизу экрана, в случае возникновения вопросов свяжитесь с администрацией заполнив форму

АП 78

Содержание

  • Введение …………………………………………………………………. 3
  • Постановка задачи …………………………………………………........ 4
    • Основные понятия……………………………………………………. 4
      • Задача классификации ………………………………………… 4
      • Оценка качества алгоритма……………………………………. 4
    • Примеры задач компьютерной лингвистики ………………………. 5
  • Используемые методы …………………………………………………. 7
    • Логистическая регрессия …………………………………………..... 7
    • LSTM………………………………………………………………….. 8
    • CNN ………………………………………………………………..... 10
  • Данные ………………………………………………………………….. 12
  • Эксперименты …………………………………………………………. 13
  • Заключение…………………………………………………………….. 21

5.1 Используемая система для экспериментов ………………………. 13

5.2 Предобработка текста………………………………………………. 13

5.3 Dummy-model……………………………………………………….. 14

5.4 TF-IDF + Logistic Regression ………………………………………. 14

5.5 BiDirectional LSTM ………………………………………………… 15

5.6 CNN …………………………………………………………………. 16

5.7 Сравнение…………………………………………………………… 18

5.8 Выводы……………………………………………………………… 19

7. Список литературы ………………………………………………… 22

1 Введение

В современном обществе всё более важную роль играют автоматизированные информационные технологии. Однако, их развитие происходит неравномерно. И если сейчас уровень вычислительной техники и средств связи уже довольно высокий, то успехи в области смысловой обработки информации гораздо более скромные. Как только встаёт вопрос создания перспективных технологий, на передний план почти наверняка выступают проблемы автоматической обработки естественного языка. И это логично, ведь мышление человека связано с языком напрямую. Язык является главным инструментом нашего мышления.

В то же время, широкое распространение получает машинное обучение. Задачи нахождения закономерностей в больших объёмах данных становятся неотъемлемой частью жизни человека, что ожидаемо пробуждает в голове идею попробовать использовать их для решения задач обработки естественного языка, в которых мы нередко работаем с большими объёмами текста. В настоящей работе проанализированы некоторые алгоритмы машинного обучения в задаче классификации для текстовой информации.

Цель данной работы – изучение целесообразности применения методов машинного обучения при решении задач компьютерной лингвистики. Для достижения данной цели поставлены следующие задачи:

  • Изучить работу методов машинного обучения на реальных текстовых данных
  • Сравнить данные методы, понять, какой из них лучше справляется с поставленным вопросом
  • Исследовать влияние различных предобработок текста на полученное решение

Заключение

В данной работе проводилось исследование различных методов классификации текста, в том числе и подходов, основанных на использовании нейронных сетей.

Нейронные сети зарекомендовали себя, как очень мощный алгоритм классификации изображений, но в последнее время стали активно применяться и в других областях, включая обработку естественного языка.

В этой работе были рассмотрены несколько подходов к решению задачи классификации текста на примере реального конкурса. Было реализовано две различных нейронных сети: свёрточная и рекуррентная, а также дважды реализована логистическая регрессия. Произведено сравнение качества данных методов на одной и той же выборке. Показано, что нейросетевой подход имеет место быть при решении задач компьютерной лингвистики. И даже более того, в некоторых ситуациях его использование будет гораздо целесообразней, чем использование традиционных методов

Уникальность
78
Loading...

Последние статьи из блога

Принцип права коренных народов

История олигофренопедагогики

Теоретические аспекты организации процесса товародвижения

Коллизии законодательства в области наследования в вопросах международного частного права

Правовое регулирование наследственных правоотношений граждан зарубежных государств на территории России и российских граждан за рубежом

Формы взаимодействия органов исполнительной власти Омской области и Администрации города Омска

​Теоретические основы и нормативно-правовое регулирование органов государственной власти субъектов и органов местного самоуправления в Российской Федерации

Задача по адвокатуре

Основы адвокатуры

Проблемы государственного устройства России

Понятия и принципы федерализма в России

Современные масштабы экологической катастрофы

Теоретико-правовые основы контрактной системы

Разработка системы финансового планирования (бюджетирования)

Architectonika of management system in agrarian sphere in conditions of sanction economy

Конверсия веб-сайта

Взаимодействие PHP и MYSQL

Синтаксис языка PHP

Адаптивная вёрстка сайта

Основные понятия, принципы и системы бережливого производства