Курсовик1
Корзина 0 0 руб.

Работаем круглосуточно

Доступные
способы
оплаты

Свыше
1 500+
товаров

Каталог товаров

Методы машинного обучения при решении задач компьютерной лингвистики

В наличии
500 руб.

Купить курсовую методы машинного обучения при решении задач компьютерной лингвистики

После нажатия кнопки В Корзину нажмите корзину внизу экрана, в случае возникновения вопросов свяжитесь с администрацией заполнив форму

АП 78

Содержание

  • Введение …………………………………………………………………. 3
  • Постановка задачи …………………………………………………........ 4
    • Основные понятия……………………………………………………. 4
      • Задача классификации ………………………………………… 4
      • Оценка качества алгоритма……………………………………. 4
    • Примеры задач компьютерной лингвистики ………………………. 5
  • Используемые методы …………………………………………………. 7
    • Логистическая регрессия …………………………………………..... 7
    • LSTM………………………………………………………………….. 8
    • CNN ………………………………………………………………..... 10
  • Данные ………………………………………………………………….. 12
  • Эксперименты …………………………………………………………. 13
  • Заключение…………………………………………………………….. 21

5.1 Используемая система для экспериментов ………………………. 13

5.2 Предобработка текста………………………………………………. 13

5.3 Dummy-model……………………………………………………….. 14

5.4 TF-IDF + Logistic Regression ………………………………………. 14

5.5 BiDirectional LSTM ………………………………………………… 15

5.6 CNN …………………………………………………………………. 16

5.7 Сравнение…………………………………………………………… 18

5.8 Выводы……………………………………………………………… 19

7. Список литературы ………………………………………………… 22

1 Введение

В современном обществе всё более важную роль играют автоматизированные информационные технологии. Однако, их развитие происходит неравномерно. И если сейчас уровень вычислительной техники и средств связи уже довольно высокий, то успехи в области смысловой обработки информации гораздо более скромные. Как только встаёт вопрос создания перспективных технологий, на передний план почти наверняка выступают проблемы автоматической обработки естественного языка. И это логично, ведь мышление человека связано с языком напрямую. Язык является главным инструментом нашего мышления.

В то же время, широкое распространение получает машинное обучение. Задачи нахождения закономерностей в больших объёмах данных становятся неотъемлемой частью жизни человека, что ожидаемо пробуждает в голове идею попробовать использовать их для решения задач обработки естественного языка, в которых мы нередко работаем с большими объёмами текста. В настоящей работе проанализированы некоторые алгоритмы машинного обучения в задаче классификации для текстовой информации.

Цель данной работы – изучение целесообразности применения методов машинного обучения при решении задач компьютерной лингвистики. Для достижения данной цели поставлены следующие задачи:

  • Изучить работу методов машинного обучения на реальных текстовых данных
  • Сравнить данные методы, понять, какой из них лучше справляется с поставленным вопросом
  • Исследовать влияние различных предобработок текста на полученное решение

Заключение

В данной работе проводилось исследование различных методов классификации текста, в том числе и подходов, основанных на использовании нейронных сетей.

Нейронные сети зарекомендовали себя, как очень мощный алгоритм классификации изображений, но в последнее время стали активно применяться и в других областях, включая обработку естественного языка.

В этой работе были рассмотрены несколько подходов к решению задачи классификации текста на примере реального конкурса. Было реализовано две различных нейронных сети: свёрточная и рекуррентная, а также дважды реализована логистическая регрессия. Произведено сравнение качества данных методов на одной и той же выборке. Показано, что нейросетевой подход имеет место быть при решении задач компьютерной лингвистики. И даже более того, в некоторых ситуациях его использование будет гораздо целесообразней, чем использование традиционных методов

Уникальность
78
Loading...

Последние статьи из блога

Административное право

Методы оценки эколого-экономической безопасности региона

Факторы эколого-экономической безопасности региона

Экологическая безопасность, как составная часть экономической безопасности региона

Информационные ресурсы библиотечной сети России

Современные технические средства обучения в развитии познавательного интереса

Теоретические основы формирования самооценки в младшем школьном возрасте

Теоретические аспекты маркетинга как функция управления

Французский язык в истории итальянской гастрономии

Понятие дискурса и гастрономического дискурса

Анализ тенденций развития российского рынка микрофинансирования

Совершенствование организационных и методических аспектов внутреннего финансового аудита

Методические и практические аспекты внутреннего финансового аудита в органах исполнительной власти

Теоретико-правовые основы внутреннего финансового аудита в государственных органах исполнительной власти

Теоретические основы экологического воспитания детей старшего дошкольного возраста

Опытно –экспериментальное изучение влияния моделирования на формирование экологических знаний у детей старшего дошкольного возраста

Внеклассная работа

Понятие метафоры. Классификация метафор Джорджа Лакоффа

Теоретические основы изучения метафорических концептов в актовом дискурсе

Теоретико-методологические подходы к изучению представлений о безопасности городской среды