Как да използваме машинното обучение за автоматичен анализ на текст
Всеки път, когато правим снимки с нашия смартфон, търсим в интернет, публикуваме в социалните мрежи или използваме GPS на мобилния телефон, оставяме пръстовите си отпечатъци на света. Ние генерираме огромни количества данни всяка минута и цифрите ще нарастват само през следващите няколко години: добре дошли в ерата на мащабните данни и хиперинформацията.
За бизнеса този сценарий представлява обезпокоително предизвикателство: как обработвате тонове неструктурирана информация бързо и ефективно?
През последните години машинното обучение се превърна в стратегически фокус на дигиталните иновации в бизнеса и трансформира начина им на работа, автоматизира процесите и позволява прозрения в реално време. Нека започнем в началото:
Какво е машинно обучение?
Машинното обучение е поддисциплина в областта на изкуствения интелект (AI), способна да създава алгоритми, които позволяват на компютрите научете се да изпълнявате задачи от данни, вместо да бъде изрично програмиран. Тези "модели" са в състояние да идентифицират модели от данните за обучение (примери) и са в състояние да предсказват бъдещи събития с определено ниво на увереност и да вземат решения без човешка намеса. Това е особено ценно за обработка на големи бази данни и автоматизиране на процеси.
За Spotify използването на машинното обучение е централно в стратегията им: позволява им да предлагат персонализирани музикални изживявания на своите потребители и да препоръчват нови песни въз основа на техните вкусове и интереси.
Google от своя страна го използва, за да блокира СПАМ съобщенията от входящите кутии на своите потребители в Gmail. Благодарение на алгоритъм, обучен с машинно обучение, той анализира милиони съобщения и е способен да открива потенциално нежелани модели на имейли.
На свой ред тази технология има тесни връзки с друга област на изследване, извлечена от AI: обработка на естествен език (NLP). НЛП се стреми да могат компютрите разбират човешкия език: не само по отношение на това, което казва текст или говорител, но - особено - на това какво означава: намерението, усещането, темата. За да анализира тези писмени или устни съобщения, NLP интегрира понятия за машинно обучение, лингвистика и компютърни науки.
Комбинацията от NLP и машинно обучение позволява изграждане на модели, способни да се научат да тълкуват човешки език. Една от най-интересните области, свързани с това, е анализ на текст: анализира текст автоматично.
Как се използва машинното обучение за анализ на текст?
По принцип автоматичният анализ на текста използва две специфични техники: класификация и екстракция.
Моделите за класификация на текст работят чрез присвояване на категории на данни според съдържанието им. Това позволява задачи като анализ на настроението (откриване на усещането за текст), анализ на теми (идентифициране на неговата тема или тема), откриване на език (откриване на езика, на който е написан) и откриване на намерения (идентифициране на намерението, изразено от автора на текста). Например, бихме могли да използваме текстов класификатор, за да анализираме съдържанието на хиляди туитове за марка и да класифицираме настроението на всяко съобщение като „положително“, „отрицателно“ или „неутрално“.
Моделите за извличане на текст, от друга страна, се основават на идентифициране и получаване на определени части от информацията, присъстващи в даден текст. Използва се в задачи като извличане на ключови думи (идентифициране на най-подходящите ключови думи в даден текст), разпознаване на субекти (идентифициране на имената на хора или компании) и извличане на резюме (правене на обобщение на текст) Ако нашата цел беше да извлечем имена на компании, спецификации на продукти или други данни, които присъстват в даден текст, трябва да използваме модели за извличане.
Какви приложения има в индустрията?
В MonkeyLearn * имаме клиенти от различни области и отрасли, които използват машинно обучение за автоматизиране на процесите, спестяване на часове ръчен труд, получаване на ценна информация от анализа на данните и използването й за вземане на по-добри бизнес решения.
Досега областите, в които сме работили най-много, са поддръжка на клиенти и обратна връзка с клиентите.
Поддръжка на клиенти
Благодарение на машинното обучение и NLP, екипите за поддръжка на клиенти могат да автоматизират някои от ежедневните си процеси и да получат ценна информация от анализа на разговорите с клиентите си.