Шундеев, А. С. (кандидат физико-математических наук; ведущий научный сотрудник). Об изменении размерности векторного представления текстовых данных [Текст] / А. С. Шундеев // Программная инженерия. - 2019. - Т. 10, № 6. - С. 265-273 : рис. - Библиогр.: с. 272-273 (10 назв.). - Загл., аннот. и библиогр. парал. рус., англ. . - ISSN 2220-3397
Рубрики: Вычислительная техника Программирование ЭВМ. Компьютерные программы. Программотехника Кл.слова (ненормированные): векторное представление документов -- векторное представление слов -- интеллектуальный анализ данных -- классификация текстов Аннотация: В настоящее время интеллектуальный анализ данных является основой для построения широкого спектра прикладных информационных систем. Современным и бурно развивающимся подходом в области анализа текстовых данных является использование векторных представлений слов и текстов. Векторные представления изначально применяли для решения задач определения смысловой близости слов и поиска аналогий, однако они оказались востребованными также и в области решения задачи классификации текстов. Применительно к этой задаче векторные представления рассматриваются в настоящей работе. Предложен подход к построению векторных представлений текстов, базирующийся на трансформации согласованных с ними векторных представлений слов. Подобные трансформации подразумевают изменение исходной модели и размерности векторного представления и реализуются в виде решения задачи восстановления многомерной регрессии. Проведенные над тестовыми наборами данных эксперименты позволяют сделать следующие выводы. Построенные с помощью трансформаций векторные представления документов могут иметь меньшую размерность. При этом их использование в решении задачи классификации текстов в большинстве случаев дает более точный результат, чем при использовании исходных векторных представлений. Имеются экземпляры в отделах: всего 1 : ч.з. (1) Свободны: ч.з. (1) |