tgoop.com/gulagdigital/2706
Last Update:
Некоторое возрождение знаниевых графов
https://infranodus.com/
InfraNodus представляет любой текст как сеть. Если использовать метафору из социальных наук: слова — это узлы, их совпадения — это связи. На основе этого представления мы можем обнаружить группы слов, которые принадлежат друг другу, выявить наиболее влиятельные элементы, выявить пробелы в дискурсе. Затем мы применяем различные алгоритмы на основе искусственного интеллекта, чтобы получить представление о любом дискурсе.
Метод основан на алгоритме анализа текстовой сети, который представляет любой текст как сеть и определяет наиболее влиятельные слова в дискурсе на основе совпадения терминов. Затем применяется алгоритм обнаружения "сообществ" графов для идентификации различных тематических кластеров, которые представляют основные темы в тексте, а также отношения между ними.
Текст преобразуется в направленный сетевой граф. Нормализованные слова (леммы) — это узлы сетевого графа, а их совпадения — это ребра. Выполняются два последовательных сканирования. Первое сканирование создает связи (ребра графа) между леммами (узлами), которые появляются рядом друг с другом (биграммами) со значением веса ребра, равным 3. Второе сканирование использует окно из 4 лемм (4 грамма), чтобы добавить второй уровень связей. Связи между леммами, которые разделены всего лишь одним словом, получают значение веса ребра 2, а леммы, разделенные двумя словами, получают значение веса ребра 1: [обсудить [обсудить → (вес: 3) → разрешение] , [обсудить → (вес: 2) → место], → (вес: 1) → вещь], [разрешение → (вес: 3) → место], [разрешение → (вес: 2) → вещь], [разрешение → (вес: 1) → хочу] и т. д. Эти связи кодируются как ребра на ориентированном текстовом графе и им присваивается правильный вес во время анализа и визуализации. При желании можно сделать связи между абзацами, где последнее слово предыдущего абзаца ссылается на первое слово следующего со значением веса ребра, равным 1. Все связи уникальны и сохраняются, даже если они появлялись ранее в текст.
Позже, в целях визуализации графа и обнаружения сообществ, веса параллельных ребер суммируются.
Вот бы еще попробовать, а не по ютубу смотреть :)
BY Цифровой геноцид
Share with your friend now:
tgoop.com/gulagdigital/2706