Подскажите программу, анализирующую текст

[4ton]

Кто-нибудь знает программу, которой можно скормить несколько больших текстов, и чтоб она показала список наиболее часто встречающихся в этих текстах (суммарно) слов в порядке уменьшения частоты повторения. Типа такого:

http://ru.wiktionary.org/wiki/Прилож...тности_по_НКРЯ

[MKN]

Цитата 4ton:



программу, которой можно скормить несколько больших текстов, и чтоб она показала список наиболее часто встречающихся в этих текстах (суммарно) слов в порядке уменьшения частоты повторения.

Подскажите программу, анализирующую текст

Наверное любой программер сможет написать такую - скрипт с задачей условий, фильтрацией и с использованием регулярных выражений...

Осталось только найти такого альтруиста...

[Iska]

MKN, чёрта с два любой. Это ж не англицкий, тут надо учитывать все варианты склонений, спряжения, омонимы и т.п. Я не завидую такому альтруисту.

[Iska]

Iska,

Можно ведь упростить задачу. Вывести список, например первой сотни, наиболее часто употоребляемых в тексте ВСЕХ слов, ( включая слова с разноокончаниями и пр).

А потом уже, если надо (в поставленной задаче вроде как нет жесткого условия для выбираемых слов) , отсортировать однокоренные и пр. слова...

[MKN]

Цитата MKN:



Можно ведь упростить задачу. Вывести список, например первой сотни, наиболее часто употоребляемых в тексте ВСЕХ слов, ( включая слова с разноокончаниями и пр).

Подскажите программу, анализирующую текст

С эти-то никаких проблем нет:

читать дальше »

Код:

Код: Выделить всё

$sFile = "D:\Мои архивы\Литература\Русь и Орда\Karamih2.txt"
$hDictionary = @{}
if(Test-Path -Path $sFile) {
    (Get-Content -Path $sFile) -split '\.|,|!|;|"|-|:|\(|\)|\d| ' | ForEach-Object -Process {
        $hDictionary[$_] += 1
    }
    $hDictionary.Remove('')
    $hDictionary.GetEnumerator() | Sort-Object -Property Value -Descending
}

Цитата MKN:



отсортировать однокоренные и пр. слова...

Подскажите программу, анализирующую текст

Омонимы. Чтобы их разбирать — нужно определять смысл текста.