Что такое VectorSource и VCorpus в пакете 'tm' (Text Mining) в R

Я не совсем уверен, что именно VectorSource и VCorpus находятся в пакете 'tm'.

Документация по ним неясна, кто-нибудь может заставить меня понять в простых терминах?

«Корпус» представляет собой сборник текстовых документов.

VCorpus в tm относится к «изменчивому» корпусу, что означает, что корпус хранится в памяти и будет уничтожен, если уничтожен объект R, содержащий его.

Сравните это с PCorpus или Permanent Corpus, которые хранятся вне памяти, скажем, в БД.

Чтобы создать VCorpus с помощью tm, нам нужно передать объект «Source» в качестве параметра в метод VCorpus. Вы можете найти источники, доступные с помощью этого метода -
getSources ()

[1] «DataframeSource» «DirSource» «URISource» «VectorSource»
[5] «XMLSource» «ZipSource»

Источник абстрагирует входные местоположения, такие как каталог, URI и т. Д. VectorSource предназначен только для символьных векторов

Простой пример:

Скажем, у вас есть вектор символов -

input <- c («Это первая строка», «И вторая»)

Создать источник - vecSource <- VectorSource (вход)

Затем создайте корпус - VCorpus (vecSource)

Надеюсь это поможет. Вы можете прочитать больше здесь - https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf

В практическом плане существует большая разница между Corpusи VCorpus.

Corpusиспользуется SimpleCorpusпо умолчанию, что означает, что некоторые функции VCorpusне будут доступны. То, что сразу бросается в глаза, это то, что SimpleCorpusвы не сможете сохранить тире, подчеркивание или другие знаки пунктуации; SimpleCorpusили Corpusавтоматически удаляет их, VCorpusне делает. Существуют и другие ограничения, Corpusкоторые вы найдете в справке ?SimpleCorpus.

Вот пример:

# Read a text file from internet
filePath <- "http://www.sthda.com/sthda/RDoc/example-files/martin-luther-king-i-have-a-dream-speech.txt"
text <- readLines(filePath)

# load the data as a corpus
C.mlk <- Corpus(VectorSource(text))
C.mlk
V.mlk <- VCorpus(VectorSource(text))
V.mlk

Выход будет:

<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 46
<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 46

Если вы делаете осмотр объектов:

# inspect the content of the document
inspect(C.mlk[1:2])
inspect(V.mlk[1:2])

Вы заметите, что Corpusраспаковывает текст:

<<SimpleCorpus>>
Metadata:  corpus specific: 1, document level (indexed): 0
Content:  documents: 2
[1]                                                                                                                                            
[2] And so even though we face the difficulties of today and tomorrow, I still have a dream. It is a dream deeply rooted in the American dream.


<<VCorpus>>
Metadata:  corpus specific: 0, document level (indexed): 0
Content:  documents: 2
[[1]]
<<PlainTextDocument>>
Metadata:  7
Content:  chars: 0
[[2]]
<<PlainTextDocument>>
Metadata:  7
Content:  chars: 139

Пока VCorpusдержит это вместе внутри объекта.

Допустим, теперь вы делаете преобразование матрицы для обоих:

dtm.C.mlk <- DocumentTermMatrix(C.mlk)
length(dtm.C.mlk$dimnames$Terms)
# 168

dtm.V.mlk <- DocumentTermMatrix(V.mlk)
length(dtm.V.mlk$dimnames$Terms)
# 187

Наконец, давайте посмотрим на содержание. Это из Corpus:

grep("[[:punct:]]", dtm.C.mlk$dimnames$Terms, value = TRUE)
# character(0)

И из VCorpus:

grep("[[:punct:]]", dtm.V.mlk$dimnames$Terms, value = TRUE)

[1] "alabama,"       "almighty,"      "brotherhood."   "brothers."     
 [5] "california."    "catholics,"     "character."     "children,"     
 [9] "city,"          "colorado."      "creed:"         "day,"          
[13] "day."           "died,"          "dream."         "equal."        
[17] "exalted,"       "faith,"         "gentiles,"      "georgia,"      
[21] "georgia."       "hamlet,"        "hampshire."     "happens,"      
[25] "hope,"          "hope."          "injustice,"     "justice."      
[29] "last!"          "liberty,"       "low,"           "meaning:"      
[33] "men,"           "mississippi,"   "mississippi."   "mountainside," 
[37] "nation,"        "nullification," "oppression,"    "pennsylvania." 
[41] "plain,"         "pride,"         "racists,"       "ring!"         
[45] "ring,"          "ring."          "self-evident,"  "sing."         
[49] "snow-capped"    "spiritual:"     "straight;"      "tennessee."    
[53] "thee,"          "today!"         "together,"      "together."     
[57] "tomorrow,"      "true."          "york."

Посмотрите на слова с пунктуацией. Это огромная разница. Не так ли?