Camspiers\StatisticalClassifier\Tokenizer\Word::tokenize PHP 메소드

tokenize() 공개 메소드

public tokenize ( $document )
    public function tokenize($document)
    {
        return preg_split('/\\PL+/u', $document, null, PREG_SPLIT_NO_EMPTY);
    }