WordPress как на ладони
Недорогой хостинг для сайтов на WordPress: wordpress.jino.ru Авторские Темы для WordPress
функция не описана

Symfony\Component\CssSelector\Parser\Tokenizer

Tokenizer::tokenize() public WC 1.0

Tokenize selector source code.

{} Это метод класса: Tokenizer{}

Хуков нет.

Возвращает

TokenStream.

Использование

$Tokenizer = new Tokenizer();
$Tokenizer->tokenize( $reader );
$reader(Reader) (обязательный)
-

Код Tokenizer::tokenize() WC 5.4.1

<?php
public function tokenize(Reader $reader)
{
    $stream = new TokenStream();

    while (!$reader->isEOF()) {
        foreach ($this->handlers as $handler) {
            if ($handler->handle($reader, $stream)) {
                continue 2;
            }
        }

        $stream->push(new Token(Token::TYPE_DELIMITER, $reader->getSubstring(1), $reader->getPosition()));
        $reader->moveForward(1);
    }

    return $stream
        ->push(new Token(Token::TYPE_FILE_END, null, $reader->getPosition()))
        ->freeze();
}