Tag: tokenize

Ищете четкое определение того, что такое «токенизатор», «парсер» и «лексеры» и как они связаны друг с другом и используются?

Я ищу четкое определение того, что такое «токенизатор», «парсер» и «лексер» и как они связаны друг с другом (например, использует ли парсер токенизатор или наоборот)? Мне нужно создать программу, которая будет проходить через исходные файлы c / h, чтобы извлечь декларацию и определения данных. Я искал примеры и могу найти некоторую информацию, но я действительно […]

Тонирование и сортировка с помощью XSLT 1.0

У меня есть строка с разделителями (разделенная пробелами в моем примере ниже), что мне нужно tokenize, сортировать, а затем объединиться, и мне нужно сделать все это с помощью XSLT 1.0. Как мне это сделать? Я знаю, что мне нужно использовать xsl:sort так или иначе, но все, что я пробовал, дало мне некоторую ошибку. Например, если […]

Шаблоны C ++ Угловые скобки Pitfall – Что такое C ++ 11?

В C ++ 11 это синтаксис: vector<vector> MyMatrix; тогда как раньше это должно было быть написано так (обратите внимание на пробел): vector<vector > MyMatrix; Мой вопрос в том, что такое исправление, которое стандарт использует для первой версии? Может ли быть так же просто, как сделать > токен вместо >> ? Если это не так, что […]

Ошибка Tokenizing: java.util.regex.PatternSyntaxException, оборванный метасимвол ‘*’

Я использую split() для tokenize строки, разделенной * следующим образом: name*lastName*ID*school*age % name*lastName*ID*school*age % name*lastName*ID*school*age Я читаю это из файла с именем «entrada.al», используя этот код: static void leer() { try { String ruta=”entrada.al”; File myFile = new File (ruta); FileReader fileReader = new FileReader(myFile); BufferedReader reader = new BufferedReader(fileReader); String line = null; while […]

Разделение разделенной запятой строки в PL / SQL хранимой процедуре

У меня CSV строка 100.01.200.02.300.03, которую мне нужно передать в хранимую процедуру PL / SQL в Oracle. Внутри proc мне нужно вставить эти значения в столбец Number в таблице. Для этого я получил рабочий подход отсюда: Как лучше всего разбить строки csv в oracle 9i [2] Использование SQL-соединения по уровню.]. Теперь у меня другое требование. […]

Преобразование разделенной запятой строки в массив в PL / SQL

Как преобразовать строку, разделенную запятой, в массив? У меня есть вход « 1,2,3′ , и мне нужно преобразовать его в массив.

Как получить токен из Lucene TokenStream?

Я пытаюсь использовать Apache Lucene для токенизации, и я смущен в процессе получения токенов из TokenStream . Хуже всего то, что я смотрю комментарии в JavaDocs, которые затрагивают мой вопрос. http://lucene.apache.org/java/3_0_1/api/core/org/apache/lucene/analysis/TokenStream.html#incrementToken%28%29 Так или иначе, предполагается, что используется AttributeSource Source, а не Token s. Я полностью в недоумении. Может ли кто-нибудь объяснить, как получить токен-подобную информацию […]

Как читать ввод по-символам в Java?

Я привык к c-style getchar() , но похоже, что нет ничего сопоставимого для java. Я создаю лексический анализатор, и мне нужно прочитать входной символ по символу. Я знаю, что я могу использовать сканер для сканирования в токене или строке и анализировать через маркер char-by-char, но это кажется громоздким для строк, охватывающих несколько строк. Есть ли […]

Токенизация строк в C

Я пытаюсь сделать токенизацию строки с использованием SPACE в качестве разделителя, но она не работает. Есть ли у кого-нибудь предложение о том, почему он не работает? Изменить: токенизация с использованием: strtok(string, ” “); Код выглядит следующим образом: pch = strtok (str,” “); while (pch != NULL) { printf (“%s\n”,pch); pch = strtok (NULL, ” “); […]

Вложенная функция функции strtok в C

У меня есть строка вроде этого: a;b;c;d;e f;g;h;i;j 1;2;3;4;5 и я хочу проанализировать элемент по элементу. Я использовал вложенную функцию strtok, но она просто разбивает первую строку и делает null указателем маркера. Как я могу это преодолеть? Вот код: token = strtok(str, “\n”); while(token != NULL && *token != EOF) { char a[128], b[128]; strcpy(a,token); […]