Java: разделение запятой строки, но игнорирование запятых в кавычках

У меня строка такая неопределенная:

foo,bar,c;qual="baz,blurb",d;junk="quux,syzygy" 

что я хочу разделить запятыми – но мне нужно игнорировать запятые в кавычках. Как я могу это сделать? Похоже, что метод regexp терпит неудачу; Я предполагаю, что могу вручную сканировать и вводить другой режим, когда вижу цитату, но было бы неплохо использовать существовавшие ранее библиотеки. ( edit : Я предполагаю, что я имел в виду библиотеки, которые уже являются частью JDK или уже являются частью обычно используемых библиотек, таких как Apache Commons.)

приведенная выше строка должна делиться на:

 foo bar c;qual="baz,blurb" d;junk="quux,syzygy" 

note: это НЕ файл CSV, это одна строка, содержащаяся в файле с большей общей структурой

Пытаться:

 public class Main { public static void main(String[] args) { String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; String[] tokens = line.split(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)", -1); for(String t : tokens) { System.out.println("> "+t); } } } 

Вывод:

 > foo > bar > c;qual="baz,blurb" > d;junk="quux,syzygy" 

Другими словами: разделение на запятую только в том случае, если эта запятая имеет нуль или четное число котировок перед ней .

Или, немного дружелюбнее для глаз:

 public class Main { public static void main(String[] args) { String line = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; String otherThanQuote = " [^\"] "; String quotedString = String.format(" \" %s* \" ", otherThanQuote); String regex = String.format("(?x) "+ // enable comments, ignore white spaces ", "+ // match a comma "(?= "+ // start positive look ahead " (?: "+ // start non-capturing group 1 " %s* "+ // match 'otherThanQuote' zero or more times " %s "+ // match 'quotedString' " )* "+ // end group 1 and repeat it zero or more times " %s* "+ // match 'otherThanQuote' " $ "+ // match the end of the string ") ", // stop positive look ahead otherThanQuote, quotedString, otherThanQuote); String[] tokens = line.split(regex, -1); for(String t : tokens) { System.out.println("> "+t); } } } 

который производит то же, что и в первом примере.

РЕДАКТИРОВАТЬ

Как упоминалось @MikeFHay в комментариях:

Я предпочитаю использовать разделитель Guava , поскольку он имеет более низкие значения по умолчанию (см. Обсуждение выше о пустых совпадениях, обрезанных String#split() , поэтому я сделал:

 Splitter.on(Pattern.compile(",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)")) 

Хотя мне нравятся регулярные выражения в целом, для такого рода зависящих от состояния токенизации я считаю, что простой парсер (который в этом случае намного проще, чем это слово может звучать), вероятно, является более чистым решением, в частности в отношении ремонтопригодности , например:

 String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; List result = new ArrayList(); int start = 0; boolean inQuotes = false; for (int current = 0; current < input.length(); current++) { if (input.charAt(current) == '\"') inQuotes = !inQuotes; // toggle state boolean atLastChar = (current == input.length() - 1); if(atLastChar) result.add(input.substring(start)); else if (input.charAt(current) == ',' && !inQuotes) { result.add(input.substring(start, current)); start = current + 1; } } 

Если вы не заботитесь о сохранении запятых внутри кавычек, вы можете упростить этот подход (без обработки начального индекса, без специального символа ), заменив запятые на кавычки чем-то другим, а затем разделив запятыми:

 String input = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\""; StringBuilder builder = new StringBuilder(input); boolean inQuotes = false; for (int currentIndex = 0; currentIndex < builder.length(); currentIndex++) { char currentChar = builder.charAt(currentIndex); if (currentChar == '\"') inQuotes = !inQuotes; // toggle state if (currentChar == ',' && inQuotes) { builder.setCharAt(currentIndex, ';'); // or '♡', and replace later } } List result = Arrays.asList(builder.toString().split(",")); 

http://sourceforge.net/projects/javacsv/

https://github.com/pupi1985/JavaCSV-Reloaded (fork предыдущей библиотеки, которая позволит сгенерированным выводам иметь терминаторы строк Windows \r\n если не работает Windows)

http://opencsv.sourceforge.net/

API CSV для Java

Можете ли вы порекомендовать библиотеку Java для чтения (и, возможно, записи) файлов CSV?

Java lib или приложение для преобразования CSV в XML-файл?

Я бы не посоветовал регулярный запрос от Барта, я нашел решение для синтаксического анализа лучше в этом конкретном случае (как предложил Фабиан). Я пробовал решение regex и собственную реализацию синтаксического анализа. Я обнаружил, что:

  1. Анализ намного быстрее, чем расщепление с регулярным выражением с обратными ссылками – в 20 раз быстрее для коротких строк, ~ 40 раз быстрее для длинных строк.
  2. Regex не может найти пустую строку после последней запятой. Это было не в оригинальном вопросе, хотя это было моим требованием.

Мое решение и тест ниже.

 String tested = "foo,bar,c;qual=\"baz,blurb\",d;junk=\"quux,syzygy\","; long start = System.nanoTime(); String[] tokens = tested.split(",(?=([^\"]*\"[^\"]*\")*[^\"]*$)"); long timeWithSplitting = System.nanoTime() - start; start = System.nanoTime(); List tokensList = new ArrayList(); boolean inQuotes = false; StringBuilder b = new StringBuilder(); for (char c : tested.toCharArray()) { switch (c) { case ',': if (inQuotes) { b.append(c); } else { tokensList.add(b.toString()); b = new StringBuilder(); } break; case '\"': inQuotes = !inQuotes; default: b.append(c); break; } } tokensList.add(b.toString()); long timeWithParsing = System.nanoTime() - start; System.out.println(Arrays.toString(tokens)); System.out.println(tokensList.toString()); System.out.printf("Time with splitting:\t%10d\n",timeWithSplitting); System.out.printf("Time with parsing:\t%10d\n",timeWithParsing); 

Конечно, вы можете изменить переключатель на else-ifs в этом fragmentе, если вы чувствуете себя некомфортно с его уродством. Обратите внимание, что после переключения с разделителем отсутствует перерыв. StringBuilder был выбран вместо StringBuffer по дизайну для увеличения скорости, когда безопасность streamов не имеет значения.

Попробуйте найти как (?!\"),(?!\") . Это должно соответствовать , которое не окружено " .

Вы находитесь в этой досадной граничной области, где регулярные выражения почти не будут делать (как было указано Бартом, ускользание цитат сделало бы жизнь тяжелой), и все же полноразмерный парсер кажется излишним.

Если вам скоро понадобится большая сложность, я бы поискал библиотеку парсера. Например, этот

Я был нетерпелив и решил не ждать ответов … для справки не выглядит так сложно сделать что-то вроде этого (что работает для моего приложения, мне не нужно беспокоиться об экранированных цитатах, поскольку материал в кавычках ограничивается несколькими ограниченными формами):

 final static private Pattern splitSearchPattern = Pattern.compile("[\",]"); private List splitByCommasNotInQuotes(String s) { if (s == null) return Collections.emptyList(); List list = new ArrayList(); Matcher m = splitSearchPattern.matcher(s); int pos = 0; boolean quoteMode = false; while (m.find()) { String sep = m.group(); if ("\"".equals(sep)) { quoteMode = !quoteMode; } else if (!quoteMode && ",".equals(sep)) { int toPos = m.start(); list.add(s.substring(pos, toPos)); pos = m.end(); } } if (pos < s.length()) list.add(s.substring(pos)); return list; } 

(упражнение для читателя: используйте для обработки скрытых цитат, ища обратную косую черту).

Вместо того, чтобы использовать lookahead и другое сумасшедшее регулярное выражение, сначала вытащите кавычки. То есть для каждой группировки котировок замените эту группу на __IDENTIFIER_1 или какой-либо другой индикатор и сопоставьте эту группировку с картой строки, строки.

После того, как вы разделите запятую, замените все сопоставленные идентификаторы на исходные значения строк.

Я бы сделал что-то вроде этого:

 boolean foundQuote = false; if(charAtIndex(currentStringIndex) == '"') { foundQuote = true; } if(foundQuote == true) { //do nothing } else { string[] split = currentString.split(','); } 
  • История за названием «String»
  • Почему strncpy небезопасен?
  • Чтение строк по строкам
  • Как динамически распределять пространство памяти для строки и получать эту строку от пользователя?
  • C # Разделение строк?
  • Как бы вы подсчитали вхождения строки (на самом деле char) внутри строки?
  • Объединение вектора строк / символа
  • Как получить значение переменной, если имя переменной хранится как строка?
  • Обратное упорядочение слов в строке
  • Как написать безопасный для паролей class?
  • Java-эквиваленты C # String.Format () и String.Join ()
  • Давайте будем гением компьютера.