вызов четкой и карты вместе бросает NPE в искровую библиотеку

Я не уверен, что это ошибка, поэтому, если вы делаете что-то вроде этого

// d:spark.RDD[String] d.distinct().map(x => d.filter(_.equals(x))) 

вы получите Java NPE. Однако, если вы collect сразу после distinct , все будет хорошо.

Я использую искру 0.6.1.

2 Solutions collect form web for “вызов четкой и карты вместе бросает NPE в искровую библиотеку”

Spark не поддерживает вложенные RDD или пользовательские функции, которые относятся к другим RDD, следовательно, NullPointerException; см. эту тему в списке рассылки spark-users .

Похоже, ваш текущий код пытается сгруппировать элементы d по значению; вы можете сделать это эффективно с помощью groupBy() RDD groupBy() :

 scala> val d = sc.parallelize(Seq("Hello", "World", "Hello")) d: spark.RDD[java.lang.String] = spark.ParallelCollection@55c0c66a scala> d.groupBy(x => x).collect() res6: Array[(java.lang.String, Seq[java.lang.String])] = Array((World,ArrayBuffer(World)), (Hello,ArrayBuffer(Hello, Hello))) 

как пример windows, приведенный в руководстве по программированию streamа Spark 1.3.0

 val dataset: RDD[String, String] = ... val windowedStream = stream.window(Seconds(20))... val joinedStream = windowedStream.transform { rdd => rdd.join(dataset) } 

SPARK-5063 заставляет пример терпеть неудачу, поскольку соединение вызывается из метода преобразования на RDD

  • Объявление параметра Tuple и странность присваивания
  • Scala: короткая форма соответствия шаблону, которая возвращает Boolean
  • Что означает параметр: _ * в Scala?
  • Подписать CSR с помощью Bouncy Castle
  • Как загрузить локальный файл в sc.textFile вместо HDFS
  • Какова мотивация присвоения Scala для оценки Unit вместо присвоенного значения?
  • Почему массивы инвариантны, но списки ковариантны?
  • Как разбирать JSON в Scala с использованием стандартных classов Scala?
  • Определение UDF, который принимает массив объектов в Spark DataFrame?
  • Согласование шаблонов Scala с именем переменной нижнего регистра
  • Использование библиотеки Java с зарезервированными словами Scala
  • Interesting Posts

    Что такое «кеширующий» код?

    401 ответ на запрос CORS в IIS с включенным Windows Auth

    Заблокированная память на не виртуальной машине

    Сжатие .sparseimage

    Синий экран при использовании Ping

    Вращение изображения по Matlab без использования imrotate

    Как вызвать широковещательный приемник при включении / выключении gps?

    получение PID процесса, начатого Process.start ()

    Можете ли вы заархивировать файл из командной строки, используя только встроенную возможность Windows для zip-файлов?

    Бесплатный инструмент для отображения свойств аудио ogg в Windows 7 Explorer?

    Android-студия Gradle наращивает скорость

    Windows 7 не может получить доступ к ресурсу samba (ошибка 53 и сетевой путь не найден)

    Как я могу использовать frameworks анимации внутри canvasа?

    Заказ Chrome Tab?

    Как я могу настроить «локальный» домен, чтобы каждый из моих локальных сетей мог просматривать локально размещенный сайт?

    Давайте будем гением компьютера.