Tag: декомпрессия

Чтение целых текстовых файлов из сжатия в Spark

У меня есть следующая проблема: предположим, что у меня есть каталог, содержащий сжатые каталоги, которые содержат несколько файлов, хранящихся на HDFS. Я хочу создать RDD, состоящий из некоторых объектов типа T, то есть: context = new JavaSparkContext(conf); JavaPairRDD filesRDD = context.wholeTextFiles(inputDataPath); JavaPairRDD filesRDD = context.wholeTextFiles(inputDataPath); JavaRDD processingFiles = filesRDD.map(fileNameContent -> { // The name of […]

Давайте будем гением компьютера.