Tag: hadoop

Поведение параметра «mapred.min.split.size» в HDFS

Параметр «mapred.min.split.size» изменяет размер блока, в котором файл был написан ранее? Предполагая ситуацию, когда I, при запуске моей задачи, передают параметр «mapred.min.split.size» со значением 134217728 (128 МБ). Что правильно сказать о том, что происходит? 1 – каждый процесс MAP эквивалентен 2 блокам HDFS (при условии, что каждый блок 64MB); 2 – Будет новое разделение моего […]

Изменить размер блока файла dfs

Моя карта в настоящее время неэффективна при анализе одного определенного набора файлов (всего 2 ТБ). Я хотел бы resize блоков файлов в Hadoop dfs (от 64 МБ до 128 МБ). Я не могу найти, как это сделать в документации только для одного набора файлов, а не для всего кластера. Какая команда изменяет размер блока при […]

Default Namenode порт HDFS – 50070. Но я столкнулся в некоторых местах 8020 или 9000

Когда я настраиваю кластер hadoop, я читаю namenode работает на 50070, и я настроил соответственно, и он работает нормально. Но в некоторых книгах я столкнулся с именем узла: hdfs://localhost:9000/ или hdfs://localhost:8020 Что именно представляет собой правильный номер для установки порта namenode?

Почему искровая shell не работает с NullPointerException?

Я пытаюсь выполнить spark-shell в Windows 10, но я постоянно получаю эту ошибку каждый раз, когда я ее запускаю. Я использовал как последнюю версию, так и версию spark-1.5.0-bin-hadoop2.4. 15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies) 15/09/22 18:46:24 WARN Connection: BoneCP specified but not present in CLASSPATH (or […]

Hadoop на OSX «Невозможно загрузить информацию о царстве из SCDynamicStore»

Я получаю эту ошибку при запуске Hadoop на OSX 10.7: Невозможно загрузить информацию о царстве из SCDynamicStore: org.apache.hadoop.hdfs.server.namenode.SafeModeException: не удается создать каталог / пользователь / travis / input / conf. Узел имени находится в безопасном режиме. Похоже, что это не вызывает проблем с функциональностью Hadoop.

Как вычислить точную медианную с Apache Spark?

Эта страница содержит некоторые статистические функции (среднее значение, stdev, дисперсия и т. Д.), Но не содержит медианы. Как я могу рассчитать точную медианную? благодаря

Самый простой способ установить зависимости Python от узлов-исполнителей Spark?

Я понимаю, что вы можете отправлять отдельные файлы в зависимости от программ Python Spark. Но как насчет полноценных библиотек (например, numpy)? Есть ли у Spark возможность использовать предоставленный менеджер пакетов (например, pip) для установки зависимостей библиотек? Или это нужно сделать вручную до запуска программ Spark? Если ответ является ручным, то каковы методы «лучшей практики» для […]

Доступ к счетчику картографа от редуктора

Мне нужно получить доступ к счетчикам из моего картографа в моем редукторе. Это возможно? Если да, то как это делается? В качестве примера: мой картограф: public class CounterMapper extends Mapper { static enum TestCounters { TEST } @Override protected void map(Text key, Text value, Context context) throws IOException, InterruptedException { context.getCounter(TestCounters.TEST).increment(1); context.write(key, value); } } […]

Настройка кластера Hadoop – java.net.ConnectException: соединение отклонено

Я хочу настроить хаоо-кластер в псевдораспределенном режиме. Мне удалось выполнить все шаги настройки, включая запуск Namenode, Datanode, Jobtracker и Tasktracker на моей машине. Затем я попытался запустить примерные программы и столкнулся с ошибкой java.net.ConnectException: Connection refused . Я отступил на первые шаги по выполнению некоторых операций в автономном режиме и столкнулся с одной и той […]

Как создать / запустить эту простую программу Mahout без получения исключений?

Я хотел бы запустить этот код, который я нашел в Mahout In Action: package org.help; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Text; import org.apache.mahout.math.DenseVector; import org.apache.mahout.math.NamedVector; import org.apache.mahout.math.VectorWritable; public class SeqPrep { public static void main(String args[]) throws IOException{ List apples = new ArrayList(); NamedVector apple; […]

Interesting Posts

Android: установить программный код .apk

В C #, как я могу узнать тип файла из байта ?

Как рассчитать количество строк (и столбцов в каждой строке), которые текст принимает в JTextArea?

Откройте два экземпляра одного PDF-файла в Mac OS X Preview

Случайно dd'ed изображение к неправильному диску / переписал таблицу разделов + начало раздела NTFS

Что такое хороший Java API для создания документов Word?

Одиночные кавычки и двойные кавычки в C или C ++

Поиск всех возможных комбинаций чисел для достижения заданной суммы

Можно ли сериализовать и десериализовать class в C ++?

2 идентичных ПК. Могу ли я поменять один жесткий диск между ними и ожидать, что Windows 7 / XP будет работать?

простой HTTP-сервер в Java с использованием только Java SE API

Оператор LIKE в LINQ

Использует ли final для переменных в Java улучшенную сборку мусора?

Espresso: Thread.sleep ();

Как обратиться к документации Microsoft.Office.Interop.Excel?

Давайте будем гением компьютера.