Hadoop на OSX «Невозможно загрузить информацию о царстве из SCDynamicStore»

Я получаю эту ошибку при запуске Hadoop на OSX 10.7:

Невозможно загрузить информацию о царстве из SCDynamicStore: org.apache.hadoop.hdfs.server.namenode.SafeModeException: не удается создать каталог / пользователь / travis / input / conf. Узел имени находится в безопасном режиме.

Похоже, что это не вызывает проблем с функциональностью Hadoop.

Предложение Мэтью Бакетта в HADOOP-7489 работало для меня. Добавьте в файл hadoop-env.sh следующее:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

В качестве обновления к этому (и для решения .realm Дэвида Уильямса о Java 1.7), я испытал, что только установка свойств .realm и .kdc была недостаточной для остановки сообщения о нарушении.

Однако, изучив исходный файл, который опускает сообщение, я смог определить, что .krb5.conf свойства сообщения. /dev/null было достаточно установить свойство .krb5.conf для подавления сообщения. Очевидно, что если у вас действительно есть конфигурация krb5, лучше указать фактический путь к ней.

В целом мой fragment hadoop-env.sh выглядит следующим образом:

 HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc=" HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null" 

У меня такая же проблема для OS X 10.8.2, Java версии 1.7.0_21. К сожалению, вышеупомянутое решение не устраняет проблему с этой версией 🙁

Изменить: я нашел решение этого, основываясь на намеке, который я видел здесь . В файле hadoop-env.sh измените настройку JAVA_HOME на:

 export JAVA_HOME=`/usr/libexec/java_home -v 1.6` 

(Обратите внимание на могильные цитаты здесь.)

FYI, вы можете упростить это, указав только следующее:

 export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc=" 

Это также упоминается в HADOOP-7489.

У меня была аналогичная проблема на MacOS, и после попытки использования разных комбинаций это то, что работало для меня повсеместно (как Hadoop 1.2, так и 2.2):

в $HADOOP_HOME/conf/hadoop-env.sh установите следующие строки:

 # Set Hadoop-specific environment variables here. export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc=" # The java implementation to use. export JAVA_HOME=`/usr/libexec/java_home -v 1.6` 

Надеюсь, это поможет

а также добавить

YARN_OPTS="$YARN_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

перед выполнением start -yarn.sh (или start-all.sh) на cdh4.1.3

У меня была эта ошибка при отладке MapReduce от Eclipse, но это была красная селедка. Реальная проблема заключалась в том, что я должен был удаленно отлаживать, добавляя параметры отладки в JAVA_OPTS

 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044 

А затем создайте новый профиль «Удаленное приложение Java» в конфигурации отладки, указывающей на порт 1044.

В этой статье содержится более подробная информация об отладочной стороне вещей. Речь идет о Solr, но работает с Hadoop одинаково. Если у вас есть проблемы, напишите сообщение ниже, и я постараюсь помочь.

  • Mac OS X (Lion) Chrome: ярлык для «Поиск в Google»
  • Как сделать брекеты с клавиатурой Apple в Windows?
  • Можно ли запросить базу данных служб запуска для приложений, которые откроют произвольный файл или тип UTI?
  • Дом Maven (M2_HOME) не подхвачен IntelliJ IDEA
  • Компилировать OpenCV (2.3.1+) для OS X Lion / Mountain Lion с Xcode
  • Crontab - / bin / sh: wget: команда не найдена
  • Firefox. Как изменить размер шрифта контекстного меню правой кнопки мыши?
  • Внешний привод вызывает ошибки прожектора и индексации
  • Mac OSX Lion DNS порядок поиска
  • Изменение имени пространства в Mac OS X Lion
  • Mac osx lion - размер файла меньше, чем 1mb- не загружается
  • Interesting Posts

    jquery, добавить / удалить class при изменении ширины windows

    Perl demonize с дочерними демонами

    Ошибка кодового знака в macOS High Sierra Xcode – ресурс fork, информация Finder или подобный детрит не разрешены

    Как установить цвет фона операции на белый программным путем?

    «Смотреть» вывод команды до тех пор, пока не будет наблюдаться определенная строка, а затем выйдите

    Как получить список файлов в каталоге в сценарии оболочки?

    proguard hell – не может найти ссылочный class

    Как проверить, существует ли URL-адрес или возвращает 404 с Java?

    Как получить параметры запроса для внутренней ссылки на страницу в JQuery Mobile

    Сортировка списка Java: есть ли способ сохранить список, который автоматически сортируется автоматически, например TreeMap?

    Обработка XSLT с помощью Java?

    Специальные инструкции для виртуальной машины CentOS VBox?

    Microsoft Outlook: Экспорт списка открытых в настоящее время файлов PST

    Как отключить предупреждение ненадежного соединения Firefox с использованием Selenium?

    Как узнать, что мое приложение удалено с устройства …?

    Давайте будем гением компьютера.