Как хранить и сохранять множество данных?

Простой ответ: несколько копий . Независимо от того, что вы делаете, не доверяйте ни одному медиа, местоположению или сервису.

Лично я в настоящее время использую внешние (USB-подключенные) жесткие диски для целей резервного копирования. Привод 2-3 ТБ можно получить достаточно дешево и обеспечит вам достаточную емкость для хранения данных не только на данный момент, но и учитывает любые разумные будущие потребности. При физическом размере примерно крупной книги в мягкой обложке он будет легко содержать содержимое 200-300 фильмов DVD без дальнейшего сжатия. Купите два или три, если вы параноидны, предпочтительно один из которых от совершенно другого производителя (возможно, захотите, например, смешать Seagate и Western Digital, поскольку они вряд ли будут использовать диски с одинаковыми конструктивными или производственными дефектами) и Держите хотя бы один из них в физически раздельном месте – банковская сейфовая ячейка – относительно дешевая альтернатива, которая также обеспечит вам физическую безопасность, но даже просто хранить один экземпляр на работе или в доме друга почти всегда будет работать так же, как и Что ж. Если вы можете договориться, чтобы иметь возможность обновить копию вне сайта, не доведя ее до своего места, это еще лучше. Если какой-либо контент является конфиденциальным, учтите это при планировании обработки копий за пределами сайта.

Также имейте в виду, что количество данных, о которых вы говорите (300 ГБ, считающихся более или менее «безвозвратными», еще 500 ГБ «приятно держать», но которые в крайнем случае вы могли бы получить из других источников, таких как подержанные Фильмы DVD) на самом деле не так уж много. В настоящее время у меня в общей сложности около 100 ГБ цифровых фотографий, и мне не сложно добавить в течение одного дня примерно 10-15 ГБ к этому – и я сделал это несколько раз, отправляясь на события, где я Были причины делать много фотографий. Многие из этих фотографий по-разному подвержены сомнительному качеству, многие из них являются мирскими (приятно иметь, но в крайнем случае нет ничего особенного в них), но некоторые из них на самом деле являются неприемлемыми с точки зрения контента, а также Хорошее качество. Однако для целей резервного копирования я обрабатываю их одинаково: несколько копий. У меня было несколько жестких дисков, и я несколько раз терял данные, которые мне действительно нравились, в целом эта стратегия означала, что я могу восстановить самую последнюю резервную копию нового диска и быть на моем Веселый путь. Если живая копия не удается восстановить резервную копию на заменяющий основной диск; Если резервный диск выходит из строя, попробуйте заменить резервный диск и создайте новую резервную копию.

Если вы идете по нескольким маршрутам носителей, тоже не забывайте следить за каждым из признаков деградации. Это довольно быстро и легко сделать хэш SHA1 для всех файлов на диске и сравнить результаты, а также сохранить список хешей в нескольких местах. Таким образом, даже если вы получите ошибки чтения в какой-то момент, вы можете определить, какая копия «хороша».

Вы должны учитывать, насколько ценны данные, которые вы создаете для себя. Я бы разделил его как минимум на 2 категории:

1. незаменимый
2. Хотелось бы сохранить, но не погибнет, если данные будут потеряны.

стратегия

Для категории 1 : я бы предложил одну из популярных онлайн-систем хранения (Amazon S3, Dropbox и т. Д.). Здесь вы платите за кого-то, кто поможет вам управлять резервной копией, а также обеспечить более долгосрочный доступ и более легкий доступ. В противном случае следуйте рекомендациям по категории 2 и убедитесь, что существует правильная избыточность данных, и берется забота. Предполагая, что это меньший процент от общей суммы в 800 Гб.

Для категории 2 : это ваше решение о том, сколько стоит вкладывать средства и время для загрузки данных в Интернете. По этой причине я даже предлагаю вам использовать большой жесткий диск для резервного копирования всех данных и сохранить этот диск, отсоединенный от ПК, и просто помните, что он имеет пожизненную связь, связанную с ПК, который поддерживает современные технологии, например SATA. Затем вы можете переносить данные на новый диск / новую технологию в будущем. Жесткий диск 1 или 2 ТБ достаточно недорогой и теперь будет охватывать ваши данные и в краткосрочной перспективе.

избыточность

Несколько дисков с одинаковыми данными будут вашей избыточности, что также может быть даже сохранено «вне сайта», если вы действительно обеспокоены безопасностью данных.

Безопасность

В качестве дополнительной функции, если вы пытаетесь защитить данные от несанкционированного доступа, зашифруйте их локально перед загрузкой в ​​Интернете и / или хранением на HDD. Что-то вроде TrueCrypt будет идеальным

Во-первых, подумайте о том, как вы можете потерять свои данные, и решите, с чего вы хотите защитить. Некоторые примеры:

• Случайно удалить что-то
• Жесткие диски
• Ошибка программного обеспечения или оборудования
• вредоносные программы
• кража
• Огонь
• Стихийное бедствие (пожар, наводнение, землетрясение, вулкан, молния и т. Д.)
• Изъятие правительства

В моей жизни я потерял много данных, но только по первым двум причинам в этом списке.

Жесткие диски компактны, хранят много данных, становятся все больше и больше доступны, не требуют специального оборудования для использования, дешево и дешевле (затопление в Таиланде не выдерживает).

Я сохраняю все свои данные на одном диске; Второй USB-накопитель содержит регулярные автоматические резервные копии; Третий идентичный USB-накопитель находится за пределами площадки (на работе или в сейфе хорошо). Ежемесячно я переношу текущий резервный диск в удаленное местоположение и переношу другой диск.

Все распад носителей; Единственный способ убедиться, что ваши данные хороши, – это использовать его. В рамках этой ежемесячной процедуры я выбираю произвольный файл и восстанавливаю, если из моей резервной копии.

У меня была такая же проблема, как и у вас, и я долго смотрел на решение. У многих NAS-накопителей есть 2 отсека hdd .. мне нужно больше .. но у этого всегда был большой ценовой тег на нем.

Но потом я нашел это!

• 4 SATA-2 BAYS (без горячей замены) макс. 8TB (моддинг может обеспечить больше места)
• 1 SATA ontop для CDROM / SYSTEM HDD, работающий на DMA33
• ESATA на заднем плане
• 4 USB на FRONT! 2 НАЗАД
• USB INSIDE (где дверь – так что вы загружаете USB-накопитель и не торчаете)
• 8 ГБ MAX DDR3!
• Аппаратный встроенный SATA RAID 0/1

Спецификация продукта

Я купил у меня за 100 фунтов стерлингов (была сделка с HP), но нормальная цена составляет 200 фунтов стерлингов – все еще половина цены многих других NAS .. И! Его полноценный процессор! 1,6 ГГц Dual Core AMD (специальный тип, который использует малую мощность)

Я не мог поверить своим волшебным глазным шарам!

И что? Это то, что

Я перешел на FreeNAS и установил freenas7 – я знаю, что FreeNAS 8 отсутствует .. но он, похоже, разжевывает память. Но драйвер ZFS выделяется более стабильно и быстрее на этом .. Таким образом, выбор за вами.

Я установил 4x1TB и использовал RAIDZ, аналогичный RAID-5 на ZFS (у сервера HP также есть аппаратный RAID- прием (0,1) .. но драйвер не работает на freenas7 🙁 – но работает на Windows Essentials!)

Поэтому я получил 3 ТБ памяти с 1 избыточным жестким диском ( RAID-5 )

Я забыл упомянуть, что в нем есть полный слот PCI-E? (Низкий профиль) Вот пик подхалима в MB и хороший USB-разъем прямо на mobo

Моддинг

• Здесь вы можете разместить до 6 3,5-дюймовых дисков. Используйте тонкий оптический дисковод / 3,5-дюймовый адаптер для DVD-отсека, а затем установите другой за светлый конус HP с небольшой работой dremel.

• ОК, и если этого недостаточно … то как насчет 19 ТБ?

• И я получил свое «я», поэтому уволился, и начал писать свою собственную панель инструментов, и, надеюсь, будет урок о том, как настроить сервер uber freenas здесь.

-EDIT АВГУСТ 2012

Я нашел это сообщение, в котором есть раздел, как взломать BIOS и включить дополнительный порт CD-ROM для работы на SATA с пропускной способностью 1,5 ГБ! – ДА! Я сделал это и хорошо работал.

Ну, если вы серьезно относитесь к сохранению ваших данных, я бы предложил вам построить два блока NAS из недорогих частей компьютера. Аппаратное обеспечение не должно быть кратковременным, просто доступным для дисков Serrabyte SATA. Вы можете использовать один из множества вариантов UNIX / Linux или старую версию Windows в качестве операционной системы. Затем загрузите свои DVD-диски и файлы на этот аппарат, а затем скопируйте их в другой. Вам придется держать обе системы синхронизированными друг с другом в некотором роде один раз в день, неделю или месяц в зависимости от вашего уровня паранойи.

Это лучше, чем ленты или Blu-ray, поскольку данные легко доступны, и вы будете иметь две копии, плавающие вокруг. Время от времени вам придется сканировать жесткие диски NAS и решить, нужно ли их заменять, поскольку аппаратное обеспечение не работает.

Я перешел к той же идее «Что делать, много раз, и конечные результаты всегда одинаковы».

CD-R никогда не подводил меня со временем, хороший компакт-диск даже плохой, данные в основном там по возрасту. Низкая плотность. Из-за этого DVD-R, хотя и не очень, даже очень хорошие ожоги, плотность данных высока, и из-за этого выше вероятность отказа. Менее качественные оптические носители являются пластиковыми (например), и весь пластик становится более хрупким, и все, что они удерживают вместе, в конечном итоге терпит неудачу. Даже отличные оптические качества начинают проявлять признаки расслаивания через много времени. , , , CD вытащил бы его, но это значит, что он маленький, а DVD – это выбор (вовремя), для меня это не вариант. Подумайте о том, чтобы поместить ваши самые ценные изображения на 2X на компакт-диски с очень хорошим качеством с очень медленным хорошим ожогом. Они будут длиться дольше, чем ваши печатные материалы InkJet 🙂

Blu-ray-R, Burned blu-rays 🙂 Мне даже не нужно анализировать, плотность данных намного выше, в каком-то магазине купили «Glass mastered» blu-ray, у которых были неудачи за короткое время существования. Простой отпечаток пальца. Burned, многие пользователи обнаружили, что их Blu-ray Burns, в последний раз, не говоря уже о 10 лет.

Лента, получившая много кассеты, правильно хранилась, действительно, на 10-20 лет. Если кто-нибудь захочет показать мне, где я могу получить блок Frilling tape, для которого были эти ленты, я мог бы даже получить доступ к их данным, предполагая, что он использовал те же шаблоны чтения, что и 15 лет назад. Изменения ленты, изменение размера ленты и ленточные машины меняются. Средства массовой информации я хранимая на нем в штрафном 🙂 Если бы я продолжал кропотливо переместить эти данные ни к чему было бы полезно, прямо сейчас в качестве Полезной записи Wire 🙂

Облако? Не вариант для меня. В то время как они будут излишними излишними. Это не данные Thier, заставляйте их заботиться 🙂 Часто вы также соглашаетесь с тем, что теперь у них есть данные, насколько вы согласны с тем, что ваши данные могут включать в себя их собственные. Сегодня мои данные есть, завтра его выкупит кто-то или мертвая ссылка 🙂 Просто не отставая от изменений в TOU, было бы сложнее, чем сама передача. Добавьте ограничения пропускной способности, количество данных и отсутствие скорости. Не произойдет для меня.

Жесткий диск.

1) Ничто не навсегда, если мне нужно продолжать возиться с ним, чтобы сохранить его в живых, и я не буду платить за час :-), чтобы справиться с этим. Тогда было бы неплохо, если он сдвинет 50 Мбайт / с вместо 3.

2) Рабочий диск. Мне самому очень повезло с жесткими дисками, что еще было немного хтоточно с точностью до передачи и количества и использования. Пока он не был выделен на 4 года или плохо лечился.

3) Хранение накопителя, у меня тоже были проблемы с нулем. Правильно сохраняйте диски такими же, как лента и другие носители. Я могу разбудить его после того, как его припарковали на 10 лет, и он не действует иначе.

Но люди, которые хранят больше дисков, чем я, и могут не хранить их должным образом, могут получить жесткий замок на двигателях. Мотор не вращается из-за того, что он так долго припаркован. Влажность и окисление могут быть большими факторами. Скажите, что человек жил в тропическом лесу рядом с соленым океаном, привод не на 100% запечатан. Помогло бы небольшое осушение, или крупное уплотнение с помощью кремнезема и даже удалителей O2. Должны быть учтены влаги, дорожные пленки, дым, кухонная раковина и все другие вещи, которые могут скользить в крошечные отверстия.

У меня есть лучшая удача, скорость, совместимость и время с жестким диском, даже если другие вещи не удались. У него есть собственный встроенный читатель :-). Это всего лишь вопрос наличия (по крайней мере) 2.

Мой терой 2 HD: (который не работал для 2dvds)

A) один рабочий, который остается в системе, имеет право прожить 3-4 года, контролируется, подвергается возможному вирусу, «известен», он просматривается и используется, блокировка двигателя не может, но он может каркать время. Он поддерживается, обновляется, я знаю, если начнет сбой. Я могу только надеяться, что это не сработает, потому что они это делают. Я стараюсь не позволять им гнить на лозе.

B) Один в коробке, один, который остается в течение длительного времени. Он не страдает от времени разгона или изнашивания, но он также не стоит на лету. Этот второй жесткий диск может быть извлечен из хранилища, обновлен, развернут немного, чтобы он не запирался и проверял, как это делается. Будьте уверены, что какой-то удобный внешний ящик или очень хорошо хранится в статическом пакете с адсорберами на более длительные сроки.

Время от времени, будь то 1 неделя или 1 год, рабочий диск и накопитель могут быть обновлены / синхронизированы.

Это просто оставляет C), сохраняя его любым другим способом. И только небольшие части моей системы имеют такую ​​ценность.

Это мой план до сих пор, и без какого-либо плана (до этого) это было тем, что сработало, когда другие потерпели неудачу. Если бы мои другие данные были ценными для SOOO на других медианах, я бы использовал для этого больше методов и продолжал шить.

Каким бы ни был метод, единственное, что верно во всех случаях, если вы его любите, это будет труд любви, чтобы сохранить его навсегда. Когда они выходят с хранилищем Crystal Media, убедитесь, что вы тоже наложили на него копию 🙂

Уже говорилось пару раз: ничего действительно не существует, если это не в трех экземплярах в двух разных форматах, и одна из копий должна быть вне сайта.

Таким образом, вы можете иметь хотя бы одну читаемую копию. Не полагайтесь на аппаратное NAS и т. Д., Если у них есть проприетарное программное обеспечение (большинство из них). Когда аппаратные сбои вы, вероятно, еще не найдете то же оборудование модели …

Я предлагаю вам пойти с простыми USB-дисками , но некоторые из них. Возьмите копию для работы и защититесь от кражи или пожара дома (не все яйца в одной корзине). Если параноик удаляет двойные копии с сайта.

Пусть диски разворачиваются и проверяют их каждые три-шесть месяцев. Вы хотите знать, перестают ли они работать. Обычно диски не очень хорошо предупреждают заранее, пока не идут плохо. SMART действительно не работает так хорошо.

Я также предлагаю использовать md5sum или какую-либо другую программу, которая может вычислять контрольные суммы для каждого файла, который у вас есть . Проверяйте эти хэш-суммы время от времени. Если файл поврежден, контрольные суммы не будут совпадать. Тогда вы знаете и можете действовать соответствующим образом. Без контрольных сумм файлы будут повреждены, если вы не знаете об этом. Вы считаете, что файлы в порядке, но это не так.

Если действительно параноид не полагается только на файлы NTFS, FAT32, HFS + или другой файловой системы. Используйте несколько. Кто знает, может быть, у вас больше не будет ПК с ОС Windows, если вы захотите найти старые файлы в будущем. В этом случае вам также следует подумать о том, чтобы ваши фильмы были в нескольких форматах.

Избыточность, избыточность, избыточность и обнаружение ошибок!

Помимо вопроса о физических носителях, существует множество исследований, в которых цифровые форматы предпочтительнее для длительного хранения. Учреждение Библиотеки Конгресса США « Устойчивость цифровых форматов» – это хорошее место для начала.

Вы также можете просмотреть мнение, лежащее в основе технологий Archivematica .

Этот вопрос требует мнения, так что мой – это то, что вам следует постоянно использовать лучшие, самые быстрые доступные носители, делать несколько резервных копий и продолжать обновлять хранилище по мере необходимости. Каждая среда, включая каменную таблетку, может быть внезапно повреждена или уничтожена.

У меня нет слишком многого, чтобы добавить к тому, что уже было сказано. Одна вещь, хотя – я бы не мусор ваших оптических дисков, если вам действительно нужно; Я поместил их в коробку и хранил их в шкафу или что-то в этом роде. В конце концов, это уже форма резервного копирования, и если вы делаете копии из нее, то до тех пор, пока что-то не сработает с ними, они станут хорошей резервной копией. Единственные оптические диски, которые я испортил, были, когда я делал для них ярлыки. По какой-то причине этикетки, похоже, их задевали.

Лично я предпочитаю несколько жестких дисков для резервного копирования. Они быстры, просты и надежны (при условии, что у вас более одной копии). Мне не нравятся кассеты для использования человеком. Предприятия используют ленты, потому что они часто хранят несколько поколений всех своих резервных копий в сейфе, и довольно сложно вместить много жестких дисков в одном. Но для личного использования я обнаружил, что ленты имеют много проблем и не всегда надежны.

Я бы подумал о хранении действительно важных, незаменимых вещей на USB-накопителях USB и / или оптических. Я имею в виду такие вещи, как фотографии, а не музыку или видео (если это не является незаменимым).

Серьезно, рассмотрите бумагу для действительно важных вещей. Подумайте, что недорогой лазерный принтер может печатать с разрешением 1200 DPI, а недорогие сканеры могут сканировать в 2-4 раза больше этого разрешения. Если вы снижаете разрешение до 600×600 для надежности, вы можете разместить около 2,8 МБ на листе бумаги (с существенными запасами).

Используйте высококачественную кислотную бумагу и лазерную (против струйной) печати, а среда хорошо подходит для 200 лет, если разумно позаботиться о хранении.

И извлечение данных настолько просто, что можно написать программу сканера с нуля, если каким-то образом оригинал потерялся. До тех пор, пока есть компьютеры и сканеры / цифровые камеры, данные будут доступны.

Ну, Google использует ленту для резервного копирования данных (и других), поэтому я думаю, что это, вероятно, безопасная ставка.

Это трудно ответить, потому что это зависит от того, насколько важны ваши данные для вас и сколько вы готовы потратить. Я расскажу вам свою установку, которая для меня работает хорошо.

Первое, что я хотел бы сделать, это получить NAS. В настоящее время я владею NAS Synology, и программное обеспечение отлично работает. С помощью программного обеспечения, которое в настоящее время имеется там, вы также можете выполнять резервное копирование на другие устройства.

Во-вторых, вы можете хранить данные онлайн в облаке. Вы должны быть осторожны в том, что вы храните. Я лично только храню вещи, которые хочу сохранить, но не слишком личный. Проблема с этим тоже – скорость загрузки. Мне потребовалось около 30 дней, чтобы загрузить около 230 ГБ вещей. Вы всегда можете отправить жесткий диск, чтобы они могли загружать ваши данные, хотя, конечно, за стоимость. В настоящее время я использую Crashplan, что довольно дешево и именно то, что мне нужно.

В-третьих, как уже было сказано, вы можете получить NAS Synology и подключить внешнее устройство к некоторым из моделей, которые они продают. Это действительно неважно, если вы не отнесете этот жесткий диск с сайта, чтобы сказать сейф. Возможно, резервное копирование данных за несколько месяцев и просто продолжайте отключать жесткие диски где-то вне сайта.

Что касается моей текущей настройки, у меня есть NAS Synology с установленным crashplan, и он автоматически создает резервные копии данных с папками, которые я выбрал для crashplan. Это идеальная установка для меня, но это может быть дорого. Сам NAS представляет собой RAID 5, обеспечивающий избыточность.

Я заплатил около 1200 долларов США за NAS и жесткие диски. Но это дешево по сравнению с попыткой восстановить данные. Я считаю, что компакт-диски / DVD-диски ненадежны и не должны использоваться для долгосрочного резервного копирования. Флэш-накопитель, вероятно, будет лучше, чем CD или DVD.

Если вы все это сделаете, вы должны быть в порядке в случае отказа оборудования или какого-то стихийного бедствия, такого как пожар.

Моя рекомендация состоит в том, чтобы поместить все на жесткий диск, а затем обратно, чтобы ускорить работу с помощью облачного программного обеспечения. Моя личная рекомендация – CrashPlan, потому что это то, что я использую дома, это доступно, позволяет вам создавать резервные копии любого файла, который вы хотите, где бы вы ни находились, и даже позволяет делать резервные копии на местных носителях. Он выполняет периодические проверки для проверки целостности вашей резервной копии и имеет некоторые другие полезные функции. Вы можете настроить его с помощью локального ключа шифрования, поэтому даже если CrashPlan получил (и выполнил) повестку в суд, никто не сможет прочитать ваши данные. У меня почти 3 ТБ с их поддержкой и до сих пор любили платить 5 долларов в месяц за этот довольно приятный сервис. Я никоим образом не выигрываю от «продажи» их здесь, я просто очень довольный клиент. Может быть, вам стоит взглянуть на их обслуживание.

Я храню свои файлы в HD и в облаке. В настоящее время я использую Google Docs, потому что это дешевле, чем Amazon и DropBox.