Що таке сховище даних?
Сховище даних – це цифровий репозиторій, який зберігає та захищає інформацію в комп'ютерних системах. як електронні листи, зображення та відео. Організації використовують сховища даних для зберігання інформації, а також обміну та управління нею у різних бізнес-підрозділах.
Чому сховище даних є важливим?
Сховище даних можна використовувати для надійного збереження інформації в комп'ютерних системах і запобігання втраті даних. мати доступ до тих самих даних після повторного включення.
Підприємства використовують сховища даних для управління, категоризації та впорядкування даних для операцій, аналізу, звітності та зберігання даних, що важливо для дотримання нормативних вимог. відновлення.
У зв'язку зі складністю вимог до даних компанії використовують різні типи інфраструктури їх зберігання для забезпечення доступності, надмірності, керування та прозорості.Наприклад, організації використовують еластичну файлову систему Amazon (Amazon EFS) для безсерверної файлової системи та Простий сервіс зберігання даних Amazon (Amazon S3) для зберігання об'єктів.
Які терміни належать до сховищ даних?
У контексті зберігання даних кілька термінів часто використовуються як взаємозамінні, але мають різні значення. Нижче наведено кілька прикладів.
База даних
База даних – це організована система зберігання. Більшість баз даних ґрунтуються на реляційній архітектурі баз даних. Реляційна система управління базами даних (RDBMS) дає користувачам можливість зберігати дані у таблицях, пов'язаних із певними точками даних. Організації використовують бази даних для зберігання трансакційних даних, таких як бухгалтерські, торгові та адміністративні журнали.
Сховища даних та бази даних
Обговорення сховищ даних передбачає різні методи зберігання та отримання інформації. База даних – це один із методів, який дозволяє програмам легко зберігати, обмінюватися та витягувати дані. На відміну від файлових систем, база даних дотримується певних правил організації, форматування та зберігання даних.
Сховище даних
Сховище даних – це велика колекція пов'язаної з бізнесом інформації, отриманої з джерел. Компанії використовують сховища даних для підтримки бізнес-аналітики та аналітики. Бізнес-аналітики та фахівці з аналізу даних вилучають із сховища даних дієві ідеї.
Сховища даних
Сховище даних – це парасольковий термін, який включає різні апаратні засоби, технології, формати та архітектури для зберігання і пошуку інформації.Але існує й особливий тип сховища для консолідації аналітичних даних для бізнесу. Наприклад, GE Renewable Energy використовує AWS Redshift для отримання нових знань про зібрані дані.
Як працює сховище даних?
Фізичний пристрій для зберігання даних – це технологія, що лежить в основі сховища даних. Ви можете читати та записувати інформацію на пристрій у певних форматах, таких як файли, таблиці чи блоки. Пристрій може бути локальним, віддаленим або перебувати у хмарі. Великі сховища даних зазвичай розподілені між кількома фізичними пристроями у різних географічних точках. Програмні системи та послуги абстрагують базові операції сховища даних.
Нижче наведено кілька прикладів фізичних пристроїв. Різні типи пристроїв зберігання даних забезпечують різний ступінь безпеки та надмірності.
Флеш- та твердотільні накопичувачі
Твердотільний накопичувач (SSD) – це напівпровідникова технологія, що дозволяє записувати та зчитувати дані у мікросхемах флеш-пам'яті. Технологія флеш-пам'яті була комерційно доступна в ручках-накопичувачах, перш ніж стати альтернативою жорстким дискам (HDD). У порівнянні з жорстким диском, фізичний SSD не має частин, що рухаються, що означає більш високу продуктивність і довгий термін служби.
Гібридний масив зберігання даних
Гібридний масив зберігання даних – це фізична система зберігання даних, що складається із SSD та HDD. Хоча твердотільний накопичувач забезпечує роботу з низькою затримкою, його вартість у розрахунку на одиницю зберігання набагато вища, ніж у жорсткого диска. Тому організації використовують гібридні масиви зберігання даних, щоб збалансувати продуктивність, ємність та вартість.
RAID
RAID означає надлишковий масив незалежних дисків. Це технологія, яка дозволяє зберігати ті самі дані в декількох місцях на твердотільному накопичувачі.
Які формати сховищ даних?
Сховища даних призначені для обробки та організації даних у різних форматах.
Файлове сховище
Файлове сховище організує інформацію, що зберігається у вигляді ієрархії файлів і папок зверху вниз. Комп'ютери використовують файлові сховища, щоб полегшити користувачам зберігання, пошук та отримання інформації. Файлову систему зберігання можна використовувати для зберігання та організації будь-якого типу даних. Хоча файлові сховища прості у використанні, їх важко горизонтально масштабувати через тісно пов'язану архітектуру.
Блокове сховище
Блокове сховище поділяє дані на безліч сегментів однакового розміру, які називаються блоками. Система блокового зберігання зберігає різні блоки даних різних фізичних пристроях. Коли користувачі запитують конкретні дані, система витягує та збирає їх докупи. Використовується система відображення для пошуку даних, що запитуються на основі метаданих блоку. Метадані – це додаткова інформація, яка допомагає користувачам або програмам знаходити певну інформацію у сховищі.
Об'єктне сховище
Об'єктне сховище зберігає неструктуровані дані в масштабованому самодостатньому сховищі, яке може бути розміщене на різних серверах. Кожен блок даних, що належить об'єкту, описаний у його метаданих. Наприклад, об'єкт може зберігати контент соціальних мереж, відео, електронні листи та аудіофайли.Програми здійснюють пошук інформації в сховищі об'єктів, використовуючи певні атрибути метаданих, такі як роздільна здатність, тривалість та розташування відео.
Які типи сховищ даних?
Існує кілька типів сховищ даних, кожен з яких має унікальне налаштування та характеристики.
Сховище з прямим підключенням
Сховище із прямим підключенням (DAS) складається з пристроїв зберігання даних, які фізично підключаються до комп'ютера. Наприклад, система DAS підключає жорсткий диск, оптичний диск або флеш-пам'ять до комп'ютера. Створення резервних копій DAS досить просте, але обмін даними з іншими комп'ютерами викликає труднощі.
Сховище з мережевим підключенням
NAS (Network-attached storage) – це пристрій зберігання даних, призначений для зберігання файлів, який забезпечує постійний доступ до даних для ефективної спільної роботи програм та користувачів по мережі. Пристрої NAS – це спеціальні сервери, які обробляють лише запити на зберігання даних та обмін файлами. Вони надають швидкі, безпечні та надійні послуги зберігання для приватних мереж.
Мережа зберігання даних
Мережа зберігання даних (SAN) – це високошвидкісна інфраструктура зберігання даних, що використовує різні типи носіїв та протоколи. Підприємства використовують SAN для масштабування блокового сховища з легкістю та доступністю. SAN використовує віртуалізацію сховища, щоб приховати складність інфраструктури від численних пристроїв.
Хмарне сховище
Хмарне сховище – це розподілена інфраструктура зберігання даних, розміщена та керована хмарними провайдерами. Вона більш масштабована, гнучка та має віддалений доступ у порівнянні з локальними сховищами.Наприклад, користувачі можуть підключатися до сервісу хмарного сховища AWS за умови, що вони мають підключення до Інтернету і вони авторизовані для доступу до даних. Хмарне сховище також є економічно ефективним, оскільки користувачі платять лише за ємність, що використовується.
Гібридне хмарне сховище
Гібридне хмарне сховище дозволяє компаніям розділяти дані між локальними та хмарними сервісами зберігання. Гібридне хмарне сховище допомагає компаніям перейти від застарілої архітектури до більш дешевого та безпечного хмарного середовища.
Як AWS може задовольнити потреби в зберіганні даних?
AWS надає кілька десятків хмарних сервісів зберігання даних, щоб задовольнити ваші потреби у зберіганні даних. Крім того, у вас є можливість розміщувати на своїх інстансах Еластичної обчислювальної хмари Amazon (Amazon EC2) все, що захочете. Щоб вибрати найкращий сервіс хмарного зберігання AWS, що відповідає вашим вимогам, необхідно зробити наступне:
- Розділіть систему на робочі навантаження.
- Визначте механізм зберігання даних, що найбільше підходить для конкретного робочого навантаження, а не єдине сховище даних для всієї системи.
- Далі виконайте оптимізацію за вартістю та продуктивністю, щоб знайти найкращий для вас сервіс зберігання даних.
Наприклад, Служба реляційних баз даних Amazon (Amazon RDS) є популярним вибором для організацій, які хочуть створити та масштабувати реляційні бази даних. Вона надає програмам хмарне сховище даних високої доступності для розміщення постійних оперативних даних.Amazon RDS пропонує самоврядне рішення для надання баз даних, яке звільняє розробників від стомлюючого настроювання інфраструктури зберігання даних.
Почніть роботу зі сховищами даних на AWS, зареєструвавши обліковий запис AWS вже сьогодні.
Хмарне сховище
Хмарне сховище - це структура розподілених у мережі онлайн-серверів, як правило, у вигляді онлайн-сервісу, що надає користувачам місце для зберігання даних. Сховище потрібно синхронізувати зі своїм пристроєм. Після цього можна завантажувати туди файли будь-якого типу. Вони будуть доступні з усіх пристроїв онлайн.
«IT-спеціаліст з нуля» наш найкращий курс для старту в IT
Навіщо потрібні хмарні сховища?
Для економії місця на смартфонах та комп'ютерах. У хмару можна вивантажити фотографії, музику та будь-які інші дані, які шкода видалити або які займають багато місця, наприклад, записи з камер відеоспостереження.
Для резервного копіювання та відновлення, якщо потрібно зберегти файли.
Для міграції даних бізнесу. У хмарі зручніше ділитися файлами з колегами та організувати спільну роботу.
Спробуйте 9 професій за 2 місяці і виберіть потрібну вам
Види сховищ
Блочне
Весь обсяг інформації поділяється на рівні частини – блоки з ідентифікаторами. Основна перевага таких хмарних сховищ - поділ серед клієнтів. Завдяки цьому до кожної з них відкривається швидкий доступ. Але платити треба за весь виділений обсяг пам'яті, навіть якщо вона нічим не зайнята.
Приклад сховищ: Amazon Elastic Block Storage (EBS).
Файлове
Дані зберігаються у ієрархічній системі. Це означає, що інформація є файлами, що об'єднуються в папки, підкаталоги та каталоги.Основна перевага – інтуїтивний інтерфейс та легкість використання. Головний недолік - погана масштабованість: зі збільшенням обсягу даних ієрархія дуже ускладнюється і уповільнює роботу системи.
Приклади сховищ: Яндекс.Диск, Dropbox, OneDrive, Диск Google.
Об'єктне
Це універсальний та сучасний спосіб зберігання у хмарі великих інформаційних масивів. Об'єктне сховище використовується для даних будь-якого виду: медіаконтенту, програм, бухгалтерської/статистичної звітності та ін Головний недолік - користувач не може просто взяти і перемістити файл у потрібну папку. Для завантаження інформації потрібно використовувати спеціальний програмний інтерфейс - API (він дозволяє двом незалежним компонентам обмінюватися інформацією).
Приклад сховищ: Amazon Simple Storage Service (S3).
Як працюють хмарні сховища
Принцип роботи хмарного сховища даних ось у чому: на ноутбук, ПК чи будь-який інший гаджет встановлюється програма, у якому з пристрою переноситься інформація. Потім хмара самостійно відстежуватиме зміни в них і автоматично підвантажуватиме нові файли. Зв'язавши сховище з усіма пристроями, можна отримати доступ до всіх даних будь-якого гаджета.
Плюси хмарного сховища
- Доступ до даних із будь-якого пристрою, що має вихід в інтернет.
- Збереження даних навіть у разі збоїв.
- Організація спільної роботи з інформацією.
- Відсутність необхідності купувати, підтримувати та обслуговувати інфраструктуру для зберігання даних (сервера).
Мінуси хмарного сховища
- Необхідність якісного Інтернету.
- Уповільнення роботи у хмарі, якщо файли важать багато.
- Можуть бути проблеми з безпекою збереження даних (наприклад, одного разу хакери зламали 68 млн. облікових записів Dropbox).
Курс для новачків «IT-спеціаліст
з нуля» – розберемося, яка професія вам підходить, та допоможемо вам її освоїти
Критерії вибору сховища
Розмір хмарного сховища. Якщо потрібно зберігати невелику кількість фотографій та легких файлів типу Word, Excel, то 10 ГБ може вистачити. Але якщо потрібно копіювати в хмару великі файли, наприклад відео, краще відразу вибрати тариф, що пропонує великий/максимальний обсяг зберігання.
Можливість збільшення обсягу сховища. Особливо важливим є критерій для користувачів, які планують зберігати великі масиви даних. Якщо це так, краще вибирати сервіс, в якому будь-якої миті можна змінити тариф.
Наявність програмного забезпечення для комп'ютера та смартфона. У сервісі хмарного зберігання обов'язково має бути програма та/або програма для встановлення та синхронізації.
Наявні обмеження. Перед вибором важливо дізнатися про всі наявні обмеження. Наприклад, про кількість обсягу пам'яті, розмір одного файлу, що завантажується.
Приклади популярних хмарних сховищ
Яндекс.Диск
Безкоштовний обсяг: 10 Гб
- налаштування загального доступу до папок;
- надсилання посилань на файли;
- перегляд фото у галереї, створення альбомів, налаштування автозавантаження відео та фото зі смартфона;
- перегляд файлів/папок, їх переміщення, редагування документів.
Google Диск
Безкоштовний обсяг: 7 Гб
- загальний доступ до даних та спільне редагування;
- робота з Google Документами, Таблицями та Презентаціями;
- індексація загальнодоступних документів пошуковими системами
Dropbox
Безкоштовний обсяг: 7 Гб
- зберігання та синхронізація файлів;
- спільна робота над файлами;
- резервне копіювання файлів.
Microsoft OneDrive
Безкоштовний обсяг: 15 Гб
- спільний доступ до фотографій, відео, папок та різних документів;
- сканування та збереження документів, квитанцій, візиток, нотаток;
- робота в Word, Excel та інших програмах Office.
Важливо! Принцип синхронізації залежить від ОС комп'ютера, тому перед роботою зі сховищем слід завантажити відповідну програму для адаптації.
Mega
Безкоштовний обсяг: 15 Гб (до 50 Гб протягом місяця після реєстрації)
- шифрування контенту у браузері за допомогою алгоритму AES (ключ зберігається тільки у власника);
- передача зашифрованих файлів іншим користувачам;
- забезпечення інформаційної недоторканності з допомогою зберігання даних на серверах компанії, розташованих у Новій Зеландії.
Хмара Mail.ru
Безкоштовний обсяг: 8 Гб
- робота із загальними папками;
- редагування документів, таблиць та презентацій;
- налаштування автозавантаження фотографій зі смартфона та вибіркова синхронізація;
- розпізнавання документів на фотографіях.
Приклади вживання терміна
✅ Правильно: Використовуйте хмару для збереження місця на комп'ютері або смартфоні.
❌Неправильно: Зробіть хмару для файлів з комп'ютера або смартфона.
Наш найкращий курс для старту в IT. За 2 місяці ви пробуєте себе в дев'яти різних професіях: мобільній та веб-розробці, тестуванні, аналітиці і навіть Data Science - виберіть потрібну і відразу освойте її.
Зберігання даних. Або що таке NAS, SAN та інші розумні скорочення простими словами
TL; DR: Вступна стаття з описом різних варіантів зберігання даних. Будуть розглянуті принципи, описані переваги та недоліки, а також кращі варіанти використання.
Для чого це все?
Зберігання даних — один з найважливіших напрямків розвитку комп'ютерів, що виник після появи енергонезалежних пристроїв, що запам'ятовують.Системи зберігання даних різних масштабів застосовуються повсюдно: банках, магазинах, підприємствах. У міру зростання вимог до даних зростає складність сховищ даних.
Надійно зберігати дані у великих обсягах, а також витримувати відмови фізичних носіїв – дуже цікаве та складне інженерне завдання.
Зберігання даних
Під зберіганням зазвичай розуміють запис даних деякі накопичувачі даних, з метою їх (даних) подальшого використання. Опустимо історичні варіанти організації зберігання, розглянемо детальніше класифікацію систем зберігання за різними критеріями. Я вибрав такі критерії для класифікації: за способом підключення, за типом носіїв, за формою зберігання даних, за реалізацією.
За способом підключення є такі варіанти:
- Внутрішнє. Сюди ставляться класичне підключення дисків у комп'ютерах, накопичувачі даних встановлюються у тому корпусі, де й використовуватимуться. Типові шини для підключення - SATA, SAS, зі застарілих - IDE, SCSI.
підключення дисків у сервері
- Зовнішнє. Мається на увазі підключення накопичувачів з використанням певної зовнішньої шини, наприклад, FC, SAS, IB, або з використанням високошвидкісних мережевих карт.
дискова полиця, що підключається по FC
За типом використовуваних накопичувачів можна виділити:
- Дискові. Гранично простий і ймовірно найбільш поширений варіант досі, як накопичувачі використовуються жорсткі диски
- Стрічкові. Як накопичувачі використовуються запам'ятовуючі пристрої з носієм на магнітній стрічці. Найчастіше застосування - організація резервного копіювання.
- Flash. Як накопичувачі застосовуються твердотільні диски, вони ж SSD.Найбільш перспективний та швидкий спосіб організації сховищ, за ємністю SSD вже фактично зрівнялися з жорсткими дисками (місцями та ємнішими). Однак за вартістю зберігання вони все ще дорожчі.
- Гібридні. Сумісні в одній системі як жорсткі диски, так і SSD. Є проміжним варіантом, що поєднує переваги та недоліки дискових та flash сховищ.
Якщо розглядати форму зберігання даних, то явно виділяються такі:
- Файли (іменовані області даних). Найбільш популярний тип зберігання даних - структура має на увазі зберігання даних, однакове для користувача та для накопичувача.
- Блоки. Поодинокі за розміром області, при цьому структура даних задається користувачем. Характерною особливістю є оптимізація швидкості доступу за рахунок відсутності шару перетворення блоки-файли, що присутній у попередньому способі.
- Об'єкти. Дані зберігаються у плоскій файловій структурі як об'єктів з метаданими.
За реалізацією досить складно провести чіткі кордони, проте можна зазначити:
RAID контролер від компанії Fujitsu
- програмні. Наприклад, реалізації RAID, включаючи файлові системи (наприклад, BtrFS), спеціалізовані мережеві файлові системи (NFS) і протоколи (iSCSI), а також SDS
приклад організації LVM із шифруванням та надмірністю у віртуальній машині Linux у хмарі Azure
Давайте розглянемо детальніше деякі технології, їх переваги та недоліки.
DAS
Direct Attached Storage - це історично перший варіант підключення носіїв, що застосовується досі. Накопичувач, з погляду комп'ютера, де він встановлений, використовується монопольно, поводження з накопичувачем відбувається поблочно, забезпечуючи максимальну швидкість обміну даними з накопичувачем з мінімальними затримками.Також це найдешевший варіант організації системи зберігання даних, проте позбавлений своїх недоліків. Наприклад, якщо потрібно організувати зберігання даних підприємства на декількох серверах, то такий спосіб організації не дозволяє спільне використання дисків різних серверів між собою, так що система зберігання даних буде не оптимальною: деякі сервери будуть відчувати брак дискового простору, інші ж не будуть повністю його утилізувати:
Конфігурації систем з єдиним накопичувачем застосовуються найчастіше для невибагливих навантажень, зазвичай домашнього застосування. Для професійних цілей, а також промислового застосування найчастіше використовується кілька накопичувачів, об'єднаних в RAID-масив програмно, або за допомогою апаратної карти RAID для досягнення відмовостійкості та більш високої швидкості роботи, ніж одиничний накопичувач. Також є можливість організації кешування даних, що найчастіше використовуються, на більш швидкому, але менш ємному твердотільному накопичувачі для досягнення і великої ємності і великої швидкості роботи дискової підсистеми комп'ютера.
SAN
Storage area network, вона мережа зберігання даних, є технологією організації системи зберігання даних з використанням виділеної мережі, дозволяючи таким чином підключати диски до серверів з використанням спеціалізованого обладнання. Так вирішується питання з утилізацією дискового простору серверами, а також усуваються точки відмови, які неминуче присутні в системах зберігання даних на основі DAS. Мережа зберігання даних найчастіше використовує технологію Fibre Channel, проте явної прив'язки до технології передачі даних немає.Накопичувачі використовуються в блоковому режимі, для спілкування з накопичувачами використовуються протоколи SCSI і NVMe, інкапсульовані в кадри FC, або стандартні пакети TCP, наприклад у разі використання SAN на основі iSCSI.
Давайте розберемо детальніше пристрій SAN, для цього логічно розділимо її на дві важливі частини, сервери з HBA і дискові полиці, як кінцеві пристрої, а також комутатори (у великих системах - маршрутизатори) і кабелі, як засоби побудови мережі. HBA — спеціалізований контролер, що розміщується на сервері, що підключається до SAN. Через цей контролер сервер «бачитиме» диски, що розміщуються в дискових полицях. Сервера та дискові полиці не обов'язково повинні розміщуватись поруч, хоча для досягнення високої продуктивності та малих затримок це рекомендується. Сервера та полиці підключаються до комутатора, який організує загальне середовище передачі даних. Комутатори можуть з'єднуватися з собою за допомогою міжкомутаторних з'єднань, сукупність всіх комутаторів та їх з'єднань називається фабрикою. Є різні варіанти продажу фабрики, я не буду зупинятися тут докладно. Для відмови стійкості рекомендується підключати мінімум дві фабрики до кожного HBA в сервері (іноді ставлять кілька HBA) і до кожної дискової полиці, щоб комутатори не стали точкою відмови SAN.
Недоліками такої системи є велика вартість і складність, оскільки для забезпечення стійкості до відмови потрібно забезпечити кілька шляхів доступу (multipath) серверів до дискових полиць, а значить, як мінімум, задублювати фабрики.Також в силу фізичних обмежень (швидкість світла загалом і ємність передачі даних в інформаційній матриці комутаторів зокрема) хоч і існує можливість необмеженого підключення пристроїв між собою, на практиці найчастіше є обмеження за кількістю з'єднань (у тому числі між комутаторами), числу дискових полиць тощо.
NAS
Network attached storage, або мережеве файлове сховище, представляє дискові ресурси як файлів (або об'єктів) з допомогою мережевих протоколів, наприклад NFS, SMB та інших. Принципово базується на DAS, але ключовою відмінністю є надання загального файлового доступу. Так як робота ведеться по мережі - сама система зберігання може бути скільки завгодно далеко від споживачів (у розумних межах зрозуміло), але це є і недоліком у разі організації на підприємствах або в датацентрах, оскільки для роботи утилізується смуга пропускання основної мережі - що, однак, може бути нівельовано з використанням виділених мережних карток для доступу до NAS. Також у порівнянні з SAN спрощується робота клієнтів, оскільки сервер NAS перебирає всі питання щодо загального доступу тощо.
Unified storage
Універсальні системи, що дозволяють поєднувати як функції NAS так і SAN. Найчастіше за реалізацією це SAN, в якій є можливість активувати файловий доступ до дискового простору. Для цього встановлюються додаткові мережні карти (або використовуються вже існуючі, якщо SAN побудована на їх основі), після чого створюється файлова система на деякому блоковому пристрої - і вже вона лунає по мережі клієнтам через файловий протокол, наприклад NFS.
SDS
Software-defined storage — програмне сховище даних, що базується на DAS, при якому дискові підсистеми декількох серверів логічно об'єднуються між собою в кластер, який дає своїм клієнтам доступ до спільного дискового простору.
Найбільш яскравими представниками є GlusterFS та Ceph, але також подібні речі можна зробити і традиційними засобами (наприклад, на основі LVM2, програмної реалізації iSCSI та NFS).
N.B. редактора: У вас є можливість вивчити технологію мережевого сховища Ceph, щоб використовувати у своїх проектах для підвищення стійкості до відмов, на нашому практичному курсі по Ceph. На початку курсу ви отримаєте системні знання з базових понять та термінів, а після закінчення навчитеся повноцінно встановлювати, налаштовувати та керувати Ceph. Деталі та повна програма курсу тут.
