U.F.M's Homepage

5 Comments

1. lugoblin:

   Апрель 22, 2011 в 4:38

   Этого поста в LJ не видно. Уже не транслируется?

   > бывают еще RAID5/6 как минимум
   Я видел упоминание RAID5 в контексте wishlist, кажется, у Lustre и GlusterFS.

   Как там у вас с выбором файловой системы, не поделитесь ли? А то MooseFS у меня немножко дуркует и постепенно становится неуютным.

   Ответить

   

   Fyodor Ustinov отвечает на Апрель 22nd, 2011 5:54:

   Угу, снял трансляцию.

   Ну в виде «вишлиста» оно везде есть. Но нигде не реализовано.

   На финишную прямую вышли MooseFS, ceph и GlusterFS. Как обычно — у каждого свои заморочки, так что выбирать приходится на уровне «лучшее из худшего».

   А как именно дуркует MFS? Потому-что я сильно склоняюсь в её сторону.

   Ответить

   

   lugoblin отвечает на Апрель 26th, 2011 6:43:

   Я, может быть, невнимательно читал доки, но я не нашёл способа сделать несколько достаточно тривиальных вещей:
   Узнать из скрипта, сколько файлов находятся в состоянии «0 копий» (чтоб определить что FS готова и уже можно грузить сервисы).
   Узнать, на какой файл приходится заданный chunk (через find спрашивал какой chunk соотвтствует каждому файлу и сравнивал с искомым chunk’ом, кашмар).

   Несколько раз отдельные chunkserver’a отваливались с ошибкой на счёт рассинхронизации (точную цитату не дам, упустил, лог из tmpfs улетучился). Как диагностировать непонятно. Не нашёл ничего лутшего как удостовериться что валидных копий достаточно и реинициализировать chunkserver.
   Мелкие захардкодированные глюки в дебиановских скриптах запуска.

   Впечатление что MooseFS надо как следует допилить. Особенно обвязку, а то на что это похоже, что диагностика через CGI детальнее чем из консоли. А ещё у ихнего провайдера мой релей почему-то в чёрном списке.

   «Лучшее из худшего» это именно то. У меня задача несколько странная, кластер типа числогрыз, предполагается что каждая нода будет и сервером и клиентом файловой системы, и чтобы их можно было на ходу претыкать. Если бы не потребность «жонглировать» хранилищами, я бы повнимательнее на GlusterFS посмотрел…

   В ЕЖ писали про бум распределённых файловых систем. Может, мы где-то не там ищем?

   Ответить

   

   Fyodor Ustinov отвечает на Апрель 26th, 2011 6:58:

   Про «0″ копий, честно говоря, не понял.
   Зачем нужно знать какой чанк к какому файлу относится — тоже не понял, но может просто из-за того что у меня задачи совершенно другие.

   Кстати, судя по всему тебе гластер как раз подйдёт. Я пока тестировал научился подсовывать гластеру новый сервер так, что-бы он его подцепил уже с существующими там файлами.

   А бум — есть. Просто каждый лепит своё примерно с одним и тем-же функционалом и похожими граблями.

   http://en.wikipedia.org/wiki/List_of_file_systems#Distributed_file_systems — список не слабый.

   Ответить

   

   lugoblin отвечает на Апрель 26th, 2011 16:35:

   > Про «0″ копий, честно говоря, не понял
   Когда система (мастер вместе с нодами) запускается, то chunkserver’ы становатся доступны не все одновременно а с неким разбросом. Соответственно, есть такой момент когда chunkserver на данной ноде уже поднят, но файловая система полностью ещё недоступна: есть файлы с нулевым количеством копий. Надо этот момент отследить и подождать пока не встанет в строй достаточное количество chunkserver’ов чтобы пользоватся подмонтированной файловой системой без ограничений. После этого запускать сервисы и пытаться делать что-то осмысленное.

   > знать какой чанк к какому файлу относится
   Логи рапортовали битые чанки, хотелось узнать каким файлам надо сделать mfsfilerepair.

   > гластер как раз подйдёт
   Угу, надо будет на него ещё раз посмотреть.

   Ответить