Parametryzowanie Dockerfile

Trudno sobie dzisiaj wyobrazić rozwój dużego projektu bez wykorzystywania dobrodziejstw jakie daje nam wirtualizacja. Po prostu ilość potrzebnych komponentów, relacji między nimi, całego procesu developmentu, orkiestracji jest tak olbrzymia i skomplikowana, że bez Dockera nie dalibyśmy rady.

Jednakże narzędzia takie jak docker i docker-compose nie są panaceum na wszystkie problemy. Ostatnio stanąłem przed wyzwaniem rozdzielenia logiki w trakcie budowy obrazu w pliku Dockerfile. Generalnie, potrzebna jest inna wersja na produkcji a inna w trybie deweloperskim.

Jako programista, głównie piszący w świecie obiektowym postanowiłem rozwiązać ten problem używając dziedziczenia. Jakże było to wielkie zaskoczenie dla mnie, gdy okazało się, że pliki Dockerfile nie posiadają takiego mechanizmu. Dziedziczeniu może podlegać jedynie logika zawarta w plikach docker-compose.yml...cóż, trzeba kombinować inaczej.

Rozwiązanie jakie udało mi się zaimplementować używa parametrów na etapie budowy obrazu - komenda arg [1][2]. Wygląda to następująco.

W głównym pliku budowy obrazu Dockerfile tworzymy zmienną (owy parametr) i przypisujemy domyślną wartość. Domyślna wartość może odpowiadać zachowaniu w np. trybie produkcyjnym.

ARG some_variable_name=default_value

W dalszej części pliku Dockerfile wykorzystujemy zmienną dostarczając zachowanie w zależności od wartości tego parametru. Właściwie jest to pewnego rodzaju flaga dla nas. Przykład:

RUN apt-get install $some_variable_name

Równie dobrze, można też [3]:

RUN if [ "x$some_variable_name" = "htop" ] ; then something action ; else echo other action ; fi

Pozostaje jeszcze nadpisać domyślną wartość np. dla trybu deweloperskiego. Poniżej zawartość docker-compose-dev.yml

services:
  someImage:
    build:
      context: ./
      dockerfile: Dockerfile
      args:
        some_variable_name: "htop"

Jeszcze innym rozwiązaniem tego problemu jaki się nasuwa to skonfigurowanie domyślnego obrazu po jego budowie i ponowne zapisanie stanu przy użyciu commit [4]. Ale jakoś to takie mało eleganckie posunięcie :/

[1] https://docs.docker.com/engine/reference/builder/#arg
[2] https://vsupalov.com/docker-arg-env-variable-guide/
[3] https://stackoverflow.com/questions/43654656/dockerfile-if-else-condition-with-external-arguments
[4] https://forums.docker.com/t/docker-container-not-persisting-data-on-stop-start-or-when-committing-to-another-image-on-windows/5612

Kod efektywny czy efektowny ? Alternatywa dla unset() w PHP

Jakiś czas temu zostałem zmuszony do skasowania pewnego elementu w tablicy, który oczywiście musiał być tak głęboko ukryty w całej tej hierarchii bym łatwo i przyjemnie nie mógł tego zrobić. W efekcie końcowym uzyskałem kod, który w pewnym sensie narusza prawo demeter[1], a symptomy są podobne do opisanego przez Wujka Boba problemu z wrakami pociągów (ang. Train Wrecks) [2]. O ile takie porównanie ma jakiś sens w kontekście operowania tablicami w PHP. Tak czy siak, być może poniższy kod jest efektywny, ale czy jest on efektowny ?

unset($carsArray['accessories'][0]['cockpit'][0]['mirror'])

Tak właściwie jest to częsta przypadłość języków dynamicznie typowanych. Postanowiłem przemyśleć sprawę raz jeszcze. Czy aby na pewno nie można by zrefaktoryzować tego kodu tak, by wyglądał choć odrobinę lepiej?

Struktury zmienić nie mogę, natomiast tą część logiki odpowiedzialnej za wyszukanie odpowiedniego klucza i jego skasowanie już tak. Stąd pierwszym pomysłem jaki mi wpadł do głowy to wykorzystanie pętli foreach na wielu poziomach, gdzie każda klasa znałaby strukturę tablicy wyłącznie dla swojego poziomu (zgodnie z prawem demeter). Można by też to oprzeć o kompozyt[3], ale gdybyśmy byli w świecie obiektów. Niestety funkcja unset() nie zadziała dla referencji uzyskanej z pętli foreach. Dlatego też rozwiązania musiałem szukać w wbudowanych w PHP funkcjach na tablicach [4]. W szczególności array_filter() [5].

class MirrorCleaner
{
    private $carsArray = [];

    public function __construct(array $carsArray)
    {
        $this->carsArray = $carsArray;
    }

    public function cleanMirror()
    {
        $newCarsArray = [];

        foreach ($this->carsArray as $value) {
            $accessoriesArray = $value['accessories'] ?? [];
            $newCarsArray[]['accessories'] = $this->parserAccessories($accessoriesArray);
        }

        return $newCarsArray;
    }

    private function parserAccessories(array $accessoriesArray)
    {
        $newAccessoriesArray = [];

        foreach ($accessoriesArray as $value) {
            $cockpitsArray = $value['cockpit'] ?? [];
            $newAccessoriesArray[]['cockpit'] = $this->parserCockpits($cockpitsArray);
        }

        return $newAccessoriesArray;
    }

    private function parserCockpits(array $cockpitsArray)
    {
        $newCockpitsArray = [];

        foreach ($cockpitsArray as $element) {
            $newCockpitsArray[] = $this->removeMirror($element);
        }

        return $newCockpitsArray;
    }

    private function removeMirror(array $value)
    {
        return array_filter($value, function ($key) {
            return !($key == 'mirror');
        }, ARRAY_FILTER_USE_KEY);
    }
}

Pełny kod na https://github.com/domino91/ArrayFilter

Nie jest to rozwiązanie idealne. Klasa MirrorCleaner narusza zasadę pojedynczej odpowiedzialności (parsuje tablice, kasuje elementy). Nadal złamane jest prawo demeter (klasa zna algorytm przetwarzania całej struktury). Nie jest to też rozwiązanie optymalne dla naprawdę sporych tablic czy aplikacji, w których czas wykonania ma kluczowe znaczenie (kopiujemy tu tablice). Pewnym krokiem naprzód byłoby zrefaktoryzowanie tej klasy o wydzielenie na kilka klas kompozytów i wstrzykiwanie do nich zależności...Mimo to jednak uważam obecne rozwiązanie za całkiem efektowne ;-) Co Wy o tym sądzicie ?

Źródło:
[1] https://www.tripled.io/25/08/2016/The-anemic-domain-model/
[2] https://hackerchick.com/clean-code/
[3] https://www.geeksforgeeks.org/composite-design-pattern/
[4] https://carlalexander.ca/php-array-functions-instead-loops/
[5] https://www.php.net/manual/en/function.array-filter.php

Throwable

Jakiś czas temu opisywałem działanie funkcji set_error_handler() w PHP, która pozwala nam na przechwytywanie większości błędów w naszej aplikacji. Niektóre typy takie jak: E_ERROR, E_PARSE, E_CORE_ERROR, E_CORE_WARNING, E_COMPILE_ERROR, E_COMPILE_WARNING itp.  nie są osiągalne. Dlatego dzisiaj chciałbym przedstawić alternatywne rozwiązanie. Od wersji PHP 7 istnieje możliwość przechwytywania błędów zarówno tych krytycznych (ang. fatal error) jak i tych możliwych do odzyskania (E_ERROR and E_RECOVERABLE_ERROR)[1]. Nie jest to oczywiście panaceum na obsługę wszystkich typów błędów (E_WARNING, E_NOTICE czy E_PARSE nie są tym objęte) także trzeba o tym pamiętać. Jednakże, to co możemy przechwycić jest zależne od klasy Error oraz całej jej rodziny, prezentowanej poniżej.

Error
      ArithmeticError
        DivisionByZeroError (tylko dla operatora % )
      AssertionError
      ParseError (tylko dla included/required file oraz eval())
      TypeError
        ArgumentCountError

Dla przykładu, weźmy dzielenie przez zero. Kod mógłby wyglądać tak

<?php

try {
    $quotient = 1 % 0;
} catch (Error $e) {
    echo $e->getMessage();
}
//Result: Modulo by zero

Ciekawym zabiegiem zastosowanym przez twórców PHP jest utworzenie nadklasy Throwable po której dziedziczy Error i Exception. Pozwala nam to łatwo zaadaptować kod pisany pod PHP 5.x z naszą aplikacją. [1][2].

<?php

try {
    // Code that may throw an Exception or Error.
} catch (Throwable $t) {
    // Executed only in PHP 7, will not match in PHP 5.x
} catch (Exception $e) {
    // Executed only in PHP 5.x, will not be reached in PHP 7
}

A czy Wy korzystacie już w swoich programach z Throwable ?

Źródło
[1] https://trowski.com/2015/06/24/throwable-exceptions-and-errors-in-php7/
[2] https://sergeyzhuk.me/2016/12/24/php7-errors-and-exceptions/
[3] https://www.php.net/manual/en/class.throwable.php

Docker i iptables

Ostatnio stanąłem przed problemem zablokowania dostępu do sieci dla kontenerów Dockera do jednego z moich projektów. Zadanie wydawało mi się trywialne, ale jakoś tak się złożyło, że strasznie je sobie zagmatwałem. Koniec końców rozwiązanie sprowadza się do jednej linijki:

iptables -A DOCKER-USER -j DROP

Jednak zanim do tego dotarłem to musiałem całkiem sporo dowiedzieć się jak działa sieć Dockerowa.

Wracając do początku, celem jest zablokowanie ruchu do Internetu, sieci lokalnej i pomiędzy kontenerami z wewnątrz systemu gościa. Gospodarz ma posiadać dostęp do usług, które serwuje kontener dockerowy. Pierwszym pomysłem jaki mi wpadł to ustawienie osobno firewalla na każdym z obrazów (przebudowa Dockerfile). Jest to karkołomne rozwiązanie. Poza czasochłonnością tego podejścia, zatrzyma nas w tym wszystkim komunikat:

iptables can't initialize iptables table `filter': Permission denied

tak, nawet jako root! Pewnym rozwiązaniem jest doinstalowanie sudo i utworzenie użytkownika po czym przelogowanie się na niego. Trzeba jeszcze pamiętać o uruchomieniu dockera z wywołaniem --cap-add=ALL...lecz, nigdzie w oficjalnej dokumentacji nie znalazłem wzmianek, że taka droga jest zalecana.

Wydaje się więc, że najlepiej sterować zachowaniem zapory sieciowej z poziomu systemu gospodarza, przy użyciu dostarczonych łańcuchów (docker, docker-user etc.).

Więcej na ten temat w
https://sowhatisthesolution.wordpress.com/2018/09/11/protect-docker-from-internet-while-allowing-lan-with-iptables/
i https://docs.docker.com/network/iptables/

ahh i jeszcze, jeśli to rozwiązanie Ci nie pomogło, zobacz swoje aktualne reguły (iptables -nL), być może posiadasz jakieś reguły zezwalające (można je nadpisać, zamiast parametru -A użyj -I).

Sprawna sylwetka

"Spójrzmy prawdzie w oczy: my, programiści, spędzamy większość swojego czasu w pozycji siedzącej przy biurku. Dlatego tak ważne jest, abyśmy mieli odpowiednią wiedzę na temat tego, co trzeba robić, żeby żyć zdrowo. Niestety nasza praca popycha nas w przeciwnym kierunku"

John Sonmez, "Sprawny programista"

Muszę przyznać, że długo zwlekałem z tym wpisem. Głównie z racji tego, że jest to kwestia szczególnie ważna dla mnie, ale jednocześnie wciąż bardzo mglista, niestety. Zdaje sobie też sprawę, że niemożliwym jest naświetlenie tego tematu jednym wpisem to też chciałbym rozpocząć na moim blogu serie artykułów o dbaniu o własną kondycję. To co już wiem będzie uzupełnione o to co napisali autorzy tj. cytowany już John Sonmez w "Sprawny programista" i Tomasz Saweczko w "Najpierw wiedza, potem rzeźba" (szczególnie polecam tą drugą książkę, bo jest w niej zawarta spora dawka konkretnej wiedzy, w dodatku opisana bardzo prostym, przystępnym językiem). Mam nadzieje, że coś z tego wyjdzie ;-)

Nie da się ukryć, że codzienna praca przy komputerze niszczy nasze zdrowie, kondycje i po pewnym czasie samoocenę oraz samopoczucie. Dopadło to również i mnie. Choć staram się regularnie być w "ruchu", trochę pływać, trochę biegać to jednak zaczynam na własnej skórze odczuwać rezultaty "pracy przy biurku". To właśnie z tego powodu stale poszukuje sposobów na poprawę własnej sylwetki. Nie jest to proste. Właściwie to ciągła walka z własnymi nawykami, słabościami czy błędnymi przekonaniami. Jednakże mam też swoje własne, małe zwycięstwa. W tym wpisie przedstawię co się takiego u mnie zdarzyło, że w zeszłym roku zrzuciłem 8kg mimo pracy za biurkiem (a wpis, że w tym roku z kolei przytyłem 8kg będzie następnym razem :D).

Pierwsza zasada: Licz kalorie
Za namową autora "Najpierw wiedza, potem rzeźba" zacząłem prowadzić w ekselu dziennik tego ile kalorii dziennie dostarczam do swojego organizmu. Nie jest to zadanie jakoś wybitnie trudne, ale wymaga od nas pewnej samodyscypliny. Po pewnym czasie sami zapamiętujemy ile dane składniki mają kalorii, zatem robimy to już automatycznie. W tym miejscu uwaga, nie należy liczyć kalorii z dużą dokładnością, a wziąć pewien margines błędu. Oczywiście wcześniej musimy zmierzyć ile kalorii potrzebuje nasz organizm, tak by otrzymać różnice 7000 kcal potrzebnych do zrzucenia 1kg!

Druga zasada: Jedz tylko pełnowartościowe posiłki
Pełnowartościowe to takie, które zawierają dużo błonnika, minerałów, witamin, produktów pełnoziarnistych czy zdrowych tłuszczy. Długo nie mogłem się przekonać do większego spożywania warzyw we własnej diecie. Głównie za sprawą, że jadłem te warzywa, które mi nakazano. Tu jednak kluczem jest znalezienie takich, które Tobie smakują (na początku nie ma co przejmować się proporcjami w bilansie makroskładników, czy liczeniem kalorii dla zjedzonych warzyw).

Trzecia zasada: 10% Twojej diety, to musi być uczta dla duszy
Szczerze mówiąc nie dałbym rady utrzymać swojej diety, gdyby nie było w niej kilku produktów, za którymi szaleje, a które nie można zaklasyfikować jako "pełnowartościowe". Oczywiście, musimy je dawkować z umiarem tak by nasycić duszę i mieć siłę do dalszej walki.

Czwarta zasada: Mierz swoją efektywność
No właśnie, nic tak nie motywuje człowieka do dalszego działania jak efekty z własnej pracy. Skrupulatne mierzenie wagi czy wykonywanie co pewien czas pomiaru składu ciała pomaga w konsekwentnym dążeniu do celu.

Piąta zasada: Trenuj to co lubisz
Nie trzeba chodzić na siłownie by zrzucić nadmierne kilogramy. Ważny jest ruch, nawet zwykły spacer na wieczór jest lepszy niż leżenie przed telewizorem. Natomiast to co mnie najbardziej zmotywowało do cotygodniowego treningu na basenie to fakt, że naprawdę to mnie relaksuje ;-).

Do tego dodałbym jeszcze, że oprócz diety, treningu, motywacji i regeneracji warto zatroszczyć się o wiedzę, czyli co i jak należy robić by osiągnąć upragnioną sylwetkę.

Ja walczę dalej i mam nadzieje, że uda mi się zebrać dla Was kolejne owocne spostrzeżenia ;-)