397 liens privés
Ca fait du bien autant d'honnêteté sur ce sujet, surtout venant d'une core dev Docker.
En parlant de DeviceMapper, elle dit :
It works great on RedHat.
Clairement. J'ai tenté sur debian, j'ai ouvert 2 bug requests (#21330 #21304)) et je suis retourné sur aufs.
REX-Ray delivers persistent storage access for container runtimes including those provided by Docker, Mesos and others. It is designed to enable advanced storage functionality across common storage, virtualization and cloud platforms.
Un driver de stockage docker, codé par EMC en go, qui permet d'apporter de la persistance aux containers qui sont par nature jetables, alors que ce qu'on souhaite parfois faire tourner dedans n'est en rien stateless..
Code: https://github.com/emccode/rexray
Outil similaire: Flocker
via https://kvaes.wordpress.com/2016/02/11/docker-storage-patterns-for-persistence/ qui explique certains concepts à ce sujet
Un article qui explique comment Postgres stocke ses données.
via https://n.survol.fr/n/introduction-to-postgresql-physical-storage
Dans cette vidéo, Jérôme Petazzoni explique le Copy-On-Write au niveau mémoire en prenant l'exemple de redis. Il approfondit ensuite le COW disque, en faisant remarquer, qu'à l'origine, on s'est intéressé à cette stratégie d'optimisation dans le but d'économiser de l'espace disque. C'est ce qu'on appele le "thin provisioning" (https://en.wikipedia.org/wiki/Thin_provisioning).
Le COW disque qu'utilise docker est intéressant du point de vue de la rapidité avec laquelle on va pouvoir lancer un container basé sur une image, quelque soit la taille de cette dernière. Sans lui, le succès de docker n'existerait pas.
Jérôme détaille ensuite le fonctionnement des différents systèmes de fichier et de leur storage driver docker associé: aufs, devicemapper, btrfs, overlayfs et vfs. Il liste des avantages/inconvénients de chacun en production, et il donne également quelques infos pour les troubleshooter.
L'orateur possède de très bonnes capacités à faire passer des connaissances sur des concepts qui sont loins d'être faciles à aborder. Respect à toi Jérôme!
Benchmark qui compare Amazon Aurora et du Percona installé sur des instances EC2 avec des différents types de stockages (general purpose ssd, provisionned iops ssd 2000/3000).
"""
Docker’s default storage driver on most Ubuntu installs is AUFS.
Don’t use it. Use Overlay instead. Here’s why.
"""
A ne pas confondre avec Overlay Networks (shaarlink précédent).
"""
De toute façon, le modèle actuel dans lequel on essaie de conserver le maximum de données pendant le maximum de temps n’est pas tenable. Comme pour les accidents nucléaires, la question n’est pas de savoir si des accidents vont se produire, mais de savoir quand.
"""
via http://links.nekoblog.org/?3LfG-Q
Combien d'espace disque utile avec 4 disques de 3T en RAID5 ?
Réponse:
Capacity 9000 GB
Speed gain 3x read speed, no write speed gain
Fault tolerance 1-drive failure
"""
S3QL is a file system that stores all its data online using storage services like Google Storage, Amazon S3, or OpenStack. S3QL effectively provides a hard disk of dynamic, infinite capacity that can be accessed from any computer with internet access running Linux, FreeBSD or OS-X.
S3QL is a standard conforming, full featured UNIX file system that is conceptually indistinguishable from any local file system. Furthermore, S3QL has additional features like compression, encryption, data de-duplication, immutable trees and snapshotting which make it especially suitable for online backup and archival.
"""
Extrêmement prometteur.
"""
Script to manage passwords in an encrypted file using gpg.
"""
Exemple avec mon test (j'ai stocké 2 mots de passe pour les users kikoo et test)
"""
$ cat pwd.sh.safe
-----BEGIN PGP MESSAGE-----
Version: GnuPG v1
jA0EAwMC8eXkNufOzUxgyXS5OXNDpddtB1EnKl9p3u7dHPS2+pEMufjge2T8bW+5
s+yuv+4nOGNkjNhzUW5uc0CCGpad3f8i/JWdr9Sm+XyoSKElR0rSCLi+dHbd1fnu
dPE17gwVWxcgyhiRgIlwkKxy0T/0/OLqZiZ8y1vugxVp2WuI8Q==
=aspR
-----END PGP MESSAGE-----
$ ./pwd.sh
Read, write, or delete a password? (r/w/d, default: r) r
Username to read? (default: all)
Enter password to unlock pwd.sh.safe: **
Qd4tq1aj1TnZxGmml7XQy5qvPSIZyb2f/X27JLvT kikoo
hN+aRF4BsUgXFD9kxkFED7bQjhmDgWttmRAlLqeK test
Done
"""
On préfèrera peut-être une solution plus complète, en terme de fonctionalités et clients, comme pass (http://www.passwordstore.org/).
Du cold storage en blu-ray oO
"""
Blu-Ray is an optical data storage format that uses blue lasers to read the disk. It’s not for primary storage, as data can’t be retrieved instantly. But using Blu-Ray disks offers savings of up to 50 percent compared with the first generation of Facebook’s cold storage design, since the Blu-Ray cabinet only uses energy when it is writing data during the initial data “burn,” and doesn’t use energy when it is idle.
"""
Avantages:
- Consommation moindre comme expliqué dans le paragraphe juste au dessus.
- Fiabilité: stockage (la galette blu-ray) dissociée du lecteur qui peut flancher. Quand cela se produit sur un disque dur ou ssd, tu perds les données si t'as pas de redondance autre part.
- Durabilité: 20 ans minimum pour la conservation des blu-rays
"""
The data centers are equipped with less than one-sixth of the power available to our traditional data centers, and, when fully loaded, can support up to one exabyte (1,000 PB) per data hall.
"""
Si vous voulez comprendre le fonctionnement du bouzin (bras articulé, chargement/remplacement des cassettes remplies de 20 blu-ray, ..), mattez la vidéo du prototype: https://www.facebook.com/photo.php?v=10152128660097200
Ernie Souhrada, DBA chez Pinterest, explique comment il a drastiquement amélioré les perfs mysql sans changer de hardware.
"""
When we enable all of the optimizations, we find we can achieve roughly 500 percent more read and write throughput at both 16 and 32 threads while simultaneously reducing p99 latency by over 500ms in both directions. On the read side, we go from approximately 4100 – 4600 QPS to just over 22000 – 25000, depending on concurrency. On the write side, we go from approximately 1000 QPS to 5100 – 6000 QPS. These are massive gains in headroom and performance achieved with just a few simple changes.
"""
sur du i2.4xlarge (de la grosse instance ec2 de porc), percona-server-5.6, ubuntu 12.04.
Voir aussi http://www.slideshare.net/denshikarasu/all-your-iops-are-belong-to-us-a-pinteresting-case-study-in-mysql-performance-optimization
qui va plus dans les détails, avec les tests sysbench pour les différents disques, versions de kernel, modifs my.cnf, irqbalance, options de montage, etc... qui ont permi de tirer les conclusions.
On apprend notamment que le kernel en version 3.18 montre de meilleurs perfs IO qu'en 3.13.
Très pointu.
Linux Storage Stack Diagramm v4.0 (for Linux Kernel 4.0)
Origine: https://www.thomas-krenn.com/en/wiki/Linux_I/O_Stack_Diagram (avec les diagrammes pour les versions inférieures du kernel linux)
Un article qui explique les capacités du nouvel outil de Hashicorp: Vault.
Il s'agit d'un coffre-fort pour stocker des "secrets" de manière chiffrée sur disque (ou sur consul). C'est bien sûr attaquable via une API.
Un des trucs qui m'a marqué c'est le "dynamic SQL credentials".
"""
With dynamic SQL credentials, every application that needs database access is generated a new SQL user. For systems such as PostgreSQL, Vault even sets the VALID UNTIL field so PostgreSQL itself will revoke the user automatically.
"""
Classe, non?
Prise en main rapide de l'outil: https://www.vaultproject.io/#/demo/0
Hashicorp est l'auteur de Vagrant, Packer, Serf, Consul, et Terraform.
J'utilise Consul en prod, Vagrant pour quelques tests. Peut-être bientôt Terraform pour la partie provisionning à la place de salt-cloud. Des beaux outils open-source.
"""
LHC experiments produce ~10GB/s 25PB/year
""""
ils ont 290 + 89 + 20 PB de stockage
lien via http://links.gardouille.fr/?qoR7pg
bon... j'ai désinstallé cette grosse merde.
j'avais lancé la synchro d'un répertoire et le logiciel m'a supprimé des fichiers en local (croyant certainement que ces fichiers avaient été supprimés au niveau distant).
au final les fichiers supprimés ne sont pas non plus sur hubic.
je déconseille clairement ce truc en prod. moi ça va, ce n'était pas des fichiers sensibles.
bon... j'ai désinstallé cette grosse merde.
j'avais lancé la synchro d'un répertoire et le logiciel m'a supprimé des fichiers en local (croyant certainement que ces fichiers avaient été supprimés au niveau distant).
au final les fichiers supprimés ne sont pas non plus sur hubic.
je déconseille clairement ce truc en prod. moi ça va, ce n'était pas des fichiers sensibles.
ce site peut être particulièrement utile dans les grandes villes où la place est chère.