(1) 2 »


Augmenter puissance de calcul - Multi-GPU - Open GPUBox
Fou Furieux du Clan
Inscrit:
13/11/2013 11:58
De Suisse
Post(s): 150
Bonjour le blenderclan!

J'aimerais tester la virtualisation des cartes graphiques avec l'Open GPUbox de Renegatt Software dans l'idée de pouvoir augmenter ma puissance de calcul.

Actuellement on a deux postes de travail windows 10 muni chacun d'une GTX 780 pour l'affichage et d'une seconde carte GTX 980 ti utilisée pour les rendus sous Cycles.

L'idée serait de mettre en place un ordinateur supplémentaire contenant 4-8 cartes graphiques identiques de nouvelle génération (1080, 1070 ou 1060, modèle en fonction du rapport qualité/prix/budget). La machine tournerait sur Linux pour pouvoir mettre en place le server de partage des cartes (c.f. http://www.renegatt.com). Ainsi la puissance de calcul pourrait être redistribué en fonction des besoins de chacun.

J'ai donc voulu effectuer des tests avec l'un de mes poste de travail pour voir s'il y a des pertes de puissances via le réseau ou autre bug. J'ai donc tout simplement voulu installer une version de linux, mais je suis déjà confronter à des problèmes de configuration de la reconnaissance CUDA et des drivers de mes cartes graphiques...

Avant de faire les tests avec l'Open GPUBox, je voulais que blender, cuda et mes cartes soient installé comme il le faut. Je l'avais déjà fait par le passé (env. 6 mois), mais cette fois-ci impossible. J'installe un système (lubuntu 16.04, ubuntu 16.04 et 15.04, xubuntu, etc... j'en ai essayé plusieurs) tout est bien sauf que j'utilise les drivers non-propriétaire et que blender ne me propose pas d'utiliser cuda. J'ai suivis tout plein de marches à suivre, mais j'arrive toujours à faire bugger mon système, petite résolution et impossible de revenir en arrière lorsque je choisis juste les drivers nvidia, quand je télécharge le cuda tool kit en .deb il ne trouve pas le paquet, etc...

Voici ma configuration :

CPU : Intel Core i7-6700K (4.00GHz / 8MB)
CM : Asus Z170-Pro Gaming
RAM : 16 gb
CG 1 : GTX 780
CG 2 : GTX 980 ti

Est-ce que mon problème est dû au fait que j'ai deux cartes graphiques différentes et qu'il n'arrive pas fonctionner avec un seul driver?

Pourriez vous me faire une check-list des opérations à réaliser une fois que j'ai mon système installé pour que Blender et CUDA soient fonctionnel?

J'ai vraiment essayer de trouver tout seul, mais là je ne sais vraiment plus quoi essayer.

Merci d'avance pour votre aide!

Bon week-end et bonne nuit!

Contribution le : 30/07/2016 22:42
_________________
- Made in Switzerland - http://www.3dm.ch
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
OverdOzed
Inscrit:
06/01/2011 13:52
Post(s): 800
salut,

si tu cherches à booster ta machine en ayant les GPU externalisés pour une utilisation "comme si c'était" internalisé (c-a-d comme si tes gpu étaient sur les ports pci express de ta carte mère) tu n'as pas fini de bosser dessus pour le faire fonctionner...

si c'est juste pour faire du calcul GPU en ferme de rendu et accessible facilement depuis n'importe laquelle de tes machines voici ma solution perso:

prendre un nouveau windows 10 sur la nouvelle machine et créer un réseau commun du type groupe résidentiel pour toutes les machines (facile)
prendre un SSD (hors système) de 256 ou 512 GO en partage + contrôle total et créer un lecteur virtuel portant le même nom (par exemple Z:) sur toutes les machines: de cette manière tout le monde à accès au disque z: avec le même nom

télécharger teamviewer sur toutes tes machines pour le contrôle à distance (le mode réunion permet de le faire depuis plusieurs postes en même temps)

installer tes GPU
configurer blender et cuda sur le driver nvidia

et voilà:
il ne reste plus qu'à travailler directement sur Z: via teamviewer pour lancer des test de rendu en live sur ta petite ferme.

vu les temps de rendu en général, ça va souvent plus vite de faire et contrôler tout les rendus à la main... perso je travaille comme ça et ça marche plutôt très bien pour soulager nos workstations en particulier lorsqu'on doit rendre beaucoup d'images par jours ;)

Contribution le : 31/07/2016 01:46
_________________
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
Fou Furieux du Clan
Inscrit:
27/04/2013 18:55
De plus en plus perplexe
Post(s): 155
Citation :

3DM a écrit:
Je l'avais déjà fait par le passé (env. 6 mois), mais cette fois-ci impossible. J'installe un système (lubuntu 16.04, ubuntu 16.04 et 15.04, xubuntu, etc... j'en ai essayé plusieurs) tout est bien sauf que j'utilise les drivers non-propriétaire et que blender ne me propose pas d'utiliser cuda.

Bonjour, je ne suis pas un expert sur ubuntu mais est-ce que tu as supprimé les paquets des drivers non-nvidia avec "apt-get remove" (i.e. Nouveau) après avoir installé le driver officiel ?

Y a-t-il des messages particuliers quand tu installes le .deb officiel (vérifier quelle version de ubuntu est recommandée par nvidia).

Sinon essayer avec une distribution CentOS(paquets rpm) ou ArchLinux(plus difficile à prendre en main mais les drivers officiels sont directement dans les dépôts).

Contribution le : 31/07/2016 09:26
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
OverdOzed
Inscrit:
16/01/2011 17:05
De Le plus grand terrier du monde ! Et le plus high-tech.
Post(s): 4081
@Zhormos: pourquoi aller chercher compliqué dès le départ ? CentOS et Arch sont à réservé à un utilisateur averti qui en fait le choix, en connaissance de cause... et il n'y a aucune raison de ne pas pouvoir utiliser les drivers Nvidia sur Ubuntu. Je le fais pour écrire ce texte.

@3DM:
> tout est bien sauf que j'utilise les drivers non-propriétaire et que blender ne me propose pas d'utiliser cuda.

Normal, Nouveau ne supporte pas encore Cuda (enfin c'est balbutiant, le reverse engineering ça prends du temps et c'est très difficile).
Pour les drivers Nvidia: déjà, as-tu vérifié que tu utilise bien les drivers Nvidia au démarrage, et pas le pilote Nouveau ?
Tu as le programme Nvidia X server Settings d'installé ? (paquet nvidia-settings)

> quand je télécharge le cuda tool kit en .deb il ne trouve pas le paquet, etc...

Évite de télécharger des drivers depuis le site, si tu les as disponibles sur les dépôts (ppareil pour tout paquet en général)
Passe par les dépôts. Une installation de nvidia-common ou de nvidia-361 (la dernière version si je ne me trompe) devrait faire le boulot.

> prendre un nouveau windows 10 sur la nouvelle machine
Payer une licence de plus pour avoir un système plus lourd (donc bouffant des perfs) ? S'il se débrouille sous Linux, je ne le conseillerai pas, par contre s'il est novice/effrayé par le changement/s'il manque de temps ça peut être intéressant.
Sachant que l'on peut très bien utiliser le stockage comme lecteur réseau pour le PC principale (W10 donc) et pour les rendus Linux.

Je ne connais pas la solution que tu cite pour virtualiser des GPUs, mais je ne comprends pas bien l'objectif: tu monte bien une tour qui te servira de ferme de rendu ? Et tu essaye de faire reconnaître directement les GPUs depuis plusieurs autres machines ?
La solution de @mistercroche me semble bien plus simple/pertinente et quasiment équivalente: une machine qui fait les rendus à la demande.
Si tu as une bonne connexion, tu pourrais même utiliser sheepit pour gérer tout ça pour toi (en privé ou non, et en partageant la puissance de calcul de temps en temps).
À voir aussi s'il ne faudrait pas prévoir de quoi éteindre les cartes quand elles ne sont pas sollicitées, ça fera vite 80W inutiles.

PS: 3DM, pourquoi une si grosse carte "juste" pour l'affichage ? Tu joue aussi ? D'autres besoins ? Sinon prends une 950/960 pour l'affichage, et colle ta 780 dans ta ferme, ça ferra ça d'économisé.

Dans l'absolu, pour un rendu sur une ferme de calcul, ou l'affichage est 90% du temps inutile, c'est une perte de perfs, autant ne le démarrer que pour ouvrir une session teamviewer/vnc, ou tout faire en ssh/ftp pour récupérer les rendus.

Contribution le : 01/08/2016 00:11
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
Fou Furieux du Clan
Inscrit:
27/04/2013 18:55
De plus en plus perplexe
Post(s): 155
Citation :

lapineige a écrit:
@Zhormos: pourquoi aller chercher compliqué dès le départ ? CentOS et Arch sont à réservé à un utilisateur averti qui en fait le choix, en connaissance de cause... et il n'y a aucune raison de ne pas pouvoir utiliser les drivers Nvidia sur Ubuntu. Je le fais pour écrire ce texte.

Je reconnais que ça complique, mais je ne trouve pas Ubuntu tellement adapté pour un serveur de rendu, il y a trop de choses préinstallées et préconfigurées pour une utilisation en workstation (l'affichage par exemple, tu le dis toi-même.). Pourquoi se fatiguer à virer tout le superflu alors qu'il est plus simple en fin de compte d'ajouter seulement le nécessaire. Ou alors voir Ubuntu Server (mais je ne sais pas comment il est supporté).

Disclaimer : j'utilise moi-même pratiquement que Arch Linux - seulement en desktop, hein - et j'en suis plutôt fan, je dois être un peu maso.

Contribution le : 01/08/2016 10:03
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
OverdOzed
Inscrit:
16/01/2011 17:05
De Le plus grand terrier du monde ! Et le plus high-tech.
Post(s): 4081
Y'a des version plus légères, on peut aussi coller un Debian, ou virer toute la partie affichage (ou simplement ne pas le démarrer).
C'est aussi un des plus connus/abordables, et puisqu'il en parle autant ne pas l'envoyer de suite sur des solutions nettement moins accessibles (oui une Arch au petits oignions sera plus optimisée, mais elle ne s'adresse pas au même public).

Contribution le : 01/08/2016 12:47
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
Fou Furieux du Clan
Inscrit:
13/11/2013 11:58
De Suisse
Post(s): 150
Bonjour,

Merci beaucoup pour vos réponses et votre participation.

Tout d'abord concernant mon avancé dans la configuration de ma machine de test :

J'ai fait une nouvelle installation d'Ubuntu 15.04 (15.04 puisque sur le site NVIDIA on peut sélectionner cette version et non pas la 16.04), toute belle toute propre.

Dans les Pilotes additionnels je choisis le driver le plus récent :
- Nvidia Corporation : GK 110 (Geforce gtx 780)
- Utilisation de NVIDIA binary driver - version 352.63 depuis nvidia-352 (propriétaire, testé)

J'applique les changements, je redémarre et là, pour une fois, la résolution reste intacte.

Par contre dans les Pilotes additionnels, la carte n'a plus le driver NVIDIA.

- Nvidia Corporation : GK 110 (Geforce gtx 780)
-Utilisation de serveur XX.org - pilote d'affichage Nouveau...

Mais il y a une catégorie supplémentaire :

NVIDIA Corporation : Inconnu
- Utilisation de NVIDIA binary driver - version 352.63 depuis nvidia-352 (propriétaire, testé)

J'installe Blender 2.72 (via Logitech Ubuntu), il n'y a toujours pas la possibilité de sélectionner les cartes graphiques (CUDA) dans les paramètres.

Je fais une recherche des mises à jours (gestionnaire de mises à jours), j'installe et redémarre.

Cette fois-ci, tout semble en ordre dans les Pilotes additionnels :
- Nvidia Corporation : GK 110 (Geforce gtx 780)
- Utilisation de NVIDIA binary driver - version 352.63 depuis nvidia-352 (propriétaire, testé)

Toujours pas de CUDA dans Blender 2.72

Désinstallation Blender 2.72 et téléchargement 2.77a via blender.org

Pas de CUDA dans Blender 2.77a

NVIDIA X Server Settings est installé de base et détecte mes deux cartes graphiques

Pour conclure cette première partie, mes drivers sembles correctement installés maintenant, mais je n'ai probablement pas CUDA d'installé. Comment dois-je poursuivre? Installation de CUDA Tool-kit?

Concernant le choix d'une distribution LINUX, pour l'instant j'ai uniquement besoin d'avoir une version de LINUX pour faire mes tests du coup, je ne dis pas non à une version plus facile d'utilisation. Par la suite si je décide d'opter pour une solution ou j'ai besoin d'une machine sous linux pour mon utilisation professionnel et définitive, il est clair que j'opterai pour la distribution la mieux adaptée. De plus, actuellement j'ai un server NAS (Qnap), mais si je mets un place ma tour de rendu, il est probable que je l'utilise également comme server de donnée (avec samba ou autre solution), mais je me pencherai sur cette question plus tard. Je n'ai pas beaucoup d'expérience avec les distribution LINUX, mais je débrouille pas mal en informatique en général, du coup une version "moins accessible" ne me fais pas peur!

Concernant la forme d'utilisation de la tour de rendu, la proposition de Mistercroche est la plus simple à mettre en oeuvre et je l'utilise déjà plus ou moins quand je veux lancer des rendus sur ma deuxième tour lorsqu'elle n'est pas utilisée. Cependant j'y trouve deux points négatifs. le premier est que lorsqu'on a pas de rendu "final" à lancer dessus, elle ne sert à rien puisqu'un aperçu est plus vite calculé directement sur la machine utilisée que de devoir, placer le projet sur un autre disque, ouvrir la machine, lancer, récupérer, etc. Le second point c'est que tout les lancements de rendu doivent se faire manuellement et la gestion des ressources également.

En théorie avec la solution OPEN GPUbox, les GPUs disponibles peuvent être répartit entre les différents utilisateurs. Ainsi tout le monde profite d'aperçu calculer encore plus vite. Ensuite lorsque l'un des utilisateurs à besoin de plus de ressource, les autres libèrent des GPUs pour ce dernier. Autre avantage, je peux facilement mettre en place un nouveau poste de travail, en utilisant tout simplement mon portable et profiter des GPUs du server. Cette solution permet également d'augmenter presque à l'infini la puissance de calcul de l'entreprise en gardant la même solution. Plusieurs Clusters peuvent être utilisé comme une carte graphique sur un poste. Finalement si juste pour un rendu, on viendrait à manquer de ressource, il est également possible, en théorie toujours, de louer des servers amazon pour venir s'ajouter au système. Dans la brochure ci-dessous vous trouverez différents sénarios d'utilisation qui ont l'air bien sympathique : http://www.renegatt.com/download.php?GPUBox_Artist_Intro_and_Usage_Scenarios.pdf

Concernant l'utilisation de Sheep it, c'est vraiment top ce service, je l'utilise de temps en temps et je mets également de temps en temps mes machines à disposition. Par contre, je suis souvent embêté pour une utilisation professionnel, limitation de la résolution d'image, limitation du nombre de projet et des fois des projets qui prennent en temps fou à finir à cause d'une petite "tile". S'il n'y avait pas ces contraintes, travailler via sheep-it serait top, possibilité de mettre plus ou moins de ressources à disposition, gestion automatiques des rendus, etc.

Voila de quoi alimenter la discussion. Je dois dire que je recherche la solution la mieux adaptée à mon utilisation. Du coup je suis preneur de toutes remarques ou idées! :D

Bonne journée!
Nathan

Contribution le : 02/08/2016 09:18
_________________
- Made in Switzerland - http://www.3dm.ch
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
Fou Furieux du Clan
Inscrit:
09/08/2010 09:47
Post(s): 211
salut 3dm

pour cuda, il faut que tu installes libcuda qui doit etre present dans tes depots. sous debian le paquet s appelle libcuda1. tu dois avoir quelque chose de similaire sous ubuntu.

a+

Contribution le : 02/08/2016 10:08
_________________
ma galerie
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
OverdOzed
Inscrit:
06/01/2011 13:52
Post(s): 800
Salut,

Le gpubox pour qu'il soit vraiment fonctionnel est une sacré installation nécessitant des cartes pci express infiniband dans chaque machine... Rien que ça coutera des milliers d'euros (environ 1000€ par carte et par machine au mieux... ) pour avoir du 20 Gb/s partout... Sinon sur de l'ethernet classique ça va ramer sévère... Sachant que les pilotes linux existent uniquement pour les cartes les plus cher... Vers 1500/2000€

Pour ce prix là autant prendre une workstation capable de supporter 4 gpu d'un coup... Avec l'alim qui va bien + la carte mère en lga 2011-v3 et un cpu 40 lignes (-> intel 6850k ou xéon voir bi xéon)

Il existe aussi chez HP des cm de serveurs bi xéon 80 lignes pci express capable de supporter 8 GPU pour environ 5000 euros si l'assemblage est fait maison. (Sans les gpu) dans l'optique de garder tout sous la main.

Par ailleurs, il existe une ferme de rendu très fonctionnelle chez renderstreet pour blender avec un plugin intégré directement sur ftp qui s'enregistre au fur et à mesure du travail et qui permet du rendu directement dans la fentre du viewport.. Une solution bien meilleure qu'amazon... Si c'est le client qui paye, c'est rapidement viable et ça propose quasiment ce que tu veux faire en 3 clic de souris (mais avec une carte de crédit -> compter aussi 500€ par mois et par postes)

Contribution le : 02/08/2016 10:53
_________________
Créer un fichier PDF de la contribution Imprimer


Re: Augmenter puissance de calcul - Multi-GPU - Open GPUBox
OverdOzed
Inscrit:
16/01/2011 17:05
De Le plus grand terrier du monde ! Et le plus high-tech.
Post(s): 4081
Pour renderstreet, ils ont une option illimité pour 50€/mois non ?


Citation :


Concernant la forme d'utilisation de la tour de rendu, la proposition de Mistercroche est la plus simple à mettre en oeuvre et je l'utilise déjà plus ou moins quand je veux lancer des rendus sur ma deuxième tour lorsqu'elle n'est pas utilisée. Cependant j'y trouve deux points négatifs. le premier est que lorsqu'on a pas de rendu "final" à lancer dessus, elle ne sert à rien puisqu'un aperçu est plus vite calculé directement sur la machine utilisée que de devoir, placer le projet sur un autre disque, ouvrir la machine, lancer, récupérer, etc. Le second point c'est que tout les lancements de rendu doivent se faire manuellement et la gestion des ressources également.

Hum... Si tu parle d'un aperçu rapide (disons moins de 5 à 10 minutes) et que l'autre tour n'est pas bien plus puissante que ta machine, je suis d'accord ce n'est pas très rentable. Mais dans ce cas là une machine de rendu n'est pas nécessaire.
Si c'est pour du rendu final (donc très long) ou intermédiaire mais quand même suffisamment long (ou que tu veux continuer à bosser en attendant), je ne vois pas ou est le problème: si tu utilise un dossier partagé, aucun temps de transfert; en supposant que la machine tourne en permanence (puisqu'elle sert à plusieurs personnes), le temps de lancement est ridicule, en moins d'une minute ton rendu est lancé.
La gestion des ressources entre plusieurs personnes, certes ce n'est pas automatisé, ça reste peu contraignant - surtout qu'il existe maintenant une option pour reprendre un rendu au niveau de samples précédent, basculer un GPU quand il a terminé n'est pas trop coûteux en temps. Et c'est potentiellement automatisable. (et y'a le mode bourrin, utiliser toutes les cartes à chaque fois)


Pour le pilote Nvidia, je ne sais pas pourquoi ils parlent uniquement de la 15.04, elle a 1 an et quelques mois, il n'y a pas grande raison que ça ne soit pas compatible, et on est nombreux à utiliser les pilotes Nvidia sur une 15.10 ou une 16.04.
De manière générale, évite de passer par le site, passe par les dépôts directement. C'est plus simple, plus "propre" et plus rapide.

Ça aurait été plus utile à mon avis de garder une 14.04 ou une 16.04, toutes deux des versions LTS. Pour un serveur, c'est pas plus mal.
Du coup la version de Blender n'est pas à jour, le plus simple c'est d'ajouter ce [url=
https://launchpad.net/~thomas-schiex/+archive/ubuntu/blender]ppa[/url] pour l'avoir très à jour (il est mis à jour rapidement après chaque version), par contre il inclut les release candidate (pas bon en prod' ) donc fait attention en mettant à jour, ou bloque la mise à jour(apt-mark hold nomdupaquet) jusqu'à avoir testé la nouvelle version en prod'.

Passer sous du ArchLinux ça demande des connaissances assez avancées, et pour une machine de prod' le coût en maintenance est trop important, c'est prendre un risque d'utiliser une distribution en rolling release.
Au contraire, vise du stable, une machine qui ne bouge que très peu, et donc qui sera fiable.

Contribution le : 02/08/2016 11:52
Créer un fichier PDF de la contribution Imprimer



 Haut   Précédent   Suivant
(1) 2 »




Enregistrer votre réponse
Compte*
Nom   Mot de passe   Authentification
Message:*



[Recherche avancée]



Sujets récemment répondus
Forums Sujets Réponses Lus Dernières contributions
[WIP] et travaux terminés [terminé] Appli Blender de Poche en FR    [1][2] 17 720 Hier 13:21:48
Bibi09 
Questions & Réponses [terminé] Supprimer le lien d'un objet entre 2 scènes 4 49 Hier 12:52:21
Horemheb 
Questions & Réponses Blender kit : barre d'assets 0 25 Hier 09:26:52
Sphere3d 
Questions & Réponses MeasureIt et dpi 3 55 Hier 08:39:25
Cdric 
Questions & Réponses Comment faire la symétrie d’une multitude d’éléments.    [1][2] 13 601 14/10 23:35:18
meltingman 
Moteur de jeu GameBlender et alternatives [non résolu] Cs (vaisseau)    [1][2][3]...[56] 556 170131 14/10 21:57:38
sbkodama 
Hors Sujet !! les tutos de Moonboots    [1][2][3]...[22] 213 20769 14/10 12:21:54
moonboots 
Questions & Réponses Conversion courbe 1 54 13/10 16:59:40
moonboots 
Moteur de jeu GameBlender et alternatives [non résolu] Godot Engine - Projet Arsenal    [1][2] 15 973 13/10 16:14:33
Redstar 
Questions & Réponses MeasureIt et dpi 0 697 13/10 13:10:10
Cdric 
Graphisme alternatif faire de la bd avec blender    [1][2][3]...[13] 122 8639 12/10 18:53:16
blend74 
Moteur de jeu GameBlender et alternatives hARMful engine    [1][2][3]...[9] 86 26460 12/10 17:38:03
Bibi09 
Questions & Réponses magie vaudou :)    [1][2] 17 538 12/10 13:24:04
blend74 
Questions & Réponses Couleur étrange en sculpt mode 2 101 12/10 13:07:46
Arielboid 
Graphisme alternatif les addons pour blender : bumarin etc    [1][2] 16 1171 11/10 14:50:16
blend74 
Questions & Réponses Opacité texture PNG 9 221 11/10 13:50:10
Bibi09 
Questions & Réponses [résolu] (animation) Avoir des layers de keyframe ? 7 254 10/10 20:03:35
PounchPounch 
Le coin des geeks Changer la carte graphique    [1][2] 13 591 09/10 23:28:09
sapajou 
Questions & Réponses [non résolu] Squelette qui devient une boule de polygone lors de l'import sur Mixamo 1 34931 09/10 01:33:48
blend74 
Questions & Réponses Bug texture sur plane avec bevel 0 119 08/10 18:29:17
artstation13 

Qui est en ligne
330 utilisateur(s) en ligne (dont 89 sur Forums)

Membre(s): 14
Invité(s): 316


DeborahOde, VirgieMorr, Santos2507, DoraKater, OliveCrutc, TaraF19046, AlisiaPold, EmeryDonog, TeraRoyce, EdwardoSch, Quentin38O, ZacheryFli, KatricePas, BettyYork, plus...
Nouveaux membres
IngeJeanne 16/10/2021
Felica8624 16/10/2021
JillianTer 16/10/2021
MellissaCa 16/10/2021
TwylaMacin 16/10/2021
HayleyBugg 16/10/2021
MaeCriswel 16/10/2021
BarbaraDjm 16/10/2021
RafaelBly 16/10/2021
Leonel10K 16/10/2021
Dernier Ajout
2020-09-24.jpg

Evènements à venir
Nov 18
Anniversaire de RichDeg
Dec 29
Anniversaire d'ebrain
Jan 8
BUG de Lyon
plus 247 plus d'élément(s)
 Par Mickaël Guédon [ebrain] © 2003-2021 The Blender Clan - hébergé par TuxFamily - Site déclaré à la CNIL sous le numéro 1155445