Il existe des solutions pour suivre des objets ou tête, main, etc... comme mediapipe.js ou encore human.js ou opencv ou d'autres encore, je n'ai pas tout testé, mais bon pour mettre en place du gameplay nerveux qui demande 0 latence entre le flux brut et le traitement pour la reconnaissance, ce n'est pas ça. Je n'ai pour le moment pas trouvé de solution existante pouvant répondre à mes besoins. Du coup je dois créer ma propre solution pour répondre aux contraintes de mon(mes) projet(s).
Quelques précisions, à l'instar des modèles entraînés sur des dizaines de milliers (parfois des millions) d'images statiques, voici mon raisonnement.
Pourquoi pas entrainer un (tout petit) modèle sur - non pas des images statiques - mais un flux vidéo ? Genre, je dimensionne un cadre (d'où le cadre que vous voyez dans le gif animé joint mais qui ici n'est pas en fonction), je bouge la main dans tous les sens dans le cadre en temps réel, le modèle capture toutes les caractéristiques dont il a besoin, en temps réel toujours. Et pendant qu'il s'entraine sur les données il est - toujours temps réel - en mesure de suivre directement ce qu'il apprend à reconnaitre. Pas besoin de machine puissante, mon petit pc portable (d'entrée de gamme, moins de 300€) suffit. Et reconnaitre ma main lui a pris moins de 3 minutes. Ma solution est donc on ne peut plus écologique, pas du tout énergivore.
Evidemment, c'est un proto que je ne considère même pas en version alpha, donc il y a encore du travail pour espérer un tracking bien plus vif, mais c'est en très bon chemin.
Il n'y a pas besoin que la pièce soit très lumineuse, je ferai en sorte que ça fonctionne même à très basse luminosité (quasi dans le noir). De sorte à ne pas trop contraindre le joueur, et puis parce qu'il faut économiser, ça coûte bonbon la lumière alors si l'éclairage de l'écran y suffit...
Voyez je suis totalement inscrit dans mon époque et je développe des solutions totalement en phase avec nos contraintes économiques (enfin surtout les miennes Ahah !) oui ce n'est pas parce que la commission locale d'insertion (composée de personnes qui ne m'ont jamais rencontré, ne me connaissent donc pas du tout) a décidé de me radier du RSA que je ne dois pas continuer à RIRE même dans les pires situations de survie ET BIEN JE VIS et surtout je ne suis pas inactif, je suis en condition de travail, c'est le message principal que j'aimerais faire passer.
Sachez donc qu'en France, on sucre les droits de gens qui sont ACTIFS !
En France on attaque la compétence. J'ai conscience que les personnes qui ont pris la décision de me radier sont des personnes incompétentes.