La caméra Raspberry Pi utilise le son pour créer des photos avec l'IA

Quel est ce son? Laissez cette caméra aveugle vous montrer !

On dit qu'une image vaut mille mots, mais mille mots pourraient-ils valoir une image ? Le fabricant et développeur Diego Trujillo Pisanty a cherché à le découvrir avec son projet de caméra aveugle alimentée par Raspberry Pi. Au lieu d'utiliser un objectif pour capturer la lumière pour créer une image, il écoute le son et construit une approximation de ce qui pourrait être autour de lui en fonction de l'audio détecté.

L'appareil fonctionne de la même manière qu'un appareil photo ordinaire en ce sens que vous dirigez l'appareil photo vers ce que vous voulez capturer et appuyez sur un bouton pour générer une image. Dans ce cas, cependant, il a une corne géante à l'avant utilisée pour aider à amplifier la capture des sons. Les utilisateurs doivent orienter cette corne dans la direction de ce qu'ils veulent capturer avant d'appuyer sur le bouton. La caméra analyse ensuite l'audio à travers un filtre AI et génère une image.

Selon Pisanty, il a développé un réseau de neurones artificiels personnalisé (ou ANN) juste pour ce projet. Il a formé l'IA avec ses propres modèles basés sur un ensemble de vidéos prises autour de Mexico.

Le modèle a été créé en prenant chaque image de vidéo et en l'accompagnant de la dernière seconde d'audio. Cela a permis de créer une association de son et de vidéo que le système peut utiliser pour créer des images. Parce qu'il a été formé de cette manière, tout ce qu'il crée est vaguement basé sur des images du centre-ville de Mexico.

Pour ce projet, Pisanty utilise un module Raspberry Pi 3B. Il serait cependant possible de le recréer à l'aide d'un Raspberry Pi 4. Tant que le Pi peut gérer Tensorflow, cela devrait fonctionner. L'appareil photo dispose également d'un petit écran qui sert en quelque sorte de viseur. Il permet aux utilisateurs de savoir quand les images sont en cours de traitement et fournit un aperçu des images générées. Tout est logé à l'intérieur d'une coque personnalisée imprimée en 3D.

Le modèle AI utilisé pour entraîner la caméra aveugle a été créé à l'aide de Python 3. Il est conçu pour fonctionner avec Tensorflow 2 et fonctionne sur le Raspberry Pi à l'aide de TFLite. Si vous souhaitez recréer ce projet Raspberry Pi ou simplement voir de plus près comment cela fonctionne, regardez la vidéo partagée par Pisanty sur YouTube et en savoir plus sur le projet sur son site Web.

Rejoignez les experts qui lisent Tom's Hardware pour en savoir plus sur l'actualité technologique des passionnés de PC - et ce depuis plus de 25 ans. Nous enverrons les dernières nouvelles et des critiques approfondies des processeurs, des GPU, de l'IA, du matériel des fabricants et plus directement dans votre boîte de réception.

Ash Hill est rédacteur indépendant d'actualités et de reportages chez Tom's Hardware US. Elle gère les projets Pi du mois et une grande partie de nos rapports quotidiens sur Raspberry Pi.

Les lunettes de vision nocturne Raspberry Pi vous permettent de voir la nuit

Seeed annonce un reTerminal 10 pouces Raspberry Pi tout-en-un DM

Le puissant outil de synthèse vidéo Gen-2 de Runway est désormais disponible gratuitement pour tous

Par Ash Hill07 juin 2023

Par Les Pounder07 juin 2023

Par Stewart Bendle07 juin 2023

Par Ash Hill07 juin 2023

Par Jarred Walton06 juin 2023

Par Aaron Klotz6 juin 2023

Par Anton Shilov6 juin 2023

Par Zhiye Liu06 juin 2023

Par Anton Shilov6 juin 2023

Par Mark Tyson06 juin 2023

Par Aaron Klotz6 juin 2023