La caméra Raspberry Pi utilise le son pour créer des photos avec l'IA

Quel est ce son? Laissez cette caméra aveugle vous montrer !

On dit qu'une image vaut mille mots, mais mille mots pourraient-ils valoir une image ? Le fabricant et développeur Diego Trujillo Pisanty a cherché à le découvrir avec son projet de caméra aveugle alimentée par Raspberry Pi. Au lieu d'utiliser un objectif pour capturer la lumière pour créer une image, il écoute le son et construit une approximation de ce qui pourrait être autour de lui en fonction de l'audio détecté.

L'appareil fonctionne de la même manière qu'un appareil photo ordinaire en ce sens que vous dirigez l'appareil photo vers ce que vous voulez capturer et appuyez sur un bouton pour générer une image. Dans ce cas, cependant, il a une corne géante à l'avant utilisée pour aider à amplifier la capture des sons. Les utilisateurs doivent orienter cette corne dans la direction de ce qu'ils veulent capturer avant d'appuyer sur le bouton. La caméra analyse ensuite l'audio à travers un filtre AI et génère une image.

Selon Pisanty, il a développé un réseau de neurones artificiels personnalisé (ou ANN) juste pour ce projet. Il a formé l'IA avec ses propres modèles basés sur un ensemble de vidéos prises autour de Mexico.

Le modèle a été créé en prenant chaque image de vidéo et en l'accompagnant de la dernière seconde d'audio. Cela a permis de créer une association de son et de vidéo que le système peut utiliser pour créer des images. Parce qu'il a été formé de cette manière, tout ce qu'il crée est vaguement basé sur des images du centre-ville de Mexico.

Pour ce projet, Pisanty utilise un module Raspberry Pi 3B. Il serait cependant possible de le recréer à l'aide d'un Raspberry Pi 4. Tant que le Pi peut gérer Tensorflow, cela devrait fonctionner. L'appareil photo dispose également d'un petit écran qui sert en quelque sorte de viseur. Il permet aux utilisateurs de savoir quand les images sont en cours de traitement et fournit un aperçu des images générées. Tout est logé à l'intérieur d'une coque personnalisée imprimée en 3D.

Le modèle AI utilisé pour entraîner la caméra aveugle a été créé à l'aide de Python 3. Il est conçu pour fonctionner avec Tensorflow 2 et fonctionne sur le Raspberry Pi à l'aide de TFLite. Si vous souhaitez recréer ce projet Raspberry Pi ou simplement voir de plus près comment cela fonctionne, regardez la vidéo partagée par Pisanty sur YouTube et en savoir plus sur le projet sur son site Web.

Rejoignez les experts qui lisent Tom's Hardware pour en savoir plus sur l'actualité technologique des passionnés de PC - et ce depuis plus de 25 ans. Nous enverrons les dernières nouvelles et des critiques approfondies des processeurs, des GPU, de l'IA, du matériel des fabricants et plus directement dans votre boîte de réception.

Ash Hill est rédacteur indépendant d'actualités et de reportages chez Tom's Hardware US. Elle gère les projets Pi du mois et une grande partie de nos rapports quotidiens sur Raspberry Pi.

Raspberry Pi alimente un appareil photo Polaroid analogique numérique

Raspberry Pi donne vie à Big Mouth Billy Bass avec ChatGPT

AMD étend le pack de processeurs Jedi et lance un nouvel accord GPU Resident Evil 4, 50 $ de réduction sur 7900X3D

Par Stewart Bendle05 juin 2023

Par Aaron Klotz05 juin 2023

Par Mark Tyson05 juin 2023

Par Anton Shilov05 juin 2023

Par Mark Tyson05 juin 2023

Par Ash Hill05 juin 2023

Par Ash Hill05 juin 2023

Par Mark Tyson04 juin 2023

Par Mark Tyson04 juin 2023

Par Ash Hill04 juin 2023

Par Ash Hill04 juin 2023