Rocco De Marco, Francesco Di Nardo, Alessandro Rongoni, Laura Screpanti, David Scaradozzi · Robotics · 2025

Real-Time Dolphin Whistle Detection on Raspberry Pi Zero 2 W with a TFLite Convolutional Neural Network

Resumo em português

O conflito crescente entre cetáceos e atividades pesqueiras destaca a necessidade de estratégias eficazes de mitigação que equilibrem prioridades de conservação com viabilidade econômica. Este estudo apresenta uma abordagem baseada em TinyML que implanta uma Rede Neural Convolucional (CNN) otimizada em um Raspberry Pi Zero 2 W para a detecção em tempo real de assobios do golfinho-nariz-de-garrafa, utilizando análise espectrográfica para enfrentar os desafios do monitoramento acústico. Especificamente, um modelo de CNN previamente desenvolvido para classificar vocalizações de golfinhos e originalmente implementado com TensorFlow foi convertido para TensorFlow Lite (TFLite) com otimizações arquiteturais, reduzindo o tamanho do modelo em 76%. Ambos os modelos, TensorFlow e TFLite, foram treinados com 22 horas de gravações submarinas realizadas em ambiente controlado e processadas em segmentos de espectrograma de 0,8 s (300 × 150 pixels). Apesar da redução do tamanho do modelo, os modelos TFLite mantiveram a mesma acurácia do modelo TensorFlow original (87,8% vs. 87,0%). Vazão e latência foram avaliadas variando a alocação de threads (1–8 threads), revelando o melhor desempenho com 4 threads (alinhamento com processador quad-core), alcançando latência de inferência de 120 ms e vazão sustentada de 8 espectrogramas por segundo. O sistema demonstrou robustez em 120 horas de testes contínuos de estresse sem falhas, comprovando sua confiabilidade em ambientes marinhos. Este trabalho alcançou um equilíbrio crítico entre eficiência computacional e fidelidade na detecção (F1-score: 86,9%) ao aproveitar inferência quantizada e multithread. Esses avanços possibilitam dispositivos de baixo custo para detecção em tempo real da presença de cetáceos, oferecendo potencial transformador para redução de captura incidental e sistemas adaptativos de dissuasão. Este estudo conecta inovação em inteligência artificial com a gestão ecológica, fornecendo um marco escalável para implantação de aprendizado de máquina em ambientes com recursos limitados, ao mesmo tempo em que aborda desafios urgentes de conservação.

Resumo original em inglês

The escalating conflict between cetaceans and fisheries underscores the need for efficient mitigation strategies that balance conservation priorities with economic viability. This study presents a TinyML-driven approach deploying an optimized Convolutional Neural Network (CNN) on a Raspberry Pi Zero 2 W for real-time detection of bottlenose dolphin whistles, leveraging spectrogram analysis to address acoustic monitoring challenges. Specifically, a CNN model previously developed for classifying dolphins’ vocalizations and originally implemented with TensorFlow was converted to TensorFlow Lite (TFLite) with architectural optimizations, reducing the model size by 76%. Both TensorFlow and TFLite models were trained on 22 h of underwater recordings taken in controlled environments and processed into 0.8 s spectrogram segments (300 × 150 pixels). Despite reducing model size, TFLite models maintained the same accuracy as the original TensorFlow model (87.8% vs. 87.0%). Throughput and latency were evaluated by varying the thread allocation (1–8 threads), revealing the best performance at 4 threads (quad-core alignment), achieving an inference latency of 120 ms and sustained throughput of 8 spectrograms/second. The system demonstrated robustness in 120 h of continuous stress tests without failure, underscoring its reliability in marine environments. This work achieved a critical balance between computational efficiency and detection fidelity (F1-score: 86.9%) by leveraging quantized, multithreaded inference. These advancements enable low-cost devices for real-time cetacean presence detection, offering transformative potential for bycatch reduction and adaptive deterrence systems. This study bridges artificial intelligence innovation with ecological stewardship, providing a scalable framework for deploying machine learning in resource-constrained settings while addressing urgent conservation challenges.