Jonas Philipp Luke, Sergio Garcia Beitia, Fernando Rosa, Javier Almunia · IEEE Access · 2026

An Edge AI Pipeline for Real-Time Detection, Discrimination, and Classification of Killer Whale Vocalizations

Resumo em português

As vocalizações da orca (Orcinus orca) têm sido estudadas extensivamente, mas a detecção e classificação manual dos chamados limita o tamanho dos conjuntos de dados e o escopo das análises. Técnicas automáticas de processamento de dados podem melhorar a velocidade, consistência e escala da análise acústica, porém a maioria das abordagens automatizadas existentes foca na análise offline de dados gravados e frequentemente requer hardware especializado de alto desempenho, o que limita sua aplicação prática para monitoramento contínuo. Neste trabalho, apresentamos um sistema baseado em inteligência artificial que utiliza redes neurais convolucionais e de memória de longo curto prazo para detecção, discriminação e classificação em tempo real das vocalizações da orca. Diferentemente de estudos anteriores, nosso sistema opera em tempo real em dispositivos de borda, alcançando 99% de precisão na discriminação e 81% na classificação de 20 tipos de chamados. Esses módulos foram integrados em nós de processamento acústico, construídos em torno de um Raspberry Pi 3B+. Um conjunto desses nós, conectados a hidrofones e interligados via rede de computadores, foi implantado no Orca Ocean em Loro Parque. Apresentamos aqui os resultados dos primeiros seis meses de operação. Essa configuração reduz a necessidade de anotação manual, gera dados estruturados para estudos bioacústicos de longo prazo e é útil para apoiar pesquisas sobre padrões de comunicação, cultura vocal e avaliação do bem-estar animal. Seu design modular e portátil permite implantação escalável e econômica, além de oferecer potencial para adaptação futura ao monitoramento em mar aberto.

Resumo original em inglês

Orca vocalizations have been studied extensively, but manual detection and classification of calls limit dataset size and analysis scope. Automatic data processing techniques can improve the speed, consistency, and scale of acoustic analysis, but most existing automated approaches focus on offline analysis of recorded data and often require specialized high-performance hardware, limiting their practical deployment for continuous monitoring. In this work, we present an AI-based system using convolutional and long short-term memory neural networks for real-time detection, discrimination, and classification of orca vocalizations. Unlike previous studies, our system runs in real time on edge devices, while achieving 99% discrimination accuracy and 81% classification accuracy across 20 call types. These modules have been integrated into acoustic processing nodes, which are built around a Raspberry Pi 3B+. A set of such nodes, connected to hydrophones and linked via a computer network, was deployed at Orca Ocean in Loro Parque. Here, we present the results from the first six months of operation. This setup reduces manual annotation, generates structured data for long-term bioacoustic studies, and is useful to support research on communication patterns, vocal culture, and animal welfare assessment. Its modular and portable design allows scalable, cost-efficient deployment and offers potential for future adaptation to open-sea monitoring.

Espécies citadas

• Orcinus orca · orca
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Orcinus orca.