Alexander Barnhill, Jared R. Towers, Tasli J.H. Shaw, Magdalena Arias, Adrián Bécares, Thomas Doniol-Valcroze, Lorenzo von Fersen, Rodrigo Genoves, Tim Rörup, Gary J. Sutton, Sheila Thornton, Michael Weiss, Andreas Maier, Elmar Nöth, Christian Bergler · Ecological Informatics · 2025

Advances in deep learning-driven photo identification and meta analysis of cetaceans in large data repositories

Resumo em português

A fotoidentificação de cetáceos continua sendo uma tarefa que demanda muito trabalho, exigindo a anotação especializada de conjuntos extensos de imagens em que a maioria dos indivíduos é raramente encontrada. Apresentamos um sistema escalável e completo que automatiza esse processo usando modelos de aprendizado profundo leves, otimizados para ambientes com recursos limitados. Nosso pipeline modular integra detecção de ponta (YOLOv8-small), identificação individual via aprendizado métrico (EfficientNet-B0 com cabeça contrastiva) e módulos auxiliares para avaliação da qualidade da imagem, classificação lateral e predição de identificabilidade. Diferentemente de abordagens anteriores, limitadas a aplicações de espécie única ou a ambientes com muitos recursos, nosso sistema generaliza para cinco populações de cetáceos com características visuais diversas. Alcançamos precisões de identificação top-1 de 0,92 para a orca Bigg (Orcinus orca rectipinnus), 0,96 para a orca residente do sul (Orcinus orca ater), 0,96 para o golfinho-nariz-de-garrafa de Lahille (Tursiops truncatus gephyreus), 0,82 para a baleia-comum-de-minke (Balaenoptera acutorostrata scammoni) e 0,85 para a baleia jubarte (Megaptera novaeangliae), resultando numa precisão cruzada entre espécies de 0,90. Para apoiar a triagem de imagens em grandes conjuntos de dados, incluímos um módulo de avaliação da qualidade que prevê a utilidade da imagem com base em características de incorporação aprendidas. Este módulo alcança um R2 de 0,799, permitindo a priorização inteligente dos dados. Avaliações de desempenho mostram velocidades de processamento entre 1,6 e 3,2 imagens/s em CPU e de 9,6 a 23,3 FPS com aceleração por GPU, tornando o sistema adequado para aplicações tanto em arquivos quanto em tempo real. Também avaliamos o impacto dos metadados demográficos (idade, sexo) no desempenho da identificação e fornecemos recomendações práticas para o desenho futuro de conjuntos de dados. O sistema está disponível por meio de uma interface web projetada para apoiar fluxos de trabalho de conservação no mundo real com mínimo custo computacional.

Resumo original em inglês

Photo-identification of cetaceans remains a labor-intensive task, requiring expert annotation of long-tailed image datasets in which most individuals are rarely encountered. We present a scalable, end-to-end framework that automates this process using lightweight deep learning models optimized for resource-constrained environments. Our modular pipeline integrates state-of-the-art detection (YOLOv8-small), individual identification via metric learning (EfficientNet-B0 with a contrastive head), and auxiliary modules for image quality scoring, side classification, and identifiability prediction. Unlike previous approaches limited to single-species applications or high-resource settings, our framework generalizes across five cetacean populations with diverse visual characteristics. We achieve top-1 identification accuracies of 0.92 for Bigg's killer whales (Orcinus orca rectipinnus), 0.96 for Southern resident killer whales (Orcinus orca ater), 0.96 for Lahille's bottlenose dolphins (Tursiops truncatus gephyreus), 0.82 for common minke whales (Balaenoptera acutorostrata scammoni), and 0.85 for humpback whales (Megaptera novaeangliae), yielding a cross-species accuracy of 0.90. To support image triage in large datasets, we include a quality scoring module that predicts image utility using learned embedding features. This module achieves an R2 of 0.799, enabling intelligent prioritization of data. Runtime evaluations show processing speeds of 1.6–3.2 images/s on CPU and 9.6–23.3 FPS with GPU acceleration, making it suitable for archival and real-time applications. We also evaluate the impact of demographic metadata (age, sex) on identification performance and provide practical recommendations for future dataset design. The system is available via a web interface designed to support real-world conservation workflows with minimal computational overhead.

Espécies citadas

• Orcinus orca · orca
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Orcinus orca.
• Balaenoptera acutorostrata · baleia-anã
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Balaenoptera acutorostrata.
• Megaptera novaeangliae · baleia-jubarte
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Megaptera novaeangliae.
• Tursiops truncatus · golfinho-nariz-de-garrafa
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Tursiops truncatus.