Robinson NJ, Mazumdar P, Allan BF, Aguzzi J, Chen B, Hsieh BY, Millet L, Tomás J, Terstriep J, Soliman A. · The Journal of experimental biology · 2026

Classifying behaviors from animal-borne cameras using machine learning: automated identification of breathing events in sea turtles.

Resumo em português

Câmeras acopladas nos animais são cada vez mais utilizadas para estudar o comportamento animal. Aqui, avaliamos a utilidade de três modelos de aprendizado de máquina — Resnet-50 (3 épocas), Resnet-50 (10 épocas) e Vision Transformer (ViT) (3 épocas) — para identificar o comportamento respiratório a partir de imagens filmadas por câmeras acopladas em tartarugas-verdes (Chelonia mydas). O modelo ViT apresentou médias de exatidão (Accuracy) de 97,2%, precisão (Precision) de 63,3% e F1 de 72,7%, superando os modelos Resnet-50, enquanto todos os modelos apresentaram sensibilidade (Recall) superior a 99,9%. Assim, o modelo ViT identificou corretamente quase todos os quadros de respiração, embora falsos positivos (quadros de apneia classificados como respiração) fossem relativamente comuns, o que levou a uma superestimação das taxas de respiração. Concluímos que os modelos ViT são uma solução promissora para classificação comportamental de imagens de câmeras acopladas em animais e, mesmo que ainda não sejam capazes de calcular automaticamente todos os eventos respiratórios em tartarugas marinhas, ainda assim podem reduzir substancialmente a quantidade de imagens que precisam ser verificadas e rotuladas manualmente.

Resumo original em inglês

Animal-borne cameras are increasingly used to study animal behavior. Here, we assessed the utility of three machine-learning models - Resnet-50 (3 epochs), Resnet-50 (10 epochs) and Vision Transformer (ViT) (3 epochs) - for identifying breathing behavior from animal-borne camera footage from green turtles (Chelonia mydas). The ViT model had mean Accuracy (97.2%), Precision (63.3%) and F1 (72.7%) scores that outperformed the Resnet-50 models, while all models had a Recall of >99.9%. Thus, the ViT model correctly identified almost all breathing frames although false positives (apnea frames labeled as breathing) were relatively common and led to an over-estimation of breathing rates. We conclude that ViT models are a promising solution for behavioral classification of animal-borne camera footage and even if not yet capable of the fully automated calculation of breathing events in sea turtles, they can still massively reduce the quantity of footage that needs to be manually checked and labeled.

Espécies citadas

• Chelonia mydas · tartaruga-verde
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Chelonia mydas.