Sophia Sandholm · Frontiers in Marine Science · 2025

Machine learning to predict killer whale (Orcinus orca) behaviors using partially labeled vocalization data

Resumo em português

Orcinus orca (orcas) exibem chamadas complexas. Em uma chamada, uma orca normalmente varia as frequências, o comprimento, os padrões temporais, os volumes e pode usar múltiplas frequências simultaneamente. Dados comportamentais são difíceis de obter porque orcas vivem debaixo d’água e viajam rapidamente. Dados sonoros são relativamente fáceis de captar. Este artigo investiga se aprendizado de máquina pode prever comportamento a partir de vocalizações. Tal previsão auxiliaria pesquisas científicas e teria aplicações de segurança, pois seria possível prever comportamento captando apenas o som. Um desafio significativo nesse processo é a falta de dados rotulados. Este estudo utiliza gravações recentes de orcas em McMurdo Sound, onde cada gravação é rotulada com os comportamentos observados durante a gravação. Isso gera um conjunto de dados em que segmentos sonoros — vocalizações contínuas que podem ser entendidas como sequências de chamadas ou estruturas mais gerais — dentro das gravações são rotulados com comportamentos potencialmente excessivos. Isso porque, em um dado segmento, uma orca pode não exibir todos os comportamentos observados na gravação da qual o segmento foi extraído. Apesar disso, com uma combinação cuidadosa de técnicas recentes de aprendizado de máquina, incluindo uma rede neural convolucional ResNet-34 e uma função de perda personalizada para aprendizado com rotulagem parcial, alcançou-se 96,1% de acurácia na classificação geral de rótulos comportamentais em segmentos não previamente analisados. Isso é promissor para futuras pesquisas sobre comportamento de orcas, além de aplicações linguísticas e de segurança.

Resumo original em inglês

Orcinus orca (killer whales) exhibit complex calls. In a call, an orca typically varies the frequencies, varies the length, varies the temporal patterns, varies their volumes, and can use multiple frequencies simultaneously. Behavior data is hard to obtain because orcas live under water and travel quickly. Sound data is relatively easy to capture. This paper studies whether machine learning can predict behavior from vocalizations. Such prediction would help scientific research and have safety applications because one would like to predict behavior while only having to capture sound. A significant challenge in this process is lack of labeled data. This paper works with recent recordings of McMurdo Sound orcas where each recording is labeled with the behaviors observed during the recording. This yields a dataset where sound segments—continuous vocalizations that can be thought of as call sequences or more general structures—within the recordings are labeled with potentially superfluous behaviors. This is because in a given segment, an orca may not be exhibiting all of the behaviors that were observed during the recording from which the segment was taken. Despite that, with a careful combination of recent machine learning techniques, including a ResNet-34 convolutional neural network and a custom loss function designed for partially labeled learning, a 96.1% general behavior label classification accuracy on previously unheard segments is achieved. This is promising for future research on orca behavior as well as language and safety applications.

Espécies citadas

• Orcinus orca · orca
  ?

  Nomes populares variam entre regiões e uma mesma palavra pode designar espécies diferentes. Confira sempre o nome científico: Orcinus orca.