Barnhill A, Towers JR, Sutton GJ, Shaw TJH, Doniol-Valcroze T, Maier A, Nöth E, Bergler C. · Ecology and evolution · 2026

Leveraging Co-Occurrence to Improve Deep Learning Photo-Identification in Social Animals.

Resumo em português

A fotoidentificação é fundamental para inferências baseadas em indivíduos em inúmeros estudos ecológicos, porém sua aplicação em arquivos de várias décadas é limitada pelo tempo exigido de especialistas. O aprendizado profundo pode acelerar o pareamento, contudo a maioria das abordagens trata fotografias como observações independentes, ignorando um aspecto-chave do método de coleta de dados: os indivíduos são registrados em encontros estruturados e frequentemente apresentam associações persistentes e não aleatórias. Apresentamos um procedimento de identificação ao nível do encontro, independente do modelo, que incorpora o contexto social como componente probabilístico aplicável. Dados os posteriores do classificador por imagem, realizamos uma fusão log-linear de três fontes de informação: (i) probabilidades baseadas na imagem, (ii) priors globais de avistamento (frequência da classe), e (iii) um termo de contexto condicionado ao encontro derivado da coocorrência histórica (log lift). O método opera como pós-processamento leve, sem necessidade de novo treinamento ou alterações arquiteturais no modelo de imagem. Usando um conjunto longitudinal de fotoidentificação como estudo de caso (orcas transientes da Costa Oeste, espécies de Bigg), avaliamos (a) configurações assistidas por especialistas, nas quais um pequeno número de indivíduos presentes no encontro é conhecido sem rótulos ao nível da imagem, e (b) configurações totalmente automatizadas que inicializam o contexto a partir das próprias predições de alta confiança do modelo. Em uma retenção temporal rigorosa (10% mais recentes), a fusão de contexto do encontro reduz erro top-1 em ~14% a 25% com inicialização assistida por especialista; uma variante totalmente automatizada gera até ~24% menos identificações incorretas uma vez que existe histórico de treinamento suficiente, melhorando o Macro-F1 em +0,088 a +0,104, com sobrecarga computacional mínima. Controles placebo e de corrupção da inicialização confirmam que os ganhos dependem da estrutura significativa de coocorrência e desaparecem quando o contexto do encontro é destruído. Transformando a estrutura do encontro em componente probabilístico reutilizável, este trabalho conecta métodos consagrados na análise de sociedades animais com pipelines práticos e escaláveis de fotoidentificação. A abordagem é aplicável a qualquer sistema onde indivíduos são observados repetidamente em grupos (ex., cetáceos, primatas, ungulados, rajadas de armadilhas fotográficas) e fornece um mecanismo transparente para incorporar contexto social na identificação automatizada.

Resumo original em inglês

Photo-identification underpins individual-based inference in numerous ecological studies, but scaling it to decades-long archives remains limited by expert time. Deep learning can accelerate matching, yet most pipelines treat photographs as independent observations and therefore ignore a key aspect of the data collection method: individuals are recorded in structured encounters and often exhibit persistent, non-random associations. We present a model agnostic, encounter-level identification procedure that incorporates social context as a deployable probabilistic component. Given per-image classifier posteriors, we perform log-linear fusion of three information sources: (i) image-based probabilities, (ii) global sighting priors (class frequency), and (iii) an encounter-conditioned context term derived from historical co-occurrence (log lift). The method operates as lightweight post-processing and requires no retraining or architectural changes to the image model. Using a longitudinal photo-identification dataset as a case study (West Coast Transient Bigg's killer whales), we evaluate (a) expert-assisted settings in which a small number of individuals present in an encounter are known without image-level labels, and (b) fully automated settings that initialize context from the model's own high-confidence predictions. On a strict temporal holdout (newest 10%), encounter-context fusion reduces top-1 error by ~14%-25% with expert-assisted seeding; a fully automated variant yields up to ~24% fewer misidentifications once sufficient training history exists, improving Macro-F1 by +0.088 to +0.104, with minimal computational overhead. Placebo and seed-corruption controls confirm that gains depend on meaningful co-occurrence structure and collapse when encounter context is destroyed. By turning encounter structure into a reusable probabilistic component, this work bridges established methods for analyzing animal societies with practical, scalable photo-identification pipelines. The approach is applicable to any system where individuals are repeatedly observed in groups (e.g., cetaceans, primates, ungulates, camera-trap bursts) and provides a transparent mechanism to incorporate social context into automated identification.