Sete minutos de um cruzamento, lidos por uma máquina

01 · o que passou

316 veículos em 7 minutos

Só conta quem cruzou uma linha: 168 seguiram em frente se afastando da câmera, 98 vieram no sentido contrário e 50 cruzaram pela transversal. O rastreador acompanhou 606 objetos, mas boa parte é o mesmo carro parado na fila ou um pedaço de rastro que se perdeu atrás de outro veículo, e isso fica fora da conta. O que o modelo chama de truck junta picape, van e caminhão; a conferência da seção 05 mostra quanto tem de cada.

02 · o semáforo manda

O fluxo anda no ritmo da luz verde

A luz foi lida pela cor das lentes do próprio semáforo, sem ligação nenhuma com o controlador. Em 7 minutos couberam 3 ciclos completos: verde de 53,2 a 62,4 s, amarelo de 5 s e vermelho de 44,3 a 59,5 s. Nos três verdes completos seguiram em frente 25, 43 e 43 veículos. No vermelho a linha ainda registrou 26: 14 estavam na faixa da direita, que na Califórnia pode converter no vermelho depois de parar, e os outros 12 são a fila andando alguns metros, porque a linha de contagem fica antes da faixa de retenção.

03 · placa pequena não se lê

Quantos pixels uma placa precisa para ser lida

Das 266 passagens pela Friant, em 170 o detector achou a placa em pelo menos um quadro. Nas outras 96 nunca achou, quase sempre carro vindo de longe no sentido contrário. Uma leitura só vale quando o mesmo veículo teve três leituras ou mais e 75% dos caracteres concordaram entre elas, e 47 passaram nesse filtro. O gráfico explica por que foram poucas: esta câmera foi posta para mostrar o cruzamento, e a placa quase nunca passa de 80 pixels de largura. Abaixo de 40 px nenhuma foi lida. A Axis pede 130 px.

04 · onde vai o tempo

177 ms por quadro, medidos etapa por etapa

O processamento inteiro rodou num notebook com Intel Core i7-13700H, sem placa de vídeo: 38,5 minutos para 7 minutos de vídeo, 5,5 quadros por segundo. As duas detecções ficam com quase todo o tempo, 75 ms para veículos e 88 ms para placas na mediana. Rastrear, ler a placa e pixelar custam pouco perto disso.

05 · como eu conferi

Número de máquina, conferido à mão

O que eu não medi: quantos veículos passaram sem ser contados. Isso exige contar os 7 minutos à mão, e fica para a próxima rodada. As horas da página são as do relógio da câmera. No começo da gravação ele marcava uns 14 segundos a menos que o relógio do meu computador, diferença que soma o atraso da transmissão do YouTube e um possível desvio do relógio da câmera.

06 · limites desta câmera

O que uma câmera feita para ler placa exige

Para rodar ao vivo, quase nada muda no código. Aqui o vídeo veio de uma gravação; numa instalação real ele chega da câmera por RTSP, o protocolo que a maioria das câmeras IP já fala. O mesmo FFmpeg abre o fluxo, o mesmo processamento roda quadro a quadro, e em vez de gravar um arquivo o resultado vai por WebSocket para um painel como o de cima, ao vivo.

1. Câmera IPRTSP / ONVIF
2. FFmpegabre o fluxo
3. Detecção, rastreio, placao pipeline desta página
4. Eventoscontagem, placa, semáforo
5. Painel ao vivoWebSocket

O que muda de verdade é a câmera. Esta foi instalada para mostrar o cruzamento, não para ler placa, e o gráfico da seção 03 mostra o preço disso. Os fabricantes publicam o que uma câmera de leitura de placa precisa:

Três tipos de câmera, pela ficha técnica

Exemplos de cada tipo com a ficha técnica do fabricante. O que muda de um para outro é lente, sensibilidade à luz e se a leitura de placa já vem embarcada.

Onde o processamento roda

07 · privacidade

A placa foi lida e não aparece

O texto das placas não sai desta página: o painel mostra só que a placa foi lida, quantas vezes e com que confiança. No vídeo, toda placa detectada é pixelada. Além disso, todo veículo que o detector achou e cuja caixa tem 100 px de altura ou mais tem a parte de baixo pixelada, inclusive alguns quadros antes e depois do rastro. Isso cobre a maior parte das placas que o detector de placa perdeu. Veículo pequeno demais, lá no fundo, não recebe a faixa: a placa dele também não passa de uns 20 px e não sai legível, mas isso é um limite, não uma garantia. Sobra um caso: veículo e placa perdidos no mesmo quadro, e é para ele que serve a conferência a olho abaixo. A data do relógio do canal também foi coberta.

Rosto eu não pixelo, então o mínimo é olhar. O detector rastreou 51 pessoas e bicicletas nestes sete minutos. Conferi as doze maiores, recorte por recorte: oito são a cabeça do semáforo de pedestre lida como gente, de novo e de novo. As outras quatro mostram um retrovisor de caminhão, uma silhueta em contraluz e alguém de costas. Nenhum rosto identificável — a maior caixa de pessoa do vídeo inteiro tem 310 px de altura, o que põe um rosto em uns 30 px. Isso é uma conferência, não uma garantia.

O que este método não cobre: rosto não é tratado. A placa que o detector nunca achou não é pega pelo ataque automático, porque ele usa o mesmo detector. E ataque que combina vários quadros para reconstruir o mosaico eu não testei. Nada disso aqui é "impossível de recuperar" — é o que eu tentei, com a melhor ferramenta que eu tinha, e o que eu não consegui provar está escrito.

Conferi de dois jeitos. Rodei o mesmo leitor de placa em cima do vídeo publicado, ampliado para 1920 px, nos 12.750 quadros, todos. Ele não achou nenhuma leitura em forma de placa.

Zero não prova nada sozinho: lê igual quando o vídeo está limpo e quando a ferramenta quebrou. Então rodei o mesmo comando no vídeo original, sem pixelar, como controle. Em 400 quadros ele achou 224 leituras em forma de placa, 142 delas a dois caracteres ou menos de uma placa real, com distância mínima zero — acerto em cheio. A ferramenta enxerga. No vídeo publicado, nos 12.750 quadros, ela não enxerga nada. Como esse teste tem o mesmo ponto cego do detector, também olhei 25 quadros inteiros sorteados, incluindo o do pôster, procurando qualquer placa legível: não achei nenhuma. O texto completo das placas existe só no computador onde rodei a análise, para a conferência manual.

08 · o código

O mesmo processamento, rodando na sua máquina

Tudo o que está nesta página é código aberto, licença MIT, e roda em processador comum. O repositório não traz vídeo, nem peso de modelo, nem resultado pronto: você traz a sua imagem. Junto vem um visor de um arquivo só, que abre no navegador e lê o vídeo e os números do seu próprio disco — nada sai da sua máquina, a página não faz uma requisição de rede sequer.

Ver o código no GitHub MIT · Python + ONNX Runtime · sem GPU · 17 testes que rodam sem vídeo e sem modelo

Rodar no seu vídeo, passo a passo

Precisa de Python 3.12 ou mais novo e do FFmpeg no PATH, que só o passo 5 usa. Do clone até o primeiro número na tela, cinco passos.

1. Instalar

   git clone https://github.com/eucleberpaiva/plateproof.git
   cd plateproof
   python -m venv .venv
   .venv\Scripts\activate          # Linux e macOS: source .venv/bin/activate
   python -m pip install --require-hashes -r requirements.txt
   python -m plateproof.models
   python -m unittest

   O --require-hashes faz o pip recusar qualquer pacote cujo hash não seja o travado no arquivo. O plateproof.models faz o mesmo com os três modelos: baixa da fonte original e confere o SHA-256 de cada um. Se a fonte trocar o arquivo, o download falha em vez de rodar um modelo diferente.
2. Calibrar a cena

   cp scenes/example-intersection.toml scenes/minha-cena.toml
   python -m plateproof.sample meu-video.mp4 out --n 3

   Abra os quadros que caíram em out/sheets/ num editor de imagem que mostre a posição do cursor e anote as coordenadas: onde ficam as linhas de contagem, a caixa de cada semáforo e as áreas que não são placa (logotipo, relógio). Cada campo está explicado dentro do arquivo. Essa calibragem é a única parte que dá trabalho, e é ela que faz a contagem valer alguma coisa.
3. Processar

   python -m plateproof.analyze meu-video.mp4 scenes/minha-cena.toml out --max 300
   python -m plateproof.summarize scenes/minha-cena.toml out

   O --max 300 processa só os primeiros 300 quadros: confira a calibragem antes de entregar o vídeo inteiro. Só quer a contagem? Rode o analyze com --no-text: a placa continua sendo detectada para ser pixelada depois, mas nenhum texto e nenhum recorte é gravado.
4. Ver

   viewer/index.html

   Abra esse arquivo no navegador e escolha o seu vídeo e o out/tracks.json. É o visor do vídeo aí em cima.
5. Antes de mostrar o vídeo para alguém

   python -m plateproof.privacy meu-video.mp4 scenes/minha-cena.toml out
   python -m plateproof.verify out/public.mp4 scenes/minha-cena.toml out
   python -m plateproof.sample out/public.mp4 out --n 24

   O primeiro gera o vídeo com as placas pixeladas. O segundo ataca esse vídeo com o mesmo leitor de placa, mais sensível do que na análise, e sai com erro sempre que marca alguma coisa — de propósito: o veredito é seu, olhando recorte por recorte. O terceiro sorteia quadros inteiros para você conferir a olho. É a mesma conferência da seção 07 desta página.

Uma placa de veículo identifica uma pessoa. Antes de apontar isso para uma câmera: imagem que você tem direito de usar, publicação só do que passou pelo passo 5, e apagar os arquivos sensíveis quando a conferência acabar. O repositório marca, arquivo por arquivo, o que pode e o que não pode sair da sua máquina.

09 · créditos

Quem fez as peças que eu montei

• ImagemTransmissão ao vivo do canal Friant Roulette no YouTube, Fresno, Califórnia. Trecho de sete minutos gravado da transmissão ao vivo.
• Detecção de veículosYOLOX, Megvii, licença Apache 2.0.
• Detecção e leitura de placafast-alpr, open-image-models e fast-plate-ocr, ankandrew, licença MIT. O detector de placa usa a arquitetura YOLOv9 (Wang, Yeh e Liao, 2024).
• Dados de treinoO detector de veículos aprendeu no COCO (Lin et al., 2014), anotações sob licença CC BY 4.0.
• RastreioByteTrack (Zhang et al., 2022) pela biblioteca supervision, Roboflow, licença MIT.
• ExecuçãoONNX Runtime, Microsoft, licença MIT · FFmpeg, LGPL · OpenCV, Apache 2.0.
• HardwareGuias da Axis, Hikvision e Milesight; fichas técnicas de Intelbras e Hikvision; Raspberry Pi, Hailo e NVIDIA. Links em cada linha acima.