Qual câmera eu quero utilizar?
A primeira pergunta que devemos fazer quando escolher uma câmera ou um co-processador é "o quê eu quero que ela faça?"
AprilTags
Na escolha de um sistema para trabalhar com AprilTags, é importante considerar fatores como: desempenho em tempo real e integração com o robô.
Comparação de soluções para Detecção de AprilTags
Solução | Prós | Contras |
---|---|---|
Limelight 4 com o Hailo-8 | - Localização de AprilTags Acelerada pelo Hailo (2x-3x mais rápida que a localização de AprilTags em CPU) - Projetada para a detecção de AprilTags - IMU interno para algoritmo de estimação de posição - Amplo FOV (80 x 56 graus) - Algoritmos de estimação de posição da Limelight - Câmera monocromática (não enxerga cores) |
- Investimento mais alto - Dependência das atualizações feitas pela equipe da Limelight |
Limelight 4 | - IMU interno para algoritmo de estimação de posição - Projetada para a detecção de AprilTags - Amplo FOV (80 x 56 graus) - Maior poder de processamento - Algoritmos de estimação de posição da Limelight - Câmera monocromática (não enxerga cores) |
- Investimento mais alto - Dependência das atualizações feitas pela equipe da Limelight |
Limelight 3G | - Projetada para a detecção de AprilTags - Amplo FOV (80 x 56 graus) - Excelente desempenho em baixa luz - Algoritmos de estimação de posição da Limelight - Câmera monocromática (não enxerga cores) |
- Limitada a tarefa de deteção de Apriltag - Dependência das atualizações feitas pela equipe da Limelight |
Limelight 3 | - Desempenho extremamente confiável - Mesmos algoritmos de estimação de posição da Limelight 3G |
- Menos poder de processamento que a versão 3G para Apriltags - Não foi criada especificamente para detecção de Apriltags - Dependência das atualizações feitas pela equipe da Limelight - FOV um pouco menor que a 3G |
Orange PI 5 com PhotonVision | - Extremamente versátil Suporta até 3 Câmeras fazendo detecção ao mesmo tempo - Podem ser utilizadas câmeras monocromáticas |
- Configuração mais complexa - Requer otimização manual para melhor desempenho. |
Detalhes das Soluções
-
Limelight 4:
- Solução mais recente da Limelight
- Tem como objetivo, corrigir erros que a 3G tinha e aumentar o processamento
- Tem a opção de comprar junto com o Hailo-8, que trás 2x-3x mais processamento, além de features de machine learning
-
Limelight 3G:
- Otimizada para tarefas como detecção de AprilTags e alinhamento automático.
- Inclui hardware robusto e software especializado para processamento de Apriltags para estimativa de posição
- Ideal para equipes que buscam uma solução completa e de fácil implementação.
-
Limelight 3:
- Modelo anterior à 3G
- Oferece suporte confiável para detecção de AprilTags com desempenho sólido e outras funcionalidades de detecção oferecidas pela Limelight
- Excelente para equipes que desejam um equilíbrio entre custo e funcionalidade
-
Orange PI 5 com PhotonVision:
- Uma solução flexível que a Orange PI para executar o PhotonVision.
- Suporta uma ampla variedade de câmeras, permitindo personalização conforme a necessidade.
- Requer mais conhecimento técnico, mas é uma opção poderosa e mais em conta
- No caso das Apriltags, você pode utilizar outros Co-processadores para essa detecção, porém a performance é sacrificada.
- Cheque a lista de desempenho de Câmeras e Co-processadores feita pelo time da PhotonVision
Detecção de Objetos
A detecção de objetos é um recurso importante para robôs na FRC, especialmente quando se trata de identificar e rastrear game pieces, obstáculos e outras entidades no campo. Utilizando algoritmos baseados em redes neurais e processamento de imagens, os sistemas de detecção de objetos podem trazer precisão e rapidez às ações do robô.
Sistema | Prós | Contras |
---|---|---|
Limelight 4 com o Hailo-8 | - Detecção de objeto com YoloV8 na Hailo-8 em 80FPS - Amplo FOV (80 x 56 graus) - Algoritmos de estimação de posição da Limelight - Câmera monocromática (não enxerga cores) |
- Investimento mais alto - Dependência das atualizações feitas pela equipe da Limelight |
Limelight 4 | - Detecção de Objetos com MobileNet na CPU a 20 FPS - Amplo FOV (80 x 56 graus) - Maior poder de processamento - Algoritmos de estimação de posição da Limelight |
- Investimento mais alto - Dependência das atualizações feitas pela equipe da Limelight |
Limelight 3 com Google Coral | - Integração nativa com redes neurais prontas ou customizáveis - Pipelines Python customizáveis - Fácil configuração. |
- Utiliza apenas 1 câmera |
PhotonVision com Orange Pi 5/5+ | - Suporte a redes neurais avançadas distribuidas pelo time da Photonvision - Suporta até 3 câmeras fazendo detecção |
- Configuração técnica necessária. |
Detalhes das Soluções
-
Limelight 4:
- Solução mais recente da Limelight
- Tem a opção de comprar junto com o Hailo-8, acelerador de machine learning similar ao Google Coral porém mais poderoso
- 2x mais processamento que a 3
-
Limelight 3 com Google Coral
- Suporte a detecção de objetos utilizando redes neurais.
- Integração nativa com o Google Coral via USB
- USB 3.0 (5 Gbps) para conexão com o Google Coral.
- Ventilador com velocidade variável e desempenho térmico otimizado.
A Limelight DEVE ser utilizada com o Google Coral para uma detecção de objetos robusta
-
PhotonVision com Orange Pi 5/5+
- Suporte a redes neurais avançadas como YOLO ou TensorFlow Lite.
- Personalização completa para detecção de objetos e outras tarefas de visão.
- A Orange Pi 5/5+ oferece desempenho comparável a outros co-processadores de alto nível, mas com menor custo.
- Suporte a câmeras de alta resolução.
- A própria equipe deve fazer uma solução de resfriamento
O Co-processador DEVE ser a para uma detecção de objetos robusta