Aplicação da tecnologia de imagem hiperespectral na detecção de defeitos de superfície de FPCB

 I. Limitações da inspecção visual tradicional

As placas de circuito impresso flexíveis (FPCB) são amplamente usadas em campos como smartphones, telas flexíveis e dispositivos portáteis devido à sua boa flexibilidade e capacidade de dissipação de calor.À medida que a densidade do circuito continua a aumentar, os tipos de defeitos superficiais estão a tornar-se cada vez mais complexos, com defeitos comuns que incluem curto-circuitos, circuitos abertos, saliências, manchas brancas, manchas pretas e buracos quebrados.

Nos métodos tradicionais de detecção, a correspondência de modelos baseada em imagens RGB é amplamente utilizada.Estes métodos são sensíveis às condições de iluminação■ quando a distribuição da luz é desigual, é fácil produzir falsas detecções ou detecções perdidas.dificultando a sua distinção com precisão, baseando-se unicamente em imagens de luz visível.

II. Construção do sistema de imagem hiperespectral

Para melhorar a estabilidade da detecção, este estudo construiu um sistema de imagem microscópica hiperespectral. O sistema consiste numa câmara hiperespectral, um microscópio e um software de aquisição.A câmara hiperspectral adota o modelo FS-23 da CHNSpec, que apresenta uma faixa espectral de 400 ‰ 1000 nm e uma resolução espectral de 2,5 nm.

Para facilitar o processamento, cada quatro bandas adjacentes foram fundidas em uma no estudo.Obtendo finalmente uma estrutura de dados de 300 bandasO tamanho de uma única imagem hiperespectral é de 1920 × 960 pixels × 300 bandas, cobrindo toda a informação espectral do condutor de cobre e do substrato poliimida.

A vantagem da imagem hiperespectral reside na sua capacidade de obter uma curva espectral contínua para cada pixel.O estudo revelou que existem diferenças significativas na resposta espectral do cobre e da poliimida na faixa de comprimento de onda de 500-750 nm, que fornece uma base fiável para a segmentação das imagens e a identificação dos materiais.

III. Método de detecção baseado na informação espectral

O quadro de detecção proposto neste estudo consiste em duas sub-redes: FPCB-LocNet para localização de defeitos e FPCB-ClaNet para classificação de defeitos.

No estágio de localização, o FPCB-LocNet utiliza núcleos de convolução 3D de múltiplas escalas para extrair características de ambas as dimensões espaciais e espectrais simultaneamente.Dois tamanhos diferentes de núcleos de convolução são usados na rede para se concentrar em estruturas espaciais locais e características espectrais, respectivamenteEsta concepção permite que a rede capture simultaneamente texturas espaciais finas e alterações espectrais contínuas.alcançar a segmentação a nível de pixels de cobre e poliimidaApós a segmentação ser concluída, as áreas anormais são localizadas através de correspondência de modelos.

Na fase de classificação, tendo em conta o número limitado de amostras hiperspectrais, a rede adopta uma estratégia de aprendizagem por transferência,primeiro pré-treino no conjunto de dados de imagens FPCB RGB e, em seguida, ajuste fino em imagens pseudo-color- tendo em vista o problema dos números de amostras desequilibrados para as diferentes categorias de defeitos,São introduzidas estratégias de amostragem equilibrada por categoria e de decaimento de peso na rede para permitir que o modelo se concentre mais nos tipos de defeito com menos amostras.Ao mesmo tempo, o mecanismo de atenção da SE é incorporado para melhorar o foco da rede nas principais características.

IV. Resultados experimentais e valor de aplicação

Em termos de segmentação de imagens, o FPCB-LocNet tem um desempenho melhor do que os métodos tradicionais de segmentação, como o método de entropia, o algoritmo de divisão de águas e o Otsu, quando se processam imagens com iluminação desigual,com uma precisão de segmentação de até 97Na tarefa de classificação, a precisão de classificação global do FPCB-ClaNet para seis tipos comuns de defeitos é de 97,84%.

Os experimentos de ablação verificaram a contribuição real de cada módulo: o aumento dos dados melhorou a precisão da classificação,A amostragem equilibrada por categorias e a desintegração de peso melhoraram eficazmente o efeito de reconhecimento das categorias de cauda, e o mecanismo de atenção SE trouxe uma melhoria estável no desempenho da classificação, ao mesmo tempo que acrescentou um pequeno número de parâmetros.Os resultados de visualização dos mapas de calor Grad-CAM mostram que as áreas de preocupação do modelo são altamente consistentes com os locais reais de defeito.

Este estudo combina imagens hiperespectrais com aprendizado profundo para construir uma cadeia de processamento completa da aquisição de dados, segmentação de imagens e localização de defeitos até classificação de defeitos.Este método pode completar de forma estável a tarefa de identificação de defeitos de superfície de FPCB sem depender de condições de iluminação específicas, fornecendo um caminho técnico viável para a gestão da qualidade de fabricação de placas de circuito flexíveis de alta densidade.

Recomendação do produto:FigSpec FS-23 Imagem de câmara hiperespectral

• Resolução da imagem: 1920*1920
• Faixa espectral: 400-1000 nm
• Resolução espectral (FWHM): 2,5 nm
• Número de canais espectrais: 1200