Crawler não rastreia completamente a arvore de categorias e não encontra produtos

[Narcipe]

O crawler do Google (google-bot), absolutamente, não encontra as páginas dentro da estrutura do site como deveria. Um site com cerca de 3.000 produtos distribuídos dentro de categorias não são encontrados pelos buscadores. Apenas os que estão nas vitrines da home são rastreados, mas mesmo assim, apenas 3 produtos por carrosel aparecem na auditoria do screaming frog e SemRush.

Alguém já passou por esse problema?

[estevao_santos]

Fala @Narcipe tudo bem?

Você já tentou verificar os seguintes pontos:

1. Seu XML captura essa página/produtos?
2. Verificou se o seu Robots.txt está afetando a exibição dessas páginas para o crawler do Google?
3. Verifica seu Google Search Console se tem algo a respeito dessa indexação de páginas. Geralmente ele mantém relatórios informando o motivo da não indexação;

Para obter mais informações do sitemap, você pode acessá-lo através do link https://{account}.myvtex.com/sitemap.xml ou se ainda não foi configurado, pode seguir a documentação Store Sitemap<!-- --> by <!-- -->vtex quando sua loja é VTEX IO.

Geralmente este arquivo já é montado automaticamente pela VTEX.

Robots.txt na VTEX também é gerado automaticamente, mas você pode editá-lo. Geralmente você o encontra dessa forma https://www.SUALOJA.com.br/robots.txt

Veja o passo a passo para editar
Rastreamento Google Search Console - robots.txt

Sobre o Google Search Console
Verificar propriedade no Google Search Console de loja VTEX

Essas são algumas dicas para que você consiga afunilar mais sobre essa questão da não indexação das páginas no Google.

Espero que ajude.

Abs.
Estevão.