Isso porque, quando um página da internet aponta um hyperlink para desigual, é como se a menção transmitisse um voto com padrão dizendo que aquele conteúdo é relevante.
Ele analisará fatores tal como que tirou o link, qual teu Domain e Page Rate, por exemplo, para aprazar os dois pontos.
Provavelmente seus concorrentes contem links de melhor padrão direcionados para seus, respectivos, sites.