хотя нам остается лишь подозревать
Ключевая фраза. Подозревать можно кого угодно в чем угодно. Только одно дело подозревать на основе фактов, а другое на основе причисления к «этим» партиям. При чем это причисление, видимо, основано на этих самих подозрениях. Короче, попытка врагов навести тень на плетень.