Слово происходит от глагола «волочь», «волочить». Изначально «сволочь» означало «сволочённый куда-либо мусор». Затем это понятие стали переносить на бродяг и прочий «никчемный люд».
Изначально слово появилось от погорельцев с города Волочь. Ходили люди побирались по Руси говоря с Волочи мы, помогите. Потом мошенники взяли на вооружение форму подаяния и выражение приобрело совсем другой смыл и превратилось в ругательство.