Les deux orthographes sont acceptables.
Si vous voulez parler de la petite quantité de sympathie inspirée, écrivez :
Le peu de sympathie que vous m'avez inspiré. = Vous m'avez inspiré ce peu de sympathie
Si vous voulez parler de la sympathie bien modeste, écrivez :
Le peu de sympathie que vous m'avez inspirée. = Vous m'avez inspiré une sympathie bien modeste.