S třetím albem Deep Shadows & Brilliant Highlights odešlo i spoustu fanoušků, je totiž dost jiná než předchozí desky. Více si pohrává s popem a to holt není každému po chuti. Už v té době ale bylo znát, že kapela si začíná utvrzovat své právoplatné místo na scéně. I přesto všechno ale přichází jedna z mnoha krizí. Koncertní nasazení, problémy s vydavatelstvím, producentem a hádky uvnitř HIM se na kapele jak negativně podepsaly, a proto si dávají roční pauzu.
Pauzu kapela využila k odpočinku, dovolenkám a skládání nové hudby. V roce 2003 pak vydávají Love Metal a opět nasazují tvrdší tón a vracejí se ke svým kořenům. Práce se známým producentem a celkově lepší nálada v kapele se na albu podepíše, a tak znovu zažívají úspěch. Objevují se třeba jako headlineři na Masters of Rock ve Vizovicích.
Kromě toho, že Love Metal byla jejich čtvrtá deska, tak díky ní vznikl i název žánru, který HIM hráli. Odnoží metalu, která míchá drsné melodie s romantickými texty, začali novináři říkat "love metal" a postupem času se to vžilo u všech. Pozor, neplést název žánru s texty většiny české mainstreamové scény!