Abu Dzar selain dikenal sebagai tokoh yang pemberani, ia juga dikenal teguh dalam pendirian. Ketika semasa kekhalifahan Utsman, para sahabat Nabi sibuk menimbun harta, ia tidak mau ikut-ikutan. Bahkan dengan lantang ia menentang sikap para sahabat tersebut. Dalam setiap kesempatan ia selalu mengingatkan agar umat Islam tidak terbuai dengan harta benda sehingga melupakan fakir miskin. Akibat sikapnya ini, Abu Dzar pun dikucilkan, dan kemudian dibuang mati di padang Rabdzah.

Apa yang dialami Abu Dzar rupanya telah diperkirakan oleh Rasulullah, "Ia datang seorang diri, berjuang sendiri, dan kelak akan mati dalam kesendirian."

Abu Dzar merupakan contoh tentang sahabat Nabi yang tetap konsisten hidup dalam kezuhudan. Walaupun ia bisa hidup kaya, tetapi lebih memilih menjadi orang yang zuhud dan sekaligus menjadi pembela kaum miskin.