Wafatnya Khalifah Utsman bin Affan meninggalkan duka mendalam bagi kaum muslimin. Tampuk pimpinan yang kosong membuat beberapa sahabat khawatir dan berinisiatif mencari pengganti Khalifah Utsman bin Affan. Thalhah bin Ubaidillah dan Zubair bin Al-Awwam mendesak Ali bin Abi Thalib agar bersedia menjadi khalifah. Dengan memper-timbangkan banyak hal, Ali bin Abi Thalib bersedia dan dibai'at sebagai khalifah.

Perjuangan Khalifah Ali bin Abi Thalib dalam mempertahankan keutuhan umat mendapat banyak pertentangan. Semuanya dilandasi tuntutan pembalasan atas terbunuhnya Khalifah Utsman bin Affan. Pada saat itu, Khalifah Ali belum bisa melaksanakan tuntutan itu karena masih dihantui ketidaksetujuan beberapa gubernur atas kepemimpinannya.

Khalifah Ali bin Abi Thalib tidak tinggal diam. Beliau berusaha mencari jalan tengah dan perdamaian dengan semua pihak. Sayangnya, ada saja kelompok-kelompok yang tidak menginginkan perdamaian itu. Kerja keras beliau menjaga kepemimpinan Khulafaur Rasyidin pun berakhir dengan syahidnya Khalifah Ali bin Abi Thalib di tangan seorang Khawarij.