Hz. Osman’ın öldürülmesi, İslâm tarihinde sürüp giden birçok kanlı olayın başlangıcı olmuştur. Hz. Osman’dan sonra halifelik makamına Hz. Ali seçilmiştir. Ashab’ın bir kısmı yeni halifeye biat etmekte tereddüt göstermiştir. Hz. Ali hilafete geçtiğinde bir takım gruplar da siyasî alanda mücadele ediyorlardı. Bu gruplar:
• Liderliğini, Suriye ve Filistin valisi Muaviye’nin yaptığı Emevîler,
• Talha ve Zübeyr’in içinde bulunduğu ve daha sonra Hz. Ayşe’nin etrafında toplanacak Medine grubu.
• Allah’ın emri ve Peygamber’in sünneti üzerine yaşamayı seçen dindar grup,
• Hz. Ali ve onu destekleyenler.
Hz. Ali halifelik makamına geçer geçmez, Talha ve Zübeyr, Hz. Osman’ın katillerinin bulunması için Mekke’de Hz. Ayşe ile bir araya gelerek muhalefete başladılar. Mekke’de kalarak Medine’ye karşı muhalefet edemeyeceklerini anlayınca Basra’ya gittiler. Bütün bu yaşananların ardından Hz. Ali, Medine’deki desteğinin azaldığına inanarak 656 yılının Ekim ayında Kûfe’ye doğru yola çıktı. Böylece Medine, İslâm Devleti’nin siyasî merkezi olmaktan çıkmış ve ilk defa İslâm ordusu, Müslümanlardan oluşan bir başka orduyla karşı karşıya gelmiştir.
Kûfelilerin desteğini kazanmış olan Hz. Ali, Basra üzerine yürümüş ve görüşmeler sonuçsuz kalınca savaş kaçınılmaz olmuş, muhalefetin başında bulunan Talha ve Zübeyr bu savaşta hayatlarını kaybetmişlerdir. İslâm tarihinde Cemel Vak‘ası (656) adı verilen bu savaş, Hz. Ayşe’nin bindiği devenin etrafında cereyan ettiği için bu şekilde isimlendirilmiştir. Savaş sonrasında Hz. Ali’nin halifeliği bütün Irak’ta tanınmış ve Kûfe merkez haline getirilmiştir.
Hz. Osman’ın intikamını alma görevi, Emevî sülalesinin başında bulunan Suriye valisi Muaviye b. Ebû Süfyan’a kalmıştı. Muaviye, doğrudan halifelik makamında hak iddia etmiyor fakat Hz. Osman’ın ölümünden ötürü Hz. Ali’yi itham ederek makamına gölge düşürüyordu. Muaviye, Hz. Ali’nin kendi yerine gönderdiği valiyi kabul etmeyince halife, ordusuyla birlikte Suriye’ye doğru yola çıktı. İki ordu 657 yılında, Suriye sınırındaki Sıffîn yakınlarında karşılaştı. İlk çarpışmalarda Hz. Ali başarı elde etse de Muaviye bu durumu, Mısır valisi Amr b. As sayesinde değiştirdi. Mağlup durumdaki Suriyeliler, Kur’an sayfalarını mızraklarının ucuna takarak, meselenin çözümü için Kur’an’ın hükümlerine başvurulmasını istediler. Muaviye’nin taktiği etkisini göstermekte gecikmedi. İki taraftan seçilecek hakemler, meseleye bir çözüm bulacaklardı. İslâm Tarihi’nde Hakem Olayı olarak bilinen bu olayda, Ebû Musa el-Eşarî Hz. Ali’nin, Amr b. As ise Muaviye’nin hakemi olarak tayin edildi. Hakeme başvurma durumu, Hz. Ali’nin önüne kısa sürede bazı güçlükler çıkarmıştı. Bu hareketten memnun olmayan bazı taraftarları isyan ettiler. Hz. Ali’den ayrılarak Kûfe yakınlarındaki Harura’da toplanan bu grup ileride Hâricîler olarak adlandırılacaktı.
Hakemler Ocak 659 tarihinde Ezruh’ta karşılaştılar. Hakemlerin verdiği karara göre, Hz. Ali ve Muaviye halife olmaktan azledilerek halkın oylarıyla yeni bir halife seçilecekti. Fakat durum değişmiş, Muaviye’nin hakemi Amr b. As, Hz. Ali’nin hakemi Ebû Musa el Eşarî’nin kararı uyarınca azledilen halifenin yerine kendi adayını tayin ettiğini ifade etmişti. Bu olay sonrasında Hz. Ali ve taraftarlarının etkisi azalmıştır. Muaviye, Mısır’ı ele geçirerek Hz. Ali’yi büyük bir kaynaktan daha mahrum etmiştir. 660 tarihinde ise Kudüs’te halifeliğini ilan ederek halkın kendisine biat etmesini sağlamıştır.
Hz. Ali, Suriye üzerine bir sefer yapmanın gerekliliğine inanıyordu. Bunun için hazırlık yaptığı sırada, Ocak 661 yılında İbn Mülcem isimli bir Hâricî tarafından Kûfe camiinde namaz sırasında öldürüldü. Ölümünden sonra oğlu ve halefi durumunda bulunan, mizacı gereği barışsever olan Hz. Hasan, hakkını Muaviye’ye devretmek zorunda kaldı. Bu durum sonrasında, Muaviye, Irak’a girerek halkın biat etmesini sağlamış ve halifeliği bütün İslâm Devleti’nde tanınarak Emevî Devleti’nin temelleri de atılmıştır.