Syaikh Shafiyurrahman al-Mubarakfury dalam Sirah Nabawiyah menyebutkan bahwa sebelum terutusnya Nabi Muhammad SAW, agama bangsa Arab adalah mengikuti agama Nabi Ismail AS selaku kakek moyang mereka. Sebagaimana ajaran agama ayahnya, yakni Nabi Ibrahim AS, agama ini mengajarkan kepada para pemeluknya untuk mengesakan Allah atau tauhid. Lama kelamaan, ajaran tauhid ini dilupakan oleh orang Arab apalagi setelah peristiwa kedatangan berhala yang dibawa oleh Amru bin Luhai.
Amru bin Luhai adalah seorang pemimpin Bani Khuza’ah, salah satu kabilah di Mekkah yang masyhur karena kepedulian mereka tentang persoalan spiritualisme. Saat melakukan perjalanan ke Syam atau yang sekarang dikenal dengan nama Suriah, di sana ia melihat penduduk Syam menyembah berhala. Amru bin Luhai kemudian membawa sakah satu berhala yang bernama Hubal dan meletakkannya di dalam Ka’bah.
Orang-orang Mekkah lantas memulai menyembah berhala tersebut. Tradisi kemusyrikan atau jahiliyyah kemudian dimulai. Dengan media berhala, mereka mulai melakukan penyembahan, mengundi nasib, dan lain sebagainya. Begitu kuatnya tradisi penyembahan berhala ini sampai tercatat ketika Nabi melakukan fathu Makkah, beliau menemukan ada 360 berhala dipajang di sekitar Ka’bah.
Selain menyembah berhala atau disebut dengan paganisme, terdapat pula agama-agama lain yang dianut oleh bangsa Arab. Diantaranya ialah Yahudi, Nasrani, Majusi, dan Shabi’ah.
Philip K. Hitti dalam History of the Arabs menyebutkan bahwa suku-suku Arab yang pertama kali memeluk agama Nasrani ialah kaum ‘Anbat dan Bani Ghassan, yakni pada abad ke-5 dan ke-6. Masuknya agama Nasrani menggantikan paganisme tersebut melalui pendudukan orang-orang Habasyah dan Romawi. Pendudukan orang-orang Habasyah pertama kali terjadi di Yaman pada tahun 340 M dan berlangsung hingga tahun 378 M. Pada masa itu, gerakan Kristenisasi mulai merambah permukiman di Yaman. Kabilah-kabilah ini menginduk kepada kekaisaran Romawi Timur yang kemudian membagi kerajaan menjadi kerajaan Bani Ghassan, Kerajaan Bani Himyar, dan Kerajaan Bani Kindah di kawasan Utara Jazirah Arab.
Selain suku-suku di atas, terdapat pula komunitas Nasrani di Najran. Sejarawan Islam, Ibn Ishaq menyebutkan bahwa Najran adalah tempat pertama di mana agama Nasrani berkembang di Arab Selatan.
Memasuki abad ke-6, seorang Raja Himyar beragama Yahudi bernama Dhu Nawas melakukan pemberantasan terhadap pengikut Nasrani. Kampanye Dhu Nuwas ini kemudian mendapatkan balasan dari orang-orang Habasyah pada tahun 525 M yang untuk kedua kalinya menduduki Yaman. Tampuk kepemimpinan kemudian dipegang oleh Abrahah. Dengan gencar ia melakukan kampanye penyebaran agama Nasrani. Salah satu kampanyenya ialah dengan membuat sebuah gereja yang sangat indah bernama al-Qullais.
Abrahah yang notabenenya ialah gubernur Yaman untuk kerajaan Abyssina di Habasyah (sekarang Etiopia) membangun al-Qullais dengan begitu indahnya. Sejarawan mencatat bahwa pintunya terbuat dari emas, lantainya dari perak, dan fondasinya terbuat dari kayu cendana. Tujuan pembangunannya hanyalah satu. Yakni untuk mengalahkan popularitas Ka’bah di Mekkah.
Marah karena gereja buatannya tetap sepi dan orang-orang tetap pergi ke Mekkah, akhirnya Abrahah kemudian menyerbu Mekkah sesaat sebelum Nabi Muhammad dilahirkan. Sepasukan burung ababil kemudian membuat pasukan ini kocar kacir dan tidak bisa memasuki Mekkah.
Selain di dua tempat di atas, yakni Arab Utara dan Arab Selatan, terdapat pula komunitas Nasrani yang tinggal di Madinah, yakni Bani Aus dan Khajraj. Abdul Aziz dalam Chiefdom Madinah: Salah Paham Negara Islam, menyebutkan bahwa nenek moyang komunitas ini berasal dari Yaman yang hijrah ke Yatsrib (nama lama Madinah) setelah bencana pecahnya bendungan Ma’rib.
Sebelum hijrahnya Nabi ke Madinah, Komunitas bani Aus dan Khajraj ini selalu saja berperang meskipun notabenenya mereka berasal dari ibu yang sama, yakni Qailah binti Kahil. Saat itu, Bani Aus bersekutu dengan Yahudi Bani Quraidzah dan Bani Nadhir, sementara Bani Khajraj bersekutu dengan Yahudi Bani Qainuqa. Pada akhirnya, sebutan bani Aus dan bani Khajraj ini menghilang setelah mereka masuk Islam, dan akhirnya berganti nama menjadi kaum Anshar.
Diantara tokoh-tokohnya ialah Abu Lubabah bin Abdul Mundzir, Basyir bin Sa’ad, Khubaib bin Adi, Sa’ad bin Muadz, dan Usayd bin Hudhayr dari bani Aus. Sementara dari bani Khajraj ialah Abdullah bin Rawahah, Abdullah bin Ubay, Abu Ayyub al-Anshari, Al-Bara bin Malik, Anas bin Malik, Sa’ad bin Ubadah, Ubadah bin ash-Shamit, Ubay bin Ka’ab dan Zaid bin Tsabit.
Untuk bangunan gereja pada masa pra Islam, selain al-Qullais yang disebutkan di atas, John A. Langfelt dalam Recently Discovered Early Christian Monuments in North Eastern Arabia menyebutkan bahwa di dekat kota Jubail, Arab Saudi, pada abad ke-4 terdapat sebuah bangunan gereja yang disebut dengan Gereja Jubail. Gereja ini dulunya ialah milik Gereja Persia, yakni Gereja Timur yang bermadzhab Nestorian.