همانگونه كه اشاره شد قبل از ورود اسلام به ايران ، ساكنان قم زردشتى بوده اند. و بنا به نقلى گروهى نيز از يهوديان در آنجا زندگى مى كردند، تا اينكه در سال 23 هجرى ، اين شهر به دست ابوموسى اشعرى فتح شد و اسلام به آن راه يافت و طولى نكشيد كه مردم قم به مذهب شيعه گرويدند، و شايد يكى از علل بى توجه بودن حكام نسبت به قم ، گرايش ‍ شديد آنها به تشيع بوده باشد.
تا اواخر دوم هجرى ، قم تابع اصفهان بوده و حاكم مستقلى نداشته است ، تا اينكه در عصر هارون الرشيد، حمزه بن يسع كه يكى از بزرگان و اكابر قم بود، از خليفه خواست كه قم را از اصفهان جدا سازد و اجازه داده شود كه نماز جمعه و عيدين در آن شهر بر پا شود، و خليفه تقاضاى او را پذيرفت .
نخستين گروه از عرب ها كه به قم آمدند، جمعى از بنى الاشعر بودند كه در زمان حجاج بن يوسف ثقفى ، به فرماندهى عبدالرحمن بن محمد بن اشعث بن قيس عليه حجاج شورش نمودند و بر اثر نفاق سپاهيان عبدالرحمن ، اين مرد شكست خورد لذا اشعرى ها به اتفاق عبدالرحمن پس از شكست به قم آمدند.
قبل از آمدن تيره اشعريون ، گروهى از تيره هاى بنى مذحج نيز در قم توطن داشته اند و چون ساكنان اصلى شهر در دژى زندگى مى كردند، مدتها بين اشعرى ها و ساكنان قلعه زد و خورد بوده ، سرانجام اشعرى ها پيروز شدند و شهر قم را تحت نفوذ خود در آوردند.
در زمان خلافت عباسى ها - كه آل على عليه السلام را شكنجه مى دادند - بسيارى از سادات به طرف قم فرار كردند و همين تراكم شيعيان در قم شد.
مرحوم عباس فيض بر اين باور است كه نام قم قبلا (شق شمرده ) بوده و قم از نامهايى است كه بعد از ظهور اسلام پيدا شد (170) بعضى از محدثين گفته اند در شب معراج ، رسول گرامى اسلام صلى الله عليه و آله مردى را در هيئت و لباس مخصوص با قلنوه و زنگوله در اين سرزمين ديد كه جلوس كرده است . پيامبر به او فرمود: قم يا ملعون ؛ لذا اين شهر را قم نام نهادند، ولى اين روايت از نظر سند ضعيف است . (171)
جهت اطلاع بيشتر در مورد شهر مذهبى قم به كتاب (گنجينه آثار قم ) تاءليف علامه مرحوم عباس فيض مراجعه كنيد.