محمد ابن اسحاق گويد كه چنين حكايت كرده‌اند كه سبب بت پرستيدن در عرب آن بود كه چون فرزندان ِ اسماعيل بسيار شدند و ايشان را در مكه جاي نبود، چند قوم از ايشان از مكه رحلت كردند و برفتند و جاي ديگر مُقام ساختند. و هر قومي كه از ايشان مي‌رفتند، سنگي از حرم با خود مي‌بردند و آن جايگاه كه مُقام مي‌كردند، آن سنگ‌ها مي‌نهادند و و آن را مي‌پرستيدند و به جاي خانه‌ي كعبه آن را طواف مي‌كردند. چون آن قوم ها در گذشتند، فرزندان ايشان را زيادت مبالغت مي‌كردند و آن سنگ‌ها را به جاي كعبه همي پرستيدند. و بعد از مدتي ديگر، زيادت‌تر از آن مبالغه نمودند و بدعت‌هاي ديگر به دست آوردند و به آن سنگ‌ها كه پدران ايشان از مكه آورده بودند اقتصار نمي‌كردند و هر كسي چنان كه او را خوش آمدي، سنگي از صحرا برگرفتي و آن را پرستيدي. (سیرت النبی)