Қутайба ибн Муслим Бухорони забт этгандан сўнг ҳижрий тўқсон тўртинчи йили (милодий 712–713 йиллар) Бухоро арки ичидаги мажусийлар бутхонасини масжидга айлантиради.
Шаҳар аҳолиси ҳар жума куни шу ерга йиғилади. Қутайба ҳар жума куни жарчи қўйиб, одамларни намозга чақиртирганини Абу Бакр Муҳаммад Наршахий «Бухоро тарихи» китобида ёзиб қолдирган.
Ҳижрий бир юз эллик тўртинчи (милодий 770–771) йили бухороликлар арк ва шаҳристон бозори ўртасида жоме бино қиладилар. Мазкур жоме Мовароуннаҳрда қурилган биринчи масжид ва ҳозирги Масжиди Калоннинг илк биноси эди. Ҳадис илмининг султони Имом Бухорий (810–870) Бухорога келганларида ҳам Масжиди Калон жуда катта масжид бўлган. Бу ерда дарс ўтганларида маълум бир масофада мубаллиғлар, яъни, етказувчилар туриб, Имом Бухорийнинг сўзларини халққа етказиб турган.
Ҳижрий 459 (милодий 1067–1068) йили жоме масжидда ёнғин чиқади ва Арслонхон Муҳаммад ибн Сулаймон (1102–1130) давригача қаровсиз қолади. Сўнг Арслонхоннинг фармони билан жоме ҳижрий беш юз ўн бешинчи йили (милодий 1121–1122 йиллар) қайтадан тикланди. У буларнинг ҳаммасини ўз маблағи ҳисобидан қилди. Арслонхоннинг буйруғи билан минора қайта кўтарилади, унинг тепаси пишиқ ғиштдан ишланади.
Шундай қилиб, Минораи Калон Арслонхон даврида иккинчи марта қурилди. Шунинг учун Минораи Калон «Минораи ду» деб ҳам аталадиган бўлди. Масжиди Калон Кўчкинчихон фармони билан 1514 йили қайта таъмирланади. Убайдуллоҳхоннинг ўғли Абдулазизхон (1540–1550) даврида Масжиди Калон пештоқи ва меҳробига забардаст хаттот Шайх Боязид Пуроний Қуръони карим оятларини катта маҳорат билан нақшлади.
Шунингдек, бу хаттот Абдулазизхон Бухоро аҳолисини бир қанча солиқлардан озод қилганини мармар лавҳага ёзиб, уни масжид кираверишига ўрнатган
Масжид ичкарисидаги пештоқ олдида бир кўшк бор. У «Қабри шаҳидон» деб аталади. Кўшкни 1913 йили Амир Олимхон фармонига биноан уста Ширин Муродов қурган. Масжиди Калоннинг охирги имоми Ибодуллохон эшон 1930 йилгача имом-хатиблик қилади.
1920 йили Фрунзе қўмондонлиги остидаги шўро қўшини Бухорога бостириб кирди. Шаҳар юзлаб тўп ва ўн битта самолёт билан аёвсиз бомбардимон қилиниб, кўпгина масжид-мадрасалар вайрон этилди. Омон қолган масжидлар кейинчалик отхона ва қурол-яроғ омборларига айлантирилди.
Мустабид совет тузуми даврида кўп муқаддас қадамжолар хароб ҳолга келди. Масжиди Калоннинг бошига ҳам шундай кунлар тушди – у умумий омборхонага айлантирилди.
1976 йилдаги зилзила сабабли бинонинг бош пештоқига шикаст етади. Уни 1980 йили Очил Бобомуродов шогирдлари билан асл ҳолига келтириб тиклади.
1997 йили Бухоро шаҳрининг 2500 йиллигига тайёргарлик жараёнида Пойи Калон меъморий мажмуасида Масжиди Калон, Мир Араб мадрасаси каби жами йигирма саккизта маданий мерос иншооти тўлиқ таъмирланди. Бухоро шаҳри марказидаги тарихий меъморий ёдгорликлар, жумладан, Масжиди Калон ҳам ЮНEСКО жаҳон маданий мероси рўйхатига киритилди.
