Fue construida sobre una tradicional planta hipóstila, de gran regularidad, y las distintas ampliaciones aumentaron la capacidad del templo manteniendo la misma disposición de naves alineadas perpendicularmente hacia el muro de la quibla. Empezó a construirse por Abderramán I (756-785) sobre la basílica visigoda, de la que aprovechó gran parte de sus materiales. Esta primera parte se componía de once naves transversales y doce longitudinales, contando con gran variedad de capiteles y maravillosas columnas. Para darle mayor elevación y conseguir iluminar todo el templo, los arcos estaban abiertos al Patio de las Abluciones (actualmente Patio de los Naranjos). Abderramán II (821-852) realizó una ampliación de ocho naves transversales, utilizando columnas visigodas sin basas. Alhaken II (961-976), al aumentar considerablemente la población de la ciudad, realizó otra ampliación de doce naves más. Las columnas están alternadas por su colorido y capiteles; corintias sobre fustes azules y compuestas sobre fustes de mármol rosa. Alhaken II realizó el majestuoso mihrab con su cúpula y portada, recubierto por un mosaico, regalo del Emperador griego Constantino VII. El interior del mihrab lo cubre una enorme concha de yeso, desde donde se realizaba la oración y era escuchada en toda la Mezquita, e incluso en el exterior. Almanzor (987-990, primer Ministro de Hixen) realizó la tercera ampliación. Es un excepcional recinto de 24.000 metros cuadrados, formados por un auténtico bosque de columnas y arcos, como excepcional es también su mihrab, con inscripciones del Corán en oro y ricos mosaicos.

Consta de un Alminar (torre), el Sahn (patio de los naranjos), y el Haram( Sala de oración en cuyo interior destaca la Catedral, el Mihrab y el muro de la quibla)

El edificio original, erigido sobre un templo cristiano visigodo, estaba compuesto por once naves de doce tramos cada una, abiertas a un patio o shan plantado con naranjos que reproducían la organización de los soportes interiores. Aunque sigue el modelo de la gran mezquita de Damasco, ya incorpora algunas novedades decisivas: las naves son perpendiculares al muro de la quibla, acentuando con ello la dirección del rezo; la estructura de arquerías se articula en dos alturas superpuestas, la primera de columnas clásicas aprovechadas de ruinas romanas, y la segunda de pilastras entibadas mediante un complejo sistema de arcos intermedios que permiten aumentar la anchura de los arcos superiores, sobre los que finalmente discurre el canal de aguas pluviales; aparecen los arcos de herradura, un antiguo motivo romano conservado por los visigodos en España y que llegaría a su cenit compositivo durante el califato de Córdoba; y el recinto exterior se cierra mediante una muralla interrumpida por contrafuertes, entre los que se sitúan las portadas tripartitas o puertas monumentales de acceso.

El oratorio tiene en su parte central (antes del descuadre producido por la ampliación de Almanzor) la nave principal, más ancha que las demás, desde donde se puede ver de frente, el Mihrab. Si continuamos de frente la nave principal, llegaremos al final de la construcción de Abderramán I, en donde probablemente se construyó el primer Mihrab (muro que indica a los fieles musulmanes la dirección de la Meca, ciudad santa del Islam); también tendremos q atravesar la construcción de Abderramán II (donde en su límite estaría el segundo Mihrab), hasta llegar al Mihrab actual ( dentro de la ampliación de Al-Hakán II). En ese espacio, los elementos arquitectónicos se usan como decoración y la ornamentación señala la importancia litúrgica del lugar. También abundan en ese lugar los temas decorativos, siendo los más utilizados la epigrafía y el ataurique (ornamentación árabe de tipo vegetal) Además consiste en una decoración plana, que tapiza y recubre los elementos arquitectónicos. El Mihrab se recubrió con mosaicos regalados por el emperador de Bizancio.

Para conseguir mayor altura y luminosidad en el interior del oratorio, se superponen dos hileras de arcos, que están enjarjados. El sistema de doble arquería y la alternancia de piedra y ladrillo en las dovelas de los arcos ya se habían utilizado en el acueducto romano de los Milagros, en Mérida. El resultado es un espacio espectacular, lleno de ritmo y color, en el que los arcos y columnas se multiplican.

Los arcos superiores son más anchos que los inferiores para poder sujetar el muro y el techo. El arco inferior es de herradura, mientras que el superior es de medio punto. Las dovelas están reconstruidas, hechas de ladrillo y piedra, las ménsulas están hechas en forma de rollos y los capiteles son corintios.

La Mezquita fue iniciada por Abderramán I, sobre una iglesia visigótica, inspirándose en una mezquita omeya de Jerusalén. El resultado de esta primera etapa constructiva fue una armónica sala de 11 naves con 110 columnas de mármol y granito con capiteles romanos paleocristianos y bizantinos. Sobre ellos una doble serie de arcos de herradura y medio punto que constituyeron una novedad arquitectónica sin precedente. El juego de luces y sombras que ofrecen la piedra caliza y el ladrillo de sus arcos crea una singular atmósfera.

En el año 833 Abderramán II la amplía, añadiendo 8 arcadas. Las columnas que la sujetan son de mármol blanco procedentes del teatro romano de Mérida. Once capiteles son árabes, el resto son romanos y postromanos.

En el 961 Alhakem II aporta los mayores tesoros que hoy tiene la mezquita: el Mihrab, con su preciosista y exuberante decoración en mármol labrado y la cúpula octogonal central de arcos entrelazados de la quibla, consideradas ambas obras maestras joyas del arte universal.

La última y mayor ampliación se debe a Almanzor, que en el año 987, casi dobló su talla. De esta época son las columnas de mármol azul con capiteles compuestos y las de mármol pardo rojizo con capiteles corintios.

La Mezquita presenta dos singularidades: Su orientación, pues no mira a la Meca. En ello se ha querido ver la nostalgia que Abderramán I sentía por Damasco, expresada por él mismo en su poesía. Pues lo cierto es que la Mezquita de Córdoba se orienta a las mezquitas de Damasco y no a la Meca. La otra singularidad es su ubicación descentralizada del Mihrab. Ello se debe a la ampliación que realizó Almanzor, que tuvo que hacerla por el lado oriental, ya que al Sur se topaba con el río Guadalquivir y al Oeste estaba el palacio del Califa.