Los orígenes históricos del cristianismo y de la fundación de la Iglesia en Ávila llegan hasta el siglo I, atribuyéndolo a uno de los siete Varones Apostólicos: San Segundo. La tradición local que lo sustenta (muy tardía) data del primer tercio del siglo XVI, y a lo largo de ese siglo tomará carácter de certeza y arraigará entre los historiadores locales.
Datos más seguros nos llevan a fijar los orígenes de la diócesis en el último tercio del siglo IV, cuando Prisciliano es consagrado obispo de la sede abulense hacia el 381, sin que nos haya llegado noticia de algún otro obispo precedente. Cuando Prisciliano es ajusticiado en Tréveris en el 385, se vuelve a perder toda noticia de obispos en Ávila, hasta que ya en la época visigoda, a partir del 610, aparecen las subscripciones de obispos abulenses en los Concilios de Toledo.
La primera presencia cristiana en Ávila perfectamente documentada es la de los hermanos Vicente, Sabina y Cristeta, que sufren martirio por Cristo en la ciudad y en ella son sepultados, poco antes de la Pax Constantiniana; y la más que probable devoción de los cristianos abulenses que quieren ser enterrados en sus inmediaciones: tales son los únicos vestigios que nos han llegado de una incipiente comunidad cristiana en la ciudad.
También son escasas las noticias de la iglesia local en el período visigodo: tan sólo la sucesión de firmas de obispos en los concilios toledanos, desde el 610 hasta el 693, nos permiten suponer una iglesia consolidada y organizada en este siglo VII. Ninguna noticia posterior lleva a asegurar la presencia de cristianos mozárabes durante la dominación árabe en una ciudad que, por lo demás, los autores califican de casi desierta.
Habrá que esperar a la reconquista de Toledo (año 1085) para ver la repoblación del territorio y la restauración del cristianismo y de la sede episcopal. Poco después del año 1100 el antiguo obispo de Valencia – el don Jerome del Cantar de Mío Cid – recibe el territorio de las actuales Salamanca, Zamora y Ávila para implantar en ellas la organización eclesiástica. Poco después del 1120 Ávila comienza a ser sufragánea de Compostela, al igual que las restantes iglesias que antiguamente dependían de Mérida. El obispo Sancho es consagrado por el compostelano en 1121, al igual que su sucesor Íñigo en 1133, hermano del anterior, hasta entonces arcediano de la catedral abulense.
Este último dato es revelador de una incipiente y progresiva organización eclesiástica en toda la diócesis. Son los años de la construcción de una modesta catedral, cuyos escasos vestigios se conservan en la actual, comenzada unas décadas más adelante. La creación de los arcedianazgos de Olmedo y Arévalo se lleva a cabo poco después. Y la construcción, en este siglo y en el siguiente, de las grandes iglesias románicas en la ciudad indica una sólida implantación del cristianismo.
También pertenecen al siglo XII las primeras manifestaciones de vida anacoreta: son famosos los ejemplos de San Pedro del Barco, San Pascual de Tormellas y San Bernardo de Candeleda. Y por estas mismas fechas aparecen los primeros monasterios, de benedictinos y premostratenses, a los que se unirán pronto conventos de franciscanos y carmelitas, y de monjas cistercienses: una implantación que llegará a plenitud en los siglos XV y XVI con monjas carmelitas, dominicas, clarisas, concepcionistas y agustinas. No sólo en la ciudad, sino también por el norte de la diócesis, para llenar poco a poco toda la geografía diocesana. En el orden intelectual destaca la figura cumbre de las letras eclesiásticas de la época: el obispo Alfonso Tostado, el Abulense (+ 1455).
Los límites geográficos habían quedado fijados desde el siglo XII: hasta la tierra de Medina por el Norte; hasta Peñaranda, Béjar y Plasencia por el Oeste; hasta Puente del Arzobispo, Talavera y Escalona por el Sur; y hasta las tierras de Villacastín y Párraces por el Este.
El siglo XVI marca el punto culminante del esplendor de la diócesis. Florecen las órdenes religiosas: se funda el colegio de los jesuitas (1553) al que pronto se unirán los de Arévalo y Oropesa; se inicia la reforma franciscana de San Pedro de Alcántara (+ 1562) y la reforma carmelita de Santa Teresa (+ 1562); se funda el Seminario Conciliar (1568); el estudio general de los dominicos adquiere el rango de universidad (1576). Es también la época de la construcción de los templos (se había iniciado en el siglo anterior) que en su mayoría sirven en la actualidad a las necesidades de los fieles, salvo los monumentales templos románicos de los siglos XII y XIII en la capital.
La organización territorial de la diócesis venía heredada del siglo anterior: arciprestazgos de Ávila, Arévalo (con la vicaría de Madrigal), Olmedo, Bonilla, Piedrahíta, Barco, Arenas (con la vicaría de Mombeltrán), Oropesa y Pinares. A esta organización territorial acompaña e incluso precede una organización personal (vicarios, párrocos, beneficiados, capellanes, visitadores, tribunales,…) que pervive en los siglos siguientes.
La nómina de casas religiosas crece también en este siglo, y no sólo en la capital: habrá fundaciones en Olmedo, Arévalo, Madrigal, Oropesa, Piedrahíta, Arenas, Barco, Aldeanueva, Fontiveros, Duruelo, Cebreros, Bonilla, Rágama,… No ha sido suficientemente valorada la acción evangelizadora de tantos religiosos que desde sus casas se desplazaban a los pueblos vecinos para ayudar a los párrocos en el púlpito y en el confesionario.
Esta situación se deteriora paulatinamente a partir del siglo siguiente, si bien la estructura organizativa se conservará hasta el XIX. Una de las principales vías de acción pastoral en estos siglos serán las hermandades y cofradías locales: a la sombra de cada parroquia, bajo la tutela poco delimitada del párroco, se encuentran siempre una o varias cofradías marianas, y otras de carácter penitencial (para Semana Santa sobre todo), y de beneficencia.
El comienzo del siglo XIX marcará una época llena de convulsiones en toda la diócesis, como en tantas otras de la Península, que no terminará hasta la Restauración, en el último tercio de este siglo: destrucciones por la guerra con los franceses, desaparición implacable de todas las casas de religiosos varones, presiones insoportables sobre las casas de religiosas, expolios sobre un patrimonio artístico y documental que se perdía irremediablemente, años de precario funcionamiento del
Seminario. El Concordato de 1851 marca el inicio de una lenta y difícil recuperación de una situación que en no pocos momentos resultó caótica.
Fue entonces cuando la diócesis de Ávila pasó a formar parte de la recién creada archidiócesis de Valladolid. La recuperación de normalidad y de incluso esplendor coincide sobre todo con el pontificado del dominico fray Fernando Blanco.
Durante la guerra civil de 1936, la parte sur de la diócesis sufrió la destrucción y saqueo de numerosos edificios y archivos religiosos, y murieron violentamente treinta sacerdotes diocesanos (en proceso de beatificación y canonización). La reconstrucción se hizo rápidamente, con una generosa colaboración de las restantes zonas de la diócesis.
A raíz del Concordato de 1953 entre el Estado Español y la Santa Sede, numerosas parroquias que desde su creación habían pertenecido a esta diócesis pasaron a las de Valladolid, Segovia, Salamanca y Toledo.