中古早期的教皇，就算包括羅馬帝國時代，他們的號令也不出羅馬城，甚至經常性地受到羅馬貴族威脅，直到他們與矮子丕平開始有聯繫起，這樣的困境才略有轉變。然而，此時的教皇仍舊只具有教會權威，在世俗上是不具有任何優先地位的。比如利奧三世，雖然將查理一世加冕為帝，但在政治的影響力上，羅馬教廷仍受制於加洛林朝廷。

此後到了10世紀，羅馬教皇若望十二世也是因為受到義大利王國(倫巴底王國)的壓迫，才向北方的德意志王國求援，當時的德意志國王奧圖一世一心想傚法他的前輩取得帝位，因此南下解決倫巴底王國。不過奧圖一世達成目標後，羅馬教皇若望十二世便感到受其威脅，試圖轉而投靠東羅馬帝國，以對抗這個他所奉立的皇帝。然而事與願違，若望十二世不但遭到奧圖一世廢黜，奧圖一世還另外立了對立教皇利奧八世。雖然後來若望十二世復位，但很快就意外身亡，羅馬人排拒皇帝推舉的利奧八世，另外選出本篤五世，不過很快地本篤五世就在皇帝奧圖一世的威脅下退位給利奧八世。此後幾任教皇大多都是由皇帝屬意的人選出任，而這期間教會的地位也因為諸多不太適任的教皇及教會的腐敗，而始終低落。

直到11世紀教皇格列高里七世積極改革教會，並獲得一些貴族的支持，這才有了與皇帝對壘的本錢。與此同時，神聖羅馬帝國皇帝亨利希四世受制於國內貴族的反叛，難以全力對付教皇。教會於是與反叛貴族結合， 以破門威脅，迫使亨利希四世於大雪中在卡諾莎向教皇格列高里七世懺悔三日。通常這被視為教會勝過皇帝的高點，但其實在獲得赦免後，亨利希四世很快地就讓叛亂貴族與教會產生嫌隙，予以個個擊破，將教皇逐走，另立對立教皇於羅馬。教皇最後雖然在南義大利的諾曼人幫助下重返羅馬，但教會的名聲並未因此提升。

11世紀末，新任教皇烏爾班二世盡力與皇帝和解，並透過多次召開大公會議，積極推動教會改革，使得教會聲譽逐漸穩固。接著他又透過東羅馬帝國受到塞爾柱土耳其人威脅之機，成功地號召十字軍運動，這才讓教皇再度站上高點。

此後幾任教皇大致追隨烏爾班二世的政治路線，但偶與皇帝發生衝突。在這段期間中，由於帝國處於動亂(韋爾夫家族與霍亨斯陶芬家族的對立)，使得教會稍有著力點，但隨著強勢君主弗雷德里希一世‧巴巴羅薩的出現，這一獨立於皇帝的願望便又再度破壞。然而德意志內亂一直給予教皇對抗皇帝的本錢，特別是當霍亨斯陶芬王朝面臨危機，而此時的教皇又是最具活力的英諾森三世，因而得以逐漸凌駕皇帝。但隨著韋爾夫家族的奧圖四世不再聽命，英諾森三世便將被排除在帝位繼承的弗雷德里希二世推舉為皇帝，然而弗雷德里希二世卻不受其控制，且在日後對英諾森三世的後任產生莫大的威脅。

教皇再度對皇帝取得上風，已是皇帝弗雷德里希二世去世之後，神聖羅馬帝國陷於大空位的混亂之時。不過教皇在此也沒討到太多便宜，教會與法蘭西王國對立，教皇鮑尼法斯八世還因此法軍俘擄，隨後身亡。在他之後的幾任教皇也被迫將教廷遷至亞維農。70年後，教廷終於遷回羅馬，但又隨即引發教會分裂，兩個至三個教皇(亞維農、羅馬，有時還有比薩)併立，使得教會力量更加虛弱。

教皇力量的衰退，引發教會改革的呼聲，而宗教改革家約翰‧威克利夫、揚‧胡斯所挑起的宗教改革，也在次重創教會，特別是胡斯派戰爭。此後教會雖渡過這個危機，但宗教改革的呼聲從未停止，至中世紀晚期，馬丁‧路德等人再度試圖改革教會，教宗此時則只能仰賴天主教貴族(尤其是哈布斯堡王朝)的支持，以對抗改革宗的挑戰。不過不幸的是，這次不像在胡斯派戰爭一樣，改革派的世俗力量最終在三十年戰爭中取得勝利，教皇在精神世界的至尊地位也遭到打破。