Szilvériusz egy másik pápa, Hormiszdász pápa fiaként született Frosinone városában, még mielőtt az apja pappá vált volna. Őt magát feltehetően 536. június 8-án szentelték fel, s aldiakónus volt, amikor Theodahad gót vezér kikényszerítette a megválasztását és felszentelését.

536. december 9-én Belisarius bizánci hadvezér a pápa jóváhagyásával belépett Rómába és Theodahad utódjával, Witigessel harcolt, aki hónapokig ostromolta a várost, miközben a rómaiak éheztek.

Közben Belisarius 537 márciusában leváltotta a pápát és száműzte, miután Belisarius felesége, Antonina ítélkezett felette, s megvádolta a gótokkal való összeesküvéssel. Persze nemcsak őt, hanem sok más embert is száműztek, közöttük kiváló szenátorokat is.

Persze ez sem volt egyszerű, hiszen mégiscsak pápa volt.

Belisarius levelet kapott a bizánci császárnétól, amelyben Theodora, Vigiliust jelölte ki következő pápaként. A bizánci hadvezért a felesége megpróbálta szép szóval rávenni, hogy mondassa le a pápát, de nem sikerült, így "elfogtak egy levelet", amelyet a pápa írt (bár valójában Theodora utasítására készült) a várost ostromló Wittigesnek, s ennek alapján már megvádolták. A pápa azonban könnyedén megcáfolta a vádakat, Belisarius azonban némi töprengés után mégis elfogatta és leváltotta.

Silverius helyét egy pápai legátus, a Theodora által javasolt Vigilius foglalta el, akit egy beszámoló "kapzsi és áruló, monofizita-pártiként ábrázol, aki elűzte és gyakorlatilag meggyilkoltatta elődjét".

Silveriust Patarába küldték, amelynek püspöke rájött a csalásra és tisztességes eljárást kért a császártól Silverius számára. Az eseményektől megdöbbent Justinianus elrendelte, hogy Silverius térjen vissza Rómába és folytassák le az eljárást. Ha vétkes legyen püspök valamely városban, ha ártatlan, kapja vissza a pápai trónust.

Belisarius azonban a tárgyalás helyett átadta Vigiliusnak, aki így a november 11-én kényszer hatására lemondott pápát száműzte Palmarola szigetére, amely gyakorlatilag lakatlan volt. A volt pápa néhány héttel később gyakorlatilag éhen halt a szigeten, a sírja ma is ott van. (a lenti képen a bal oldali hegycsúcson egy szentély található az emlékére)

Ezek után Silveriust gyakorlatilag közfelkiáltással szentté ismerték el, s jelenleg az olaszországi Ponza védőszentje.

A legenda szerint a Ponza-szigetek halászai egy vihaban voltak Palmarolánál és segítségül hívták. Ő megjelent nekik, s Palmarolába hívta őket, ahol életben maradtak. A neve a 11. században jelent meg először a szentek között. Persze nem ő volt az egyetlen jó emlékű pápa a kora középkorból.

Nem csak Olaszországban tisztelik, hanem (a betelepültek révén) Bronxban is van egy lakónegyedben egy templom, ahol hosszú ideje ünneplik a San Silverio fesztivált.