Pierwszym kościołem, który powstał na Żywiecczyźnie był kościół w Starym Żywcu, wzniesiony w I połowie XIV wieku. Fakt ten potwierdzają wzmianki historyczne o mieście, pochodzące z lat 1325 -1327. Nadmieniają one o opłacaniu świętopietrza przez mieszkańców parafii i odnoszą się do kościoła w Starym Żywcu, za czasów gdy proboszczem żywieckiej fary był pleban Engbertus.
Kościół ten na początku XVI wieku został zniszczony podczas powodzi, ale szybko go odbudowano, częściowo z elementów zniszczonego przez powódź kościoła. W 1507 roku odbudowano kościół starożywiecki i przetrwał on ponad 400 lat, aż do II Wojny Światowej. W trakcie działań wojennych w kwietniu 1945 roku został doszczętnie spalony.
Zdjęcia niestniejącego kościół pod wezwaniem Wszystkich Świętych w Starym Żywcu
Kościół p.w. Wszystkich Świętych był pięknym i bardzo cennym zabytkiem drewnianego budownictwa sakralnego typu śląsko-morawskiego, w stylu gotyckim z późniejszymi przeróbkami nie wpływającymi na ogólny styl obiektu. Kościół był otoczony sobotami, tj. niskimi podcieniami wspartymi na słupach, przykrytymi jednospadowym dachem.
Większość wyposażenia uległa zniszczeniu w czasie działań wojennych. Niektóre jednak rzeźby gotyckie pochodzące z tego kościoła przetrwały, gdyż jeszcze przed II Wojną Światową zostały przekazane do Muzeum Narodowego w Krakowie lub znalazły swoje miejsce w innych kościołach. Tak też było z pięknym tryptykiem z ok. 1400 r. Jego skrzydła, przedstawiające dwunastu apostołów znajdują się w Muzeum Narodowym w Krakowie, natomiast część środkowa tryptyku z posągiem Matki Boskiej i Chrystusa znajduje się w kaplicy w Żywcu-Moszczanicy na Rędzinie.
Po wojnie, na miejscu zniszczonej świątyni postawiono budowlę tymczasową, w której odbywały się nabożeństwa. W związku z planami powstania Jeziora Żywieckiego, ogłoszonymi w 1950 r., do odbudowy nie doszło. Parafia została przeniesiona do Zarzecza wraz z budynkiem drewnianej kaplicy tymczasowej.
Wokół kościoła znajdował się cmentarz, spoczywały na nim m.in. ofiary epidemii czerwonki z 1917 r. Część mogił została przeniesiona, utworzono w tym celu zbiorowe groby na cmentarzu Przemienienia Pańskiego w Żywcu.