Żywiec leży w południowej Polsce, w województwie śląskim, w głębokim obniżeniu śródgórskim – Kotlinie Żywieckiej, nad łączącymi się w pobliżu centrum miasta rzekami Sołą i Koszarawą, nad Jeziorem Żywieckim, na wysokości 345–350 m n.p.m.

Żywiec leży w historycznej Małopolsce, w dawnej ziemi krakowskiej, w ramach której stanowił pierwotnie część kasztelanii oświęcimskiej. W czasach przynależności do księstwa cieszyńskiego, a następnie księstwa oświęcimskiego był przejściowo administracyjnie związany z księstwami śląskim. Jest głównym ośrodkiem miejskim regionu kulturowego znanego jako Żywiecczyzna.

Miasto graniczy z gminami: Czernichów, Gilowice, Lipowa, Łękawica, Łodygowice, Radziechowy-Wieprz, Świnna.

Według danych z 2002 r. Żywiec miał powierzchnię 50,5 km², w tym: użytki rolne 45%, użytki leśne 17%. Według danych z 1 stycznia 2011 r. powierzchnia miasta wynosiła 50,54 km². Miasto stanowi 4,9% powierzchni powiatu żywieckiego.

W latach 1945–1975 miasto administracyjnie należało do województwa krakowskiego, natomiast W latach 1975–1998 do województwa bielskiego.