Oui, il y a des petits endroits tranquilles à cette époque... Au 16e siècle Annonay 3500 habitants opte pour le protestantisme avant Genève. Dès 1528, un moine qui avait entendu Luther prêcher en Saxe, propage les nouvelles idées. En 1539, deux marchands d'Annonay sont brûlés vifs pour avoir propagé les idées de Luther.
Annonay, aux mains des protestants, est prise une première fois en 1562, par les troupes catholiques . La cité est reprise à la fin de l’année 1562 par des protestants qui saccagent les lieux de culte catholiques annonéens à l’exception de la chapelle de Trachin qui devint temple protestant. Le 10 janvier 1563, trois-mille catholiques les délogent d’Annonay. La ville est mise à sac en cinq jours de violences. L’Edit d’Amboise (mars 1563) rétablit la paix en accordant aux protestants la liberté de culte dans certaines villes comme Annonay, siège d'un bailliage.

Une épidémie de peste éclate en 1564.

En 1568, les protestants s’emparent d’Annonay et abattent la collégiale Notre-Dame. Quelques mois plus tard, en septembre, des catholiques, reprennent la ville. Les troupes de Saint-Romain redeviennent maîtres d’Annonay, le 17 juillet 1574. Les maisons sont rasées, les remparts ruinés, la collégiale et les différentes chapelles d’Annonay complètement abattues, sauf celle de Trachin. À partir de 1574, le seigneur protestant Jean de Fay de Virieu est envoyé par Henri III pour négocier la paix avec les catholiques et avec les protestants. Un compromis est trouvé au château de la Condamine,. Un édit de pacification est accordé en 1577. La ville connait ensuite une longue période de tranquillité. Cependant le commerce et l'industrie sont anéantis, la cité, en ruine, ne compte plus que 300 feux soit environ 1 500 habitants. Les ordres religieux ont été chassés13. En 1583, 1584 et 1585, les mauvaises récoltes amènent inflation, disette et famine. De surcroit, la peste fait des ravages en Haut-Vivarais…

Avec la signature de l'édit de Nantes, la ville retrouve la prospérité. À la fin du xvie siècle, une trentaine de tanneries sont installées sur les berges de la Deûme et de la Cance, attirées par la qualité de leurs eaux et les élevages environnants. La mégisserie se développe. On compte 11 tanneurs et 4 mégissiers en 1590; puis respectivement 20 et 37 en 170414.

Le catholicisme domine dans la capitale du Haut-Vivarais en raison de l’arrivée massive de population extérieure. La reconstruction de l’église Notre-Dame est entreprise. Pendant ce temps, la chapelle de Trachin seul édifice religieux intact devient église paroissiale. Un temple protestant est édifié dans le quartier de la place Sainte-Ursule.

L'industrie papetière s'implante à Annonay au xviie siècle, avec les Montgolfier.