W 1565 roku książę Albrecht postanowił w pobliżu granicy z Litwą założyć miasto, celem wzmocnienia tej części Prus Wschodnich. Na nową osadę wybrano miejsce w ówczesnym starostwie wystruckim, gdzie na rzece Gołdapie graniczyły ze sobą dwa okręgi: sambijski i natangijski - oraz dwie diecezje: sambijska i pomezańska.
Polecenie założenia miasta otrzymał Bronisz Rostek, który za swą pracę zasadźcy miał przejąć urząd sołtysa.
Przywilej miejski wystawiono w 1570 roku w Królewcu, co było równoznaczne z nadaniem praw miejskich. Miasto otrzymało herb, przedstawiający skośnie umieszczoną tarczę Hohenzollernów i górną część czerwonego orła z inicjałem “S” na piersi (od Sigismundus, imienia króla Zygmunta Augusta, który był wtedy zwierzchnikiem lennym księcia Albrechta Fryderyka).
Pierwszy nawiedził miasto w 1623 roku, kiedy to zniszczeniu uległy wszystkie budynki, poza ratuszem. Następnym kataklizmem, który doprowadził do niemal całkowitego wyludnienia miasta, była epidemia dżumy, która wybuchła w 1625 roku.
Szczególnie mocno dawały się we znaki wojny, choćby wojna Rzeczpospolitej ze Szwecją. Najazdy tatarskie w latach 1656-1657 doprowadziły do zniszczenia miasta.
Na początku osiemnastego wieku ponownie dają się we znaki przemarsze wojsk, co wyraźnie zakłóca rozwój gospodarczy i przestrzenny.
Pod koniec osiemnastego wieku, licząca już trzy tysiące mieszkańców, Gołdap zmienia swoje oblicze z rolniczego na rolniczo-rzemieślnicze.
Pruska reforma administracji z 1818 roku tworzy powiaty, w tym i gołdapski, który był najdalej wysunięty na wschód i wchodził w skład nowo utworzonej regencji gąbińskiej.
Już pod koniec XIX wieku budzi zainteresowanie atrakcyjność geograficzna i przyrodnicza okolic Gołdapi. Puszcza Romincka stała się rewirem łowieckim cesarza Wilhelma II.
Duże zniszczenia w Gołdapi i okolicy następują w wyniku pierwszej wojny światowej. W okresie międzywojennym Gołdap i powiat rozwijają się pod względem gospodarczym. Rozbudowano linię kolejową, a w latach dwudziestych miasto zostało zelektryfikowane i skanalizowane.
Tuż przed drugą wojną światową powoli zwiększano liczebnie gołdapski garnizon wojskowy, gdyż Gołdap, podobnie jak inne miasta Prus Wschodnich, stała się dobrą bazą wypadową przeciwko Polsce. Stąd 22 czerwca 1941 roku część niemieckich wojsk uderzyła na ZSRR. Mimo to, ówcześni mieszkańcy miasta żyli z dala od działań wojennych. Dopiero pod koniec 1944 roku dotarł do Gołdapi front wschodni. Miasto przechodziło z rąk do rąk. Ostatecznie 22 stycznia 1945 roku Armia Czerwona zdobyła Gołdap i władzę na terenie całego powiatu przejął sowiecki komendant wojenny. Na początku kwietnia przybyła ekipa z Białegostoku i rozpoczęła administrowanie miastem oraz powiatem. Przybywają pierwsi osadnicy, pochodzący głównie z północnej Suwalszczyzny. Wśród osadników byli repatrianci ze Wschodu. Banie Mazurskie i okolice - w wyniku “Akcji Wisła” - zasiedlone zostały przez Ukraińców.
Miasto podjęło trud odbudowy. Powstały spółdzielnie, zakłady pracy, placówki kultury oraz szkoły. Największe znaczenie dla rozwoju gospodarczego miało rolnictwo, które zostało niemal całkowicie znacjonalizowane i do końca lat osiemdziesiątych zdominowane przez państwowe gospodarstwa rolne. W latach sześćdziesiątych dostrzeżono uzdrowiskowe atuty ziemi gołdapskiej. Badania powietrza i wód gruntowych dały rewelacyjne wyniki. Na początku lat osiemdziesiątych minister zdrowia wpisał Gołdap na listę potencjalnych miejscowości uzdrowiskowych.
Po przełomie roku 1989 samorząd Gołdapi opracował nową strategię rozwoju regionu. Priorytet nadano między innymi turystyce. W roku 1995, po usilnych staraniach, powstaje przejście graniczne Gołdap-Gusiew. Rozpoczyna działalność podstrefa Suwalskiej Specjalnej Strefy Ekonomicznej. Starania o przyznanie statusu uzdrowiska zostały zakończone sukcesem w październiku 2000 roku. Duże znaczenie dla turystycznego rozwoju gminy miało powstanie Centrum Sportowo-Rekreacyjnego “Piękna Góra” i związanych z nim inwestycji.
Obecnie Gołdap liczy około czternastu tysięcy mieszkańców, gmina - około dwudziestu dwóch tysięcy. Nie ma tu wielkiego przemysłu. Dominuje mała i średnia przedsiębiorczość (m.in. dwie fabryki kopert, zakłady odzieżowe, metalowe, tartak, zakład produkujący mrożonki oraz firmy produkujące elementy wyposażenia budynków). Godna uwagi jest działalność organizacji pozarządowych, zaś wiele organizowanych w Gołdapi imprez kulturalnych oraz turystycznych szeroko znanych jest także poza regionem.
