Vyborg slot blev grundlagt i 1293 svenske Crusader Torgerson Knutson, efter den blev ombygget flere gange, men Generelt næsten ikke ændrer dens udseende. Slottet ligger på en ø, som kan nås til fods fra broen over Bugten og der er en nedkørsel lige til slottet gates. Efter område, slottet er lille, og har ingen vægge — i stedet for dem rundt langs kanten af slottet bygget stærke bolig-og kommercielle bygninger med hjørnetårne, der er bygget af kampesten.

Inde i slottet er der tre små gårdhave (Nedre, Øvre og Smedning), og en smal, krum, brosten, stigende opad gaden. Den nederste del af slottet, der alle er bygget af mørke sten, og over alle de bygninger, høje stiger Grand hvide tårn af Biskop Olaf, et sandt symbol på Viborg — tårnet kan ses fra ethvert punkt i byen.

Olaf tower, med en stor kasse, sekskantet, base og top, der blev bygget i det XIII århundrede, flere gange overbuild og havde en højde på 80 meter, men efter branden i det attende århundrede var stærkt ombygget, og nu er hendes højde er kun 45 meter. Tårnet kan du klatre op og beundre panoramaudsigten over den gamle Viborg-Bugten og endeløse skovklædte skærgård.

Ved foden af tårnet er lille Smedje indre gårdhave, hvor du kan komme ind på Museet, og historisk reenactment center, hvor du kan sætte på rustning, tage op spyd eller et sværd og skjold, og tage et billede for få penge.