Sprawa o hołd z zakonem krzyżackim zmusiła króla udać się do Torunia, gdzie Jan Olbracht, tknięty apopleksyą, zmarł nagle d. 17-go czerwca 1501 r., mając zaledwie lat czterdzieści.
Ze wszystkich synów Kazimierza, ten jeden, oprócz osobistego męztwa i wykształcenia umysłowego, jakie mu przyznawają, najmniej się może charakterem i przymiotami odznacza.
Nielubiony, ściągnął na siebie zarzutów i potwarzy więcej może niż na to zasłużył. W ciągu długiego panowania żadnej z przypisywanych mu myśli w wykonanie nie wprowadził. Był samowolny, lekceważący ludzi, uparty. Nawet z braćmi obchodził się niezbyt uprzejmie, gdy mu się przeciwili. Kardynałowi Fryderykowi, odradzającemu wojnę wołoską, miał odpowiedzieć:
— „Niech ksiądz mszy pilnuje.“
Był, jak pisze Bielski, urody wysokiej, płci czarniawej, kościsty i silny. Mieczyk zawżdy przy boku miewał, (Dodać należy, iż podobne mieczyki w stroju ówczesnym były zwyczajne i noszono je u pasa.)
Najwierniejszy wizerunek i charakterystykę Jana Olbrachta, bo z natury wzięte, daje nadworny lekarz Jagiellończyków, Miechowita (L. IV. 356). Pisze o nim, że był wzrostu słusznego, oczu zaczerwienionych, twarzy nieco trędowatej i opryszczonej, silny, kościsty, śmiały; na piersiach, nogach i rękach włosem obrosły, chociaż na głowie mało ich miał rzadkich i czarnych. „Był rozsądkiem i zdolnością obdarzony, dodaje Miechowita; wymowny, po łacinie jak retor umiał, a oprócz tego mówił po polsku i po niemiecku. Wykształcony, wychowany starannie, historyę rad czytał i lubił rozprawiać z uczonymi. W obejściu się z ludźmi powagę zachowywał; sądził i mówił roztropnie, ale doskonale rzeczy pojmując, nic do skutku doprowadzić nie umiał. W wojnach nie był szczęśliwy, budować nie umiał i nie lubił. Po klęsce bukowińskiej od szlachty był znienawidzony.“
Grobowiec Jana Olbrachta, w stylu odrodzenia, około r. 1505 wzniesiony, znajduje się w katedrze krakowskiej. Napis świadczy, że przez matkę i brata Zygmunta został wystawiony, ale Zygmunt zowie się na nim księciem, zatem było to przed r. 1506. Jest to jeden z napiękniejszych pomników w stylu ówczesnego renessansu. Niemieccy historycy sztuki wysoko go cenią.