Історія унікальної збірки музею веде свій початок від 1805 року – часу придбання Харківським університетом 2477 графічних аркушів західноєвропейських майстрів. У цю колекцію входили твори видатних художників XVI–XVIII ст.: А.Дюрера, Х.Гольціуса, Л.Джордано, П.Брейгеля Старшого, А.ван Дейка, Ф.Буше та інші.
У 1856 – 1858 р.р. колекція поповнилася дарунками випускника університету Івана Бецького – він пожертвува понад 500 творів європейських живописців XVI – XVIII ст., зокрема Й.ван Клєве, Ф.Фуріні, Л.Мехуса, А.Саккі, П.да Картона та ін.
За заповітом ще одного вихованця університету Аркадія Алфьорова 1873 року надійшло 50 картин нідерландських і голландських майстрів, серед яких Я.ван Скорель, Ф.Флоріс, А.Вердуль, С.де Влігер, 420 малюнків і акварелей Я.ван Гойєна, П.Молейна, Ф.Парміджаніно, Л.Лейденського та ін., 3000 гравюр майстрів різних європейських шкіл.
Твори з цих колекцій, що входили до складу університетського Музею красних мистецтв і старожитностей, сьогодні є основою відділу зарубіжного мистецтва Харківського художнього музею.
Іншим предтечею нашої колекції був заснований 1886 року Харківський міський художньо-промисловий музей – один з перших загальнодоступних музеїв Російської імперії. Його діяльність була пов'язана переважно з творчістю українських і російських художників. І сьогодні у відділі українського і російського мистецтва XVI-поч. XX століть із збереженої колекції художньо-промислового музею представлені твори І.Рєпіна, С.Васильківського, М.Ге, К.Пинєєва, Г.Мясоєдова, І.Шишкіна, В.Сурикова, В.Полєнова тощо.1920-ті роки – час кардинальних реформ у музейній справі Харкова. Університетський Музей красних мистецтв і старожитностей та художньо-промисловий музей реорганізовано у Центральний художньо-історичний музей державного значення (1920 р.), потім художню колекцію введено до складу створеного 1922 року Соціального музею ім. Артема, а 1927 року виведено під новою назвою – Харківський державний художньо-історичний музей.
1920 року націоналізовано унікальну приватну колекцію «цукрового короля» П.Харитоненка, що знаходилася в колишньому його маєтку «Наталівка». На початку 1930-х років частину його колекції передано до Харкова, зокрема твори І.Шишкіна, Ф.Малявина, В.Сурикова, В.Полєнова, М.Нестерова.
1934 року організовано Українську державну картинну галерею, яка об'єднала майже всі художні цінності Харкова. УДКГ було відкрито 1935 року.
У 1937–1939 роках колекція УДКГ піддалася репресіям – з неї вилучено до «спецфонду» твори видатних майстрів українського авангарду (зараз вони знаходяться у Національному художньому музеї України).
Напередодні Великої Вітчизняної війни колекція УДКГ нараховувала близько 75 тис. експонатів, вважалася однією з найкращих у СРСР. При цьому, однак, вона не була включена до плану евакуації, внаслідок чого вдалося евакуювати лише найцінніші експонати (4711 од.). Колекція, що залишилася в окупації, існувала як Харківський український художній музей, з якого нацисти цілеспрямовано вивозили експонати до Німеччини, а за кілька днів до звільнення Харкова спалили музейний будинок разом із залишками колекції.
Повернуті з евакуації і знайдені в руїнах галереї експонати постали основою післявоєнного музею, який одержав нову назву – Харківський державний музей українського мистецтва. З 1944 р. музей був розміщений у будинку, спорудженому за проектом О. Бекетова. Згодом він ще двічі перейменовувався: Харківський державний музей образотворчого мистецтва (1949), Харківський художній музей (1965).
У післявоєнні роки музей, у буквальному розумінні відроджуючись із попелу, активізує експозиційно-виставкову, науково-просвітницьку, збиральницьку діяльність. Незважаючи на непоправні втрати, музейне зібрання набуває популярності.
У 1970-х роках музей поповнюється колекціями О.Підкопая – М.Підкопай, О.Крігер – М.Фрадкіна, К.Шпектор.
1986 рік ознаменований приєднанням Пархомівского історико-художнього музею (Краснокутськнй р-н). Цей музей, створений 1955 року шкільним вчителем П.Ф.Луньовим, має унікальну колекцію зразків образотворчого, декоративно-ужиткового мистецтва, пам'яток археології та історії. У його зібранні стародавні ікони, твори Т.Шевченка, І.Шишкіна, К.Крижицького, А.Архипова, О.Бенуа, С.Коньонкова, В.Касіяна тощо. Сьогодні Пархомівський художній музей ім. П.Ф.Луньова є автономним відділом ХХМ.
З 1994 року філією Харківського художнього музею був Музей народного мистецтва Слобожанщини, заснований 1991 року. 2012 року цей музей реорганізовано у відділ Харківського художнього музею. У фондах відділу народного мистецтва Слобожанщини нині зберігаються рідкісні зразки вишивки, кераміки, різьблення по дереву, народного живопису, витинанки, лозоплетіння, соломоплетіння, виробів з бісеру.
Сьогодні фонди Харківського художнього музею нараховують близько 25 тис. експонатів західноєвропейського, українського, російського живопису, графіки, скульптури, декоративно-ужиткового (зокрема східного) мистецтва XV–XXІ сторіч.