Гари Гиллеспи родился 5 июля 1960 года, в небольшом городке Боннибридж, в 80-ти километрах западнее Фолкерка, в центральной Шотландии.

Футбольная карьера Гари началась в местном клубе "Фолкерк" в 1977 году (в том самом, где свою тренерскую карьеру начинал Алекс Фергюссон, который был там играющим тренером с 1969 по 1973 г. и естественно Гари его не застал ), уже в 17-ти лет он стал капитаном команды, и он по сей день самый молодой капитан команды в истории шотландского футбола.

10 марта 1978 года его трансфер был за 75 тысяч фунтов выкуплен «Ковентри Сити», в котором он провел 172 матча и забил 6 голов.

8 июля 1983 за 325 тысяч фунтов он перешёл в "Ливерпуль", став первым приобретением Джо Фэгана. Гиллеспи пришлось потратить некоторое время на то, чтобы освоиться в новой команде и начать борьбу за место в составе, тем более, что его прямыми конкурентами на позиции центрального защитника были Марк Лоуренсон и Алан Хансен. Дебютным матчем для него стал поединок Кубка Лиги против "Уолсолла" на Энфилд Роуд,  завершившийся вничью 2:2.

В 1985 году он стал постоянным игроком основы, на то же время приходится и первый забитый Гари мяч — он забил его 30 апреля в домашнем матче Первого дивизиона против "Ньюкасла", который "Ливерпуль" выиграл со счётом 3:1. Вместе с клубом Гиллеспи выиграл чемпионат и Кубок Англии в 1986 году, хотя участия в финальном матче он не принял, в то время разрешалось делать только одну замену, и ей оказался не Гари. В том сезоне он отметился тремя голами, и все они были забиты в одном и том же матче. Защитники редко отмечаются хет-триками, но Гари удалось это сделать. 26 апреля 1986 в домашнем матче против "Бирмингем Сити" центральный защитник забил два мяча с игры, а когда в ворота "синих" был назначен пенальти, болельщики стали скандировать его имя. Несмотря на то, что штатным пенальтистом "красных" был Ян Мёльбю, право реализовать одиннадцатиметровый датчанин ему уступил. Гиллеспи забил свой третий гол в игре, и матч в итоге закончился со счётом 5:0 в пользу "Ливерпуля".

В следующем году Гиллеспи пропустил только 3 матча своей команды, составив мощнейший дуэт центральных защитников с капитаном команды Аланом Хансеном. В 1988 г. "Ливерпуль" вновь выиграл чемпионский титул, проиграв лишь два матча в турнире и финишировав на первом месте в таблице с большим отрывом. Гиллеспи забивал и в этом сезоне, отметившись в частности, в победе с разгромным счётом 5:0, которую "Ливерпуль" одержал над "Ноттингем Форест". Кстати, этот матч многие аналитики считают лучшим выступлением когда-либо продемонстрированным любой английской командой в "домашнем" первенстве.

За неделю до финального матча на Кубок Англии, в котором "Ливерпулю" предстояла попытка оформить второй дубль в чемпионате и Кубке, в игре против "Дерби Каунти" Гиллеспи и его партнёр по команде Найджел Спекмэн пошли на один мяч и столкнулись головами, получив серьёзные рассечения. Однако неделю спустя оба футболиста вышли на Уэмбли с красно-белыми полосатыми повязками на головах. Гиллеспи был признан одним из лучших игроков "красных" в этом матче, и после игры аналитик BBC Джимми Хилл сказал: "Гиллеспи всегда великолепен, вне зависимости от того, с повязкой он играет или нет". К сожалению для Гари, его команда уступила в финале "Уимблдону" со счётом 0:1.

В 1989 г. Гари Гиллеспи присоединился к своим партнёрам, участвовавшим в траурных церемониях, посвящённых памяти 96 болельщиков, погибших в результате трагедии на стадионе «Хиллсборо». В этом сезоне «Ливерпуль» выиграл Кубок Англии, в финале одолев извечных соперников из «Эвертона», однако чемпионский титул был упущен в самый последний момент.

Гари Гиллеспи выиграл ещё один чемпионат Англии в 1990 году, хотя к тому времени он всё реже стал появляться в составе, вытесняемый молодым Гари Аблеттом и шведским защитником Гленном Хюсеном. 15 августа 1991 года, после того, как Кенни Далглиша на тренерском посту сменил Грэм Сунесс, Гари был продан в «Селтик» за 925 тысяч фунтов.

К тому моменту он провёл за "Ливерпуль" 214 матчей и забил 16 голов.