Во время русско-турецкой войны 1768-1774 гг. находился в Первой Архипелагской экспедиции. Россия в это время ещё не имела флота на Чёрном море. Корабли Балтийского флота под командованием Алексея Орлова и адмирала Григория Спиридова должны были нанести удар по Османской империи на Средиземноморском театре. В Петербурге планировали поднять масштабное восстание христианских народов Балкан (в первую очередь греков Пелопоннеса и островов Эгейского моря), нарушить морские коммуникации Турецкой империи, блокировать Дарданеллы, захватить важные приморские пункты, тем самым отвлечь Порту от Дунайского театра и Крыма.

В феврале 1770 года русская эскадра достигла берегов Греции, где попыталась организовать антитурецкой восстание. Для этого был высажен десант. Основные же силы русского флота направились на запад полуострова и осадили крепости Наварин, Модон (Метони) и Корон (Корони). Пока главные силы эскадры обстреливали Корон, отряд из 2 линейных кораблей («Святой Януарий», «Трёх святителей») и фрегата («Святой Николай») под общим командованием Ивана Ганнибала осадили Наварин. Боевые действия против Наварина начались 30 марта (9 апреля), когда русские корабли были встречены с крепости сильным огнём. Войдя в залив, русские корабли остановились на якоре на расстоянии пушечного выстрела от города. На возвышенном месте, находящемся с восточной стороны города, была возведена 8-пушечная батарея из орудий 24-фунтового калибра. Другая батарея из двух 24-фунтовых пушек была устроена на высоте, лежащей при входе в залив с западной стороны. Огонь с русских батарей привёл к тому, что в стене крепости образовалась значительная брешь. Турецкий комендант не стал геройствовать и приказал сдать город. 10 (21) апреля русские заняли Наварин. Русскими трофеями стали 7 знамён, 42 медные пушки, 3 мортиры, 800 пудов пороха и другие запасы. Наваринская бухта была очень удобной для стоянки флота, и стала временной базой русской флота.

В дальнейшем Ганнибал принимал участие в Чесменском сражении. В морском сражении отличился при изготовлении брандеров (судно, которое использовали для поджога и уничтожения вражеских кораблей) и своим искусством управления артиллерией для уничтожения турецкого флота. 27 ноября 1770 года награждён орденом Святого Георгия 3-й степени. 7 декабря 1772 года произведён в чин генерал-майора. 10 июля 1775 года награждён орденом Святой Анны. 7 июля 1776 году назначен генерал-цейхместером морской артиллерии. С 1777 года — член Адмиралтейств-коллегии.

18 июня 1778 года царицей Екатериной II был подписан указ об основании Херсонской крепости и верфи (названного в честь в честь греческого города Херсонеса Таврического). В это время Российская империя активно созидала новую часть Российской империи — Новороссию. Ранее пустынный край — Дикое поле, усилиями русского народа был превращен в мощный промышленный и процветающий район сначала Российской империи, а позднее и Советского Союза. Развитие Новороссии проходило под руководством князя Григория Потёмкина, бывшего тогда фактическим правителем России (всесильный фаворит царицы) и имевшего почти неограниченные полномочия. Херсон стал колыбелью и первой базой Черноморского флота, экономическим и политическим центром края.

Под руководством Ивана Ганнибала в 1778 году был заложен город Херсон, в этом же году он был назначен главным командиром Херсонской крепости. Ганнибал ревностно принялся за исполнение возложенного на него поручения. Сформировав 12 рот мастеровых, он заготовил лесные материалы в верховьях Днепра и доставил их на место. Нанял во внутренних областях Российской империи более 500 плотников, в короткое время построил верфь и в августе заложил укрепленный город. Через три года уже существовал новый город с дворцом, адмиралтейством, литейным домом, арсеналом, верфями, казармами и частными домами. Крепость имела гарнизон и была вооружена 220 орудиями. На верфи строились различные суда, в гавани находились военные и купеческие корабли, в городе появились торговые иностранные дома. Иван Абрамович привлек в Херсон и окрестности много греческих и итальянских переселенцев.

1 января 1779 года Ганнибал произведен в чин генерал-поручика. В 1780 году Ивану Абрамовичу было пожаловано 10 тыс. десятин земли. 21 апреля 1781 года награждён орденом Святого Александра Невского. 16 мая 1783 года награждён орденом Святого Владимира 1-й степени. В связи с болезнью, и частью из-за опалы (по причине ссоры с всесильным фаворитом Г. А. Потёмкиным) в 1784 году вышел в отставку в чине генерал-аншефа. Есть мнение, что гнев Потёмкина был вызван медлительностью работы Ганнибала по строительству кораблей Черноморского флота (он не имел соответствующего опыта и знаний), а они были крайне необходимы, так как надвигалась новая война с Турцией.

Остаток жизни Ганнибал провёл в своём имении Суйда под Петербургом. Умер в Петербурге 12 октября 1801 года, похоронен на Лазаревском кладбище Александро-Невской лавры.