Иван Козловский пел в монастырском хоре, также участвовал в хоре труппы Общества украинских актеров Николая Садовского. Талант юного певца был замечен автором духовной музыки, хормейстером Александром Кошицем. При помощи последнего в 1917 г. Иван Козловский поступил в Высший музыкально-драматический институт им. Н. Лысенко, куда был принят сразу после первого тура прослушивания. Учился на вокальном факультете в классе профессора Елены Муравьевой, окончил его с отличием в 1919 г.
В 1919 г. вступил в ряды Красной армии, служил в Полтаве в инженерных войсках. Принимал участие в любительском хоре, в 1922 г. был принят в труппу Полтавского передвижного музыкально-драматического театра. На его сцене исполнил свою первую главную роль - партию Фауста в одноименной опере Шарля Гуно. Также был занят в операх Петра Чайковского, Джузеппе Верди и др. Участвовал в драматических постановках
После демобилизации в 1924 г. стал солистом Русской государственной оперы в Харькове. В 1925-1926 гг. пел на сцене Государственного оперного театра им. А. В. Луначарского в Свердловске, исполнял главные партии в операх "Фауст", "Кармен" и "Травиата".
В 1926 г. был приглашен в Москву, в Большой театр. Первым спектаклем с его участием стала опера "Травиата" Джузеппе Верди по мотивам романа Александра Дюма-сына "Дама с камелиями", где певец исполнил партию Альфреда. Славу Козловскому принесла постановка оперы Мусоргского "Борис Годунов", в которой он исполнил роль Юродивого. Впоследствии стал одним из ведущих теноров Большого театра, наряду с Леонидом Собиновым и Сергеем Лемешевым.
В 1937 г. ему было присвоено звание заслуженного артиста РСФСР.
В 1938 г. из-за разногласий с дирекцией покинул театр. Организовал Государственный ансамбль оперы СССР, стал его художественным руководителем. Целью ансамбля была популяризация классической музыки, в репертуар коллектива вошли адаптированные под массового слушателя арии из опер. Иван Козловский вместе со своими музыкантами поставил оперы "Вертер" Жюль Массне, "Паяцы" Руджеро Леонкавалло, "Орфей и Эвридика" Кристоф Виллибальд фон Глюк и др., исполнив в них главные партии. Возглавлял ансамбль до 1941 г.
Выступал также вместе с Государственным джаз-оркестром СССР под управлением Виктора Кнушевицкого.
В конце 1940 г. Иван Козловский был восстановлен в труппе Большого театра. В годы Великой Отечественной войны (1941-1945) работал в Куйбышеве (Самара), куда была эвакуирована труппа, выезжал в составе концертных бригад в действующую армию, выступал в госпиталях, записал несколько радиоконцертов.
В 1945 г. гастролировал в Румынии и Чехословакии (ныне Чешская и Словацкая республики).
В 1948 г. совместно с Сергеем Лемешевым выступил на юбилее вдовы Антона Чехова Ольги Книппер-Чеховой.
Всего на сцене Большого театра Иван Козловский исполнил около 50 партий, в том числе Ленского в "Евгении Онегине" Петра Чайковского, Герцога в "Риголетто" Джузеппе Верди, Принца в опере "Любовь к трем апельсинам" Сергея Прокофьева, графа Альмавива в "Севильском цирюльнике" Джоаккино Россини, Бояна в "Руслане и Людмиле" Михаила Глинки, Берендея в "Снегурочке" и Индийского гостя в "Садко" Николая Римского-Корсакова и др. Его творчество высоко ценил глава советского государства Иосиф Сталин.
В 1954 г., будучи одним из самых популярных артистов Большого театра, Иван Козловский покинул его. Причину своего решения он не объяснял.
В последующие годы занимался концертной деятельностью, выступал на сцене почти до 90 лет. В репертуаре певца были народные русские и украинские песни, романсы и др. Он исполнил и записал ряд произведений Иоганна Себастьяна Баха, русскую духовную музыку. Стал первым исполнителем популярного в настоящее время романса композитора Леонида Малашкина на стихи Федора Тютчева "Я встретил вас".
- Иван Козловский скончался 21 декабря 1993 г. в Москве. Похоронен на Новодевичьем кладбище.
- Герой Социалистического Труда (1980). Народный артист СССР (1940), народный артист Украины (1993).
- Лауреат Сталинской премии I степени (1941, 1949), Государственной премии Украинской ССР им. Т. Г. Шевченко (1990). Был награжден пятью орденами Ленина (1939, 1951, 1970, 1976, 1980), орденом "Знак Почета" (1937).
- Автор книги "Музыка - радость и боль моя" (1992).
- Творчеству Ивана Козловского посвящены одноименные документальные фильмы режиссеров Ирины Венжер (1960) и Анатолия Борсюка (1978). В 1993 г. о певце была снята документальная лента Сергея Скворцова и Сергея Литвякова "Друг, помолись за меня", в 2010 г. - фильм Юлии Коваленко "Иван Семенович Козловский: Вера... Надежда... Любовь...". В 1954 г. Козловский исполнил роль Юродивого в фильме-опере Веры Строевой "Борис Годунов". В 1983 г. снялся (камео) в драме Николая Губенко "И жизнь, и слезы, и любовь".
- Иван Козловский был дважды женат. Его первой супругой в 1920-1937 гг. была актриса Александра Алексеевна Герцик (1886-1964), второй женой в 1937-1963 гг. - актриса Галина Сергеева (1914-2000). Дочери певца - Анна (1938-2007) и Анастасия (род. 1940).
- Имя певца носит музыкальная школа в Москве, при которой находятся Фонд и Музей Ивана Козловского.
- Памятник артисту открыт в Киеве и в его родном селе Марьяновке, где находится Мемориальный музей-усадьба И. С. Козловского.
- На Украине также действуют благотворительный фонд поддержки оперного и балетного искусства имени Ивана Козловского, Художественно-концертный центр имени И. Козловского Киевского национального академического театра оперетты.