Был известным русским поэтом, автором нескольких сборников. Первые стихотворные произведения были опубликованы в журнале «Вестник Европы» в 1882. Первый сборник, включавший стихотворения 1879—1885 годов, вышел в 1886. В 1888 издал первую поэму «Севастиан-мученик», затем сборники «Новые стихотворения К. Р.», «Третий сборник стихотворений К. Р.» (1900), «Стихотворения К. Р.» (1901)

С великим князем вели переписку И. А. Гончаров, Я. П. Полонский, А. А. Фет, ценивший его вкус и даже поручавший ему исправлять свои стихи.

Принадлежал к так называемой старой школе, был продолжателем классических традиций. Первоклассным талантом поэт К. Р. не обладал, но занял своё место в истории русской литературы. Многие его стихотворения отличались мелодичностью и были положены на музыку (самое известное — романс «Растворил я окно…» с музыкой П. И. Чайковского, сочинившего музыку также на «Я сначала тебя не любила…», «Вот миновала разлука» и другие стихотворения К. Р.). Сам написал несколько романсов на стихи В. Гюго, А. К. Толстого, А. Н. Майкова.

К. Р. перевёл на русский язык трагедию Ф. Шиллера «Мессинская невеста», трагедию И. В. Гёте, шекспировского «Короля Генриха IV». Автор удачного перевода шекспировского «Гамлета» на русский язык, над которым работал с 1889 по 1898 год; перевод с обширными комментарими в 3-х томах был издан в 1899 и неоднократно переиздавался.

Пьесу К. Р. на евангельский сюжет «Царь Иудейский» и авторские примечания к ней М. А. Булгаков использовал как материал для романа «Мастер и Маргарита».