Родился 15 апреля 1939 года в городе Могилеве.
В 1961 году окончил Белорусский государственный университет имени В.И.Ленина.
Трудовую деятельность начал в Институте физики Академии наук БССР, где работал более 40 лет. Прошел путь от аспиранта до заместителя директора по научной работе Института физики Национальной академии наук Беларуси, исполнял обязанности академика-секретаря Отделения физики, математики и информатики Академии наук БССР.
В 1965 году защитил кандидатскую диссертацию, в 1972 году — докторскую. В 1980 году ему присвоено ученое звание профессора.
В 1991 году избран академиком Национальной академии наук Беларуси. Член Президиума Национальной академии наук Беларуси.
Автор более 300 научных работ, 4 монографий и 65 изобретений. Под его руководством разработаны оригинальные лазерные приборы, отмеченные дипломами и медалями ВДНХ и удостоенные золотой медали Международной Лейпцигской ярмарки.
А.Н.Рубинов подготовил более 30 кандидатов и докторов наук.
С 2002 по 2006 год возглавлял Высшую аттестационную комиссию Республики Беларусь, с 2009 года — член этой комиссии.
С 2006 по 2008 год — Первый заместитель Главы Администрации Президента Республики Беларусь.
В октябре 2008 года избран членом Совета Республики Национального собрания Республики Беларусь четвертого созыва от города Минска, 31 октября этого же года — заместителем Председателя Совета Республики, 24 мая 2010 года — Председателем Совета Республики.
19 октября 2012 года избран Председателем Совета Республики Национального собрания Республики Беларусь пятого созыва.
Член Совета Безопасности Республики Беларусь.
Председатель Совета по взаимодействию органов местного самоуправления при Совете Республики Национального собрания Республики Беларусь.
Председатель Комитета по Государственным премиям Республики Беларусь.
Заслуженный деятель науки Белорусской ССР (1980). Лауреат Государственной премии СССР (1972) и Государственной премии Республики Беларусь (1994).
Награжден орденами Отечества III степени, Франциска Скорины, «Содружество» (Межпарламентская Ассамблея государств — участников Содружества Независимых Государств), юбилейными медалями «65 год вызвалення Рэспублікі Беларусь ад нямецка-фашысцкіх захопнікаў», «65 лет Победы в Великой Отечественной войне 1941 — 1945 гг.», золотой медалью «МПА СНГ. 20 лет», Почетной грамотой Национального собрания Республики Беларусь, Почетной грамотой Межпарламентской Ассамблеи Евразийского экономического сообщества.