В 1888 году, после окончания школы в Вятке он приехал в Петербург и по совету родственников поступил в Центральное училище технического рисования барона А.Л. Штиглица, где учился до 1891 года, занимался у известного художника и педагога К.Я. Крыжицкого (1858-1911). Параллельно А.А. Рылов занимался в Рисовальной школе при Обществе поощрения художеств. В разгар упорных трудов Рылова неожиданно призвали в армию. Отслужив положенный срок, он вернулся в Петербург.
В 1893 году А.А. Рылов поступил в Санкт-Петербургскую Императорскую Академию художеств, а еще через год его пригласил к себе в мастерскую Архипа Ивановича Куинджи, обучение у которого давно было заветной мечтой молодого художника. Рылова в полном смысле слова можно считать учеником и последователем Куинджи. Он испытал на себе сильнейшее влияние не только творчества, но и личности своего наставника.
В 1897 году курс обучения в Академии художеств был успешно окончен и А.А. Рылов, получив звание художника, совершил поездку по Германии, Франции и Австрии. Изначально Рылов писал не только пейзажи, обращаясь к историческому и бытовому жанру («Набег печенегов на славянскую деревню», 1897, частное собрание, Петербург; «Догорающий костер», 1898, Третьяковская галерея) и неизменно придавая природе значение не только фона, но и полноправного драматического компонента.
В 1904 году появился «Зеленый шум». Над картиной художник работал два года, писал ее в мастерской, используя опыт наблюдения натуры и массу этюдов, сделанных в окрестностях Вятки и Петербурга. Современников поразило молодое, радостное чувство, которым пронизан пейзаж. Колорит строится на сочетании насыщенных цветовых отношений.
В своих «Воспоминаниях» Рылов писал: «...жил я летом на крутом, высоком берегу Вятки, под окнами шумели березы целыми днями, затихая только к вечеру; протекала широкая река; виднелись дали с озерами и лесами... Я очень много трудился над этим мотивом, стараясь передать свое ощущение от весеннего шума берез...» Увидев картину, друг Рылова художник Богаевский продекламировал стихотворение Некрасова «Зеленый шум».
В коллекции Симферопольского художественного музея представлены три пейзажа А.А. Рылова: «Село Макарье». 1906 г., «Кривая сосна». 1911 г., «Вид Иматры» 1912 г. (все три поступили из Государственного Русского музея в 1953 году). Две первые работы представлены в постоянной экспозиции музея.
Только Рылов, пожалуй, умел как-то особенно поэтично смотреть на самые обыкновенные картины природы, мимо которых проходили сотни людей, не замечая их: белые одуванчики на зеленом лугу; синие реки, где купаются отражения плывущих по небу облаков; шустрая белка, скачущая по пушистым еловым веткам; весенний перелет птиц; березы, трепещущие на ветру своими ветвями; ловко прыгающий в венчике купавы солнечный зайчик...
«Портрет художника Рылова А.А.» 1918 г. А.И. Вахрамеева из небольшой портретной серии художников Общества им. А.И. Куинджи выполнен углем в так называемой технике «три карандаша»: уголь, сангина и мел.
Рылов обладал еще одним редким даром — педагогическим. До революции он вел «класс рисования животных» в Рисовальной школе при ОПХ, а после 1917 г. преподавал в АХ. Его советы и указания ценили не только ученики, но и маститые художники. Столь же ценили его редкую душевную чистоту и любовь к людям. Он вообще любил весь живой мир, и этот мир платил ему тем же. Его любили птицы и звери, и проявления такой любви и доверия вызывали удивление окружающих. В своей мастерской он устроил уголок леса. Тут без клетки жили птицы — зарянки, крапивники, корольки, поползни, чайка, кулик-бекас... Он их покупал на рынке или где-нибудь подбирал, больных и ослабевших, выхаживал, выкармливал, а по весне отпускал на волю. Здесь же было два муравейника. У Рылова жили еще зайцы, белки, мартышка Манька и другие животные. Не боялись его и многие пугливые звери и птицы, без страха приходили и прилетали в его летнюю лесную мастерскую.
«Рыловых природой отпускается очень, очень скупо», — писал друг художника М.В. Нестеров после печального известия о его смерти.
