Все детство и первые годы молодости Софья Андреевна много времени проводила в театре. Ее отец Андрей Евстафьевич служил в придворном ведомстве и имел право на даровую ложу; и мать, не любившая оставлять девочек одних дома, возила их часто в театр. Любовь Александровна Берс очень любила оперу «Жизнь за царя». Софья Андреевна знала эту оперу наизусть, и впоследствии часто играла для матери. Именно частые посещения театра, по словам Софьи Андреевны, «незаметно втянули» ее в любовь не только к опере, но и вообще к музыке. Прослушав ту или иную оперу, она тотчас же брала из абонемента ноты, разыгрывала ее и пела от начала до конца. «Голос у меня был большой, но первобытный, и я совсем не умела и не могла им владеть. Вдруг возьму фальшиво ноту, вскрикну от ужаса, что не попала, и сейчас же замолчу», — вспоминала Софья Андреевна.
С музыкой связано не только детство Софьи Андреевны, но и начало отношений с супругом: пение ее сестры Танечки Берс на одном из любительских вечеров стало определяющим в решении писателя передать Соне письмо с предложением руки и сердца. В своих воспоминаниях Татьяна Андреевна Кузминская писала: «Позднее я узнала, что, аккомпанируя мне в этот вечер, Лев Николаевич загадал: „Ежели она возьмет хорошо эту финальную ноту, то надо сегодня же передать письмо. Если возьмет плохо — не передавать…“. Через некоторое время я видела, как Соня с письмом в руке быстро прошла вниз, в нашу комнату».
Любовь к природе, литературе и музыке сблизила и объединила супругов Толстых. Вечерами они играли в четыре руки, и Лев Николаевич иногда сердился, когда Софья Андреевна не держала такт. В одном из писем в Москву графиня говорила: «Я теперь все собираюсь серьезно музыкой заняться. Так мне хочется во всем решительно быть ему приятной, да плохо удается». Будучи в Москве в декабре 1862 года, Софья Андреевна впервые в жизни оказалась на симфоническом концерте. По ее собственному признанию, она тогда «совсем не умела еще слушать классическую музыку».