«Выстроен в 1782 г. из кирпича разломанных стен Белого города для гр. 3.Г. Чернышева.
Над чертежами зданий, находящимися в Оружейной палате имеется надпись: "оное все строение построено и прожектировано архитектором Матвеем Казаковым, кроме главного корпуса, который строен им же, а кем прожектирован неизвестно".
В 1784 г. приобретен казною для Главнокомандующих. В 30-х годах у подъезда стояли две огромные скульптурные фигуры.
В 1799 г. был немного переделан, а в 1807 г. губернатор И.Т. Тутолмин устроил в здании домовую церковь.»