Во время Великой Отечественной войны дворец оказался на оккупированных территориях и «комната» была вывезена немецкими войсками.

В начале Великой Отечественной войны музейные ценности из Екатерининского дворца были вывезены в Новосибирск. Янтарную комнату решили не трогать из-за её хрупкости, произвели её консервацию на месте (это по официальной версии, ведь впоследствии немцы демонтировали панно всего за двое суток). Панно оклеили сначала бумагой, затем марлей и ватой, чтобы защитить от взрывной волны. Захватив и ограбив Екатерининский дворец, немцы похитили и Янтарную комнату.

С 1942 года по весну 1944 года панно Янтарной комнаты были смонтированы в одном из залов Королевского замка Кёнигсберга, который по размерам был существенно меньше, чем зал в Царскосельском дворце. Таким образом, с тех пор какая-то часть янтарных панно стала храниться отдельно. В августе 1944 года в результате массированного налёта английской авиации здесь случился пожар, но считается, что панели при этом почти не пострадали, янтарные панно упаковали в ящики и сложили (по свидетельству очевидцев) в одном из залов замка. Ящики с панелями хранились там вплоть до начала штурма города советскими войсками. Замок был занят советской армией 9 апреля 1945 года, а 11 апреля (как было уточнено много лет спустя) начался неожиданный пожар.

Немецкий офицер, участвовавший в вывозе Янтарной комнаты из Царского Села и незаконно увёзший часть её на родину в качестве «сувенира» (это флорентийская мозаика «Обоняние и осязание», одна из четырёх, изготовленных в 1787 году по заказу Екатерины II), передал его на временное хранение некоему нотариусу. Впоследствии[когда?] этот нотариус попытался эту мозаику продать, но в 1997 году немецкие власти конфисковали её, его самого судили, а право владения мозаикой признали за его дочерью. Она же отказалась от претензий на янтарную панель, передав все права на неё городу Бремену, который и передал её музею-заповеднику «Царское Село». 29 апреля 2000 года министр по делам культуры ФРГ Михаэль Науман передал и. о. президента РФ В. В. Путину фрагменты подлинной Янтарной комнаты — флорентийскую мозаику и янтарный комод, изготовленный в 1711 году берлинскими ремесленниками и занимавший одно из центральных мест в меблировке комнаты[3].Янтарная комната была создана мастером Андреасом Шлютером для прусского короля Фридриха I. Когда в 1709 году работа была завершена, плохо закреплённые янтарные панно рухнули. Король разгневался и выслал мастера из страны. Уже его сын, король Фридрих Вильгельм I преподнёс кабинет Петру I в дар. Пётр оценил подарок: «Король подарил меня изрядным презентом яхтою, которая в Потсдаме зело убранная, и кабинетом Янтарным, о чём давно желали» — писал он жене Екатерине[2]. Янтарный кабинет упаковали и с большими предосторожностями переправили в Санкт-Петербург в 1717 году. Мозаичные янтарные панно были установлены в нижнем зале в Людских палатах в Летнем саду.