Ковчег Завета сопровождал евреев на протяжении всего их сорокалетнего странствия по пустыне. В начале захвата Ханаана, скорее всего, они хранили Ковчег Завета в своем стане в Галгаре возле Иерихона на протяжении 14 лет. Потом его перенесли в Вефиль (Бет-Эль), а уже оттуда Ковчег вместе со Скинией был переправлен в Силом (Шило), где он находился 369 лет, вплоть до кончины первосвященника Илии (Эли).
В случаях, когда евреи переходили через Иордан, во время завоевания Иерихона и других воин, они брали Ковчег с собой.
Однажды в сражении с филистимлянами те убили сыновей Илии, взявших на битву Ковчег, и унесли его в Азот (Ашдод). Присутствие Ковчега в их городах принесло филистимлянам немало бед, поэтому им пришлось возвратить его евреям с золотыми дарами в придачу. Ковчег был привезен в Вефсамис (Бет-Шемеш), жители которого погибли из-за того, что не догадались спрятать его от любопытствующих глаз. Затем Ковчег 20 лет простоял в Кириаф-Иарим (Кирьят-Иеарим), население которого оставило его в доме у Аминадава.
После того, как был разрушен город священников Нова, духовным центром страны стал Гаваон (Гивон), куда были перенесены Скиния и большая часть ее сосудов.
Когда же царь Давид завоевал Иерусалим, он возвел там новую скинию для Ковчега с целью превратить Иерусалим в новый духовный центр.
Так случилось, что во время перевозки Ковчега из Кириаф-Иарим (Кирьят-Иеарим) погиб Оза, который старался удержать Ковчег. В результате Ковчег три месяца находился у Аведдара (Овед-Эдома). Прибыв в Иерусалим, Ковчег был внесен в особенный шатер, украшенный драгоценными коврами. При этом Скиния Моисея и её медный жертвенник, считавшийся главным, продолжали находиться в Гаваоне.
Когда у евреев наконец появился Храм, Ковчег и все принадлежности Скинии были перенесены в Святая Святых Храма, которые являют собой внутренние покои размером в 20 локтей. Там Ковчег взгромоздили на каменный постамент, высота которого составляла 3 пальца от уровня пола. Причем этот камень не простой: его называют эвен штия, знаменитый краеугольный камень. Считается, эвен штия расположен в самом центре Земли и является подножием Всевышнего.
Царь Соломон (Шломо), при котором был построен Первый Храм, приказал вытесать из масличного дерева огромного размера херувимов (высота около 5 метров) и покрыть их золотом. Ковчег установили так, что концы его шестов упирались в завесу (парохет) и образовывали с другой её стороны выпуклости, а херувимы находились на его крышке.
Последняя информация о Ковчеге встречается в описании периода правления царя царя Иосии (Иошиягу), сына Аммона. Никто не знает, что случилось с Ковчегом перед тем, как Навуходоносор разрушил Храм в 586 г. до н.э. Ковчег как будто пропал. Он не попал в список богатств, «вывезенных из дома Господня» при царе Иехонии (Иегояхине), а также его нет в перечне священной утвари, которую присвоили себе вавилоняне после захвата Иерусалима. Да и среди утвари, которая была обратно возвращена в Иерусалим Киром Великим, Ковчег Завета тоже не упоминается.
Сегодня вопрос местонахождения Ковчега остается открытым, так как за все эти века никаких следов его не было обнаружено.
Уже во Втором Храме Ковчега Завета не было, как и его принадлежностей. При этом традиция воскурения фимиама в Святая Святых на Йом-Кипур сохранялась. Иосиф Флавий утверждал, что были построены лишь жертвенник и Храм, но не Святая Святых.
Согласно одной из талмудических версий, по приказу царя Иосия Ковчег спрятали под краеугольным камнем в Святая Святых или же под полом Дровяной палаты Храма. Другая версия гласит, что Ковчег отвезли в Вавилон, но дальнейшая его судьба не известна.
Во Второй Книге Маккавеев сказано, что Ковчег был спрятан в пещере на горе Нево пророком Иеремией (Ирмиягу) по воле Всевышнего.
«Было также в писании, что сей пророк, по бывшему ему Божественному откровению, повелел скинии и ковчегу следовать за ним, когда он восходил на гору, с которой Моисей, взойдя, видел наследие Божие. Придя туда, Иеремия нашёл жилище в пещере и внёс туда скинию и ковчег и жертвенник кадильный, и заградил вход. Когда потом пришли некоторые из сопутствовавших, чтобы заметить вход, то не могли найти его. Когда же Иеремия узнал о сем, то, упрекая их, сказал, что это место останется неизвестным, доколе Бог, умилосердившись, не соберёт сонма народа. И тогда Господь покажет его, и явится слава Господня и облако, как явилось при Моисее, как и Соломон просил, чтобы особенно святилось место». (2Макк.2:4—8)
Согласно одной из версий, пропажа Ковчега Завета связана с правлением царя Манассии (Менаше) в 687—642 гг. до н. э. Отмечается, что священники специально выкрали Ковчег их Храма, чтобы таким образом уберечь его от уничтожения безнравственным правителем. Священники перевезли Ковчег в Египет, где он провел следующие 200 лет, находясь в новом храме на острове Ив. После разрушения этого храма Ковчег продолжил скитаться и однажды попал в Эфиопию, откуда он был перенесен на остров Тана-Киркос и установлен в простом шатре. Так, еще восемь веков Ковчег являлся центром особого иудейского культа, от последователей которого, вероятно, произошли современные эфиопские евреи.
По этой же легенде, потом пришли христиане, которые забрали Ковчег в Аксум. Там его поместили в собор Святейшей Девы Марии Сиона.
Согласно еврейской традиции, местонахождение Ковчега Завета станет известно после того, как будет отстроен Третий Храм.