Meta推出像素級動作追蹤模型，簡易版在線可玩 | GitHub 1.4K星

　　Meta 最新推出的視頻跟蹤工具CoTracker，發(fā)布沒多久就在 GitHub 上斬獲了 1.4k 星標(biāo)。

　　從官方發(fā)布的幾個(gè) DEMO 來看，效果還是很震撼的。

　　對這個(gè)新“玩具”，有網(wǎng)友評論說，它不僅能改變物體追蹤技術(shù)，也將在體育(動作)分析、野生動物追蹤，甚至電影后期領(lǐng)域掀起一場新的革命。

　　不過，在線 DEMO 是個(gè)簡易版本，還不支持自定義跟蹤位置，只能根據(jù)輸入的跟蹤數(shù)量等距分配。

　　但是如果自己部署、用代碼操縱的話，就可以設(shè)置任意跟蹤點(diǎn)了。

　　說到這我們正好來看一下 CoTracker 該怎么部署。

　　首先是 Colab 版本，我們剛剛說到的自定義跟蹤點(diǎn)也在 Colab 當(dāng)中。

　　Colab 的過程不必過多介紹，進(jìn)入之后運(yùn)行筆記中的代碼就可以了。

　　而如果想自己動手的話，最簡單的方式是從 torch.hub 中直接調(diào)用已完成預(yù)訓(xùn)練的版本。

　　如果要對模型進(jìn)行評估或訓(xùn)練，那么使用 GitHub Repo 更為合適。

　　首先要安裝一下程序和相關(guān)依賴：

　　然后下載模型：

　　有關(guān)評估和訓(xùn)練的方式，可以到 GitHub 項(xiàng)目頁來查看，鏈接放在了文末。

　　那么，CoTracker 又是怎么實(shí)現(xiàn)像素級追蹤的呢?

　　評分超過 DINOv2

　　雖然都是追蹤，但 CoTracker 和物體追蹤模型有很大區(qū)別。

　　CoTracker 并沒有基于語義理解對視頻中物體進(jìn)行分割的過程，而是把重點(diǎn)放在了像素點(diǎn)上。

　　底層方面，CoTracker 采用了 Transformer 架構(gòu)。

　　Transformer 編碼了視頻中點(diǎn)的跟蹤信息，并迭代更新點(diǎn)的位置。

　　推理上，CoTracker 還采用了一種窗口機(jī)制，在時(shí)間軸上劃分出滑動窗口。

　　CoTracker 使用上個(gè)窗口的輸出對后面的窗口進(jìn)行初始化，并在每個(gè)窗口上運(yùn)行多次 Transformer 迭代。

　　這樣就使得 CoTracker 能夠?qū)ΩL的視頻進(jìn)行像素級跟蹤。

　　總之，經(jīng)過一番訓(xùn)練之后，CoTracker 取得了一份不俗的成績單。

　　在 FastCapture 數(shù)據(jù)集測試上，CoTracker 的成績在一眾模型中脫穎而出，其中也包括 Meta 自家的 DINOv2。

　　總之，喜歡的話，就趕緊體驗(yàn)一下試試吧!