Aramizda
Aktif Üye
Artırılmış gerçeklik, dijital nesnelerin gerçek sahnelere eklenmesini sağlar. Money daha az yaygındır: Azalan gerçeklik (DR). Bu teknik, bir sahneden nesneleri kaldırır ve ortaya çıkan boşluğu ikna edici bir şekilde doldurur. Üç boyutlu oda için önceki yöntemler yüksek bilgi işlem gücü gerektiriyordu ve genellikle sadece uyarlanmış sahneyi veya hatalarla geciktirdi. TU Graz'daki Görsel Hesaplama Enstitüleri'nden Dieter Schmalstieg, Shohei Mori ve Denis Kalkofen çevresindeki bir ekip, şimdi çeşitli teknolojileri Japonya'daki Keio Üniversitesi'ndeki Hideo Saito'nun ekibiyle birleştirdi ve etkileyici sonuçlar elde etti.
3D görüntüleri taşımak için Photoshop
Ekibin Bilim Bilgi Hizmetine bildirdiği gibi, üç boyutlu nesnelerin azaltılmış gerçekliği kullanarak gerçek zamanlı olarak kaybolmasını sağlamak mümkün olmuştur. Bir kamera, değişen alanı yeni formunda gösteriyor. Shohei Mori, “Basitçe söylemek gerekirse, 3D sahneler için bir tür Photoshop gibi azaltılmış gerçekliği hayal edebilirsiniz” diyor. “Bazıları hoş olmayan şeylerin tatil videolarından nasıl kaldırılacağını düşünebilir. Bu bir zorluktur, ancak oldukça mümkün olur. Ancak, DR uygulamalarının son derece yararlı olduğu başka alanlar da vardır.”
Yeni teknoloji, endüstri için heyecan verici seçenekler açıyor: Otonom araçlar veya görselleştirilmiş film sahneleri için eğitim veri setlerinde, konum izcilik sırasında henüz istenen görünüme sahip olmasa bile doğrudan çekim konumunda arızalanıyor. Tıp alanında, azalan gerçeklik, kameraların görme alanından rahatsız edici unsurları kaldırarak ve böylece öğrenciler için net öğrenme materyali yaratarak cerrahi müdahaleleri destekler.
Inpaint Fusion olarak adlandırılan teknoloji, 2D boyamaya dayanır ve nesneleri 3D sahnelerden çıkarır. Kullanıcılar alanları 2D ekranda işaretler, bu da sistemi 3D sahneye aktarır. Anahtar bir resim başlangıç noktası olarak hizmet eder. Sistem, nesnenin çevresindeki alandan uygun pikseller toplar ve bunları güvenilir bir arka plana özetler. 3D uygulama için, taranan sahnenin renk bilgilerini ve derinlik verilerini de optimize eder, böylece sonuç kamera perspektifinde bile ikna edicidir. Araştırma ekibi, hacimsel 3D görüntü verilerine (çok katmanlı görüntüler) 3D-pozisyonunu başarıyla uyguladı ve böylece nesnenin kaldırılmasının kalitesini önemli ölçüde artırdı.
Anahtar Teknolojiler FPM ve Multitreading
Araştırmacılara göre, en büyük engel tüm işleme adımlarını gerçek zamanlı olarak uygulamaktı. Bunun için araştırmacılar iki teknolojiyi birleştirdiler: Hızlı Yama Eşleştirme (FPM) ve Multyinging. Yama eşleştirme sırasında, sistem açıkta kalan alanı doldurmak için çevredeki en optik olarak uygun pikselleri arar. Bu piksellerin mükemmel olması gerekmez, ancak birlikte milyonlarca piksel kullanmadan ikna edici bir sonuç sağlar. Multipreading, modern işlemcilerin farklı çekirdeklere paralel olarak çeşitli görevleri yerine getirme yeteneğini kullanır. Ekibin azalmış gerçeklik çözümünde, bir arka plan iş parçacığı ayrıntılı 3D boyama görevini hesaplarken, ana iş parçacığı görsel gösterimi kontrol eder. Sonuç gecikmeden görülebilir ve gözlemler odaya serbestçe hareket ettirilse bile nesne görünmez kalır.
Shohei Mori, “Azalan gerçekliğin gerçek zamanlı temsili bu teknoloji için önemli bir adımdır” diyor. “Şimdi, bu seçeneklerin daha geniş bir kitle için erişilebilir hale getirilebilmesi için doğru araç setlerini geliştirmek önemlidir. Başka bir amaç, birkaç bireysel görüntüden hızlı ve verimli bir şekilde 3D modeller üretmektir. Bu, Azaltılmış Gerçekliğe ek bir boyut kazandıracaktır.”
Inpaint füzyon teknolojisi karmaşıktır, muhtemelen yapımcı sahnesi için büyük boyutludur ve henüz mevcut değildir. Bununla birlikte, DIY amacıyla (kendiniz yapın), örneğin Adobe Photoshop (“Üretken Doldurma”), GIMP veya InPaint fonksiyonları ile stabil difüzyon gibi yazılımlarda, boyama içinde 2D araçlar gibi oldukça güçlü basit alternatifler vardır. Bu programlar, derin teknik bilgi veya pahalı donanım gerektirmeden DIY alanındaki görüntülerden nesneleri kaldırmasını veya düzenlemesini sağlar. Örneğin, Photoshop, alanları işaretleyerek ve AI işlevleri aracılığıyla yeni bir arka plan alarak fotoğraflardaki rahatsız edici unsurları rötuşlayabilir. Kararlı difüzyon, gerçek zamanlı 3D'de değil, 2D'deki inpaint füzyonunun aksine benzer etkileri mümkün kılan kendi boyama fonksiyonlarını sunar. RunwayML/kararlı difüzyon gibi modeller veya stabilite/stabilite/kararlı difüzyon-2 boyama gibi modeller, bir görüntünün alanlarını maskelemeye ve metin istemi ile yeni içerik oluşturmaya izin verir.
(USZ)
3D görüntüleri taşımak için Photoshop
Ekibin Bilim Bilgi Hizmetine bildirdiği gibi, üç boyutlu nesnelerin azaltılmış gerçekliği kullanarak gerçek zamanlı olarak kaybolmasını sağlamak mümkün olmuştur. Bir kamera, değişen alanı yeni formunda gösteriyor. Shohei Mori, “Basitçe söylemek gerekirse, 3D sahneler için bir tür Photoshop gibi azaltılmış gerçekliği hayal edebilirsiniz” diyor. “Bazıları hoş olmayan şeylerin tatil videolarından nasıl kaldırılacağını düşünebilir. Bu bir zorluktur, ancak oldukça mümkün olur. Ancak, DR uygulamalarının son derece yararlı olduğu başka alanlar da vardır.”
Yeni teknoloji, endüstri için heyecan verici seçenekler açıyor: Otonom araçlar veya görselleştirilmiş film sahneleri için eğitim veri setlerinde, konum izcilik sırasında henüz istenen görünüme sahip olmasa bile doğrudan çekim konumunda arızalanıyor. Tıp alanında, azalan gerçeklik, kameraların görme alanından rahatsız edici unsurları kaldırarak ve böylece öğrenciler için net öğrenme materyali yaratarak cerrahi müdahaleleri destekler.
Inpaint Fusion olarak adlandırılan teknoloji, 2D boyamaya dayanır ve nesneleri 3D sahnelerden çıkarır. Kullanıcılar alanları 2D ekranda işaretler, bu da sistemi 3D sahneye aktarır. Anahtar bir resim başlangıç noktası olarak hizmet eder. Sistem, nesnenin çevresindeki alandan uygun pikseller toplar ve bunları güvenilir bir arka plana özetler. 3D uygulama için, taranan sahnenin renk bilgilerini ve derinlik verilerini de optimize eder, böylece sonuç kamera perspektifinde bile ikna edicidir. Araştırma ekibi, hacimsel 3D görüntü verilerine (çok katmanlı görüntüler) 3D-pozisyonunu başarıyla uyguladı ve böylece nesnenin kaldırılmasının kalitesini önemli ölçüde artırdı.
Anahtar Teknolojiler FPM ve Multitreading
Araştırmacılara göre, en büyük engel tüm işleme adımlarını gerçek zamanlı olarak uygulamaktı. Bunun için araştırmacılar iki teknolojiyi birleştirdiler: Hızlı Yama Eşleştirme (FPM) ve Multyinging. Yama eşleştirme sırasında, sistem açıkta kalan alanı doldurmak için çevredeki en optik olarak uygun pikselleri arar. Bu piksellerin mükemmel olması gerekmez, ancak birlikte milyonlarca piksel kullanmadan ikna edici bir sonuç sağlar. Multipreading, modern işlemcilerin farklı çekirdeklere paralel olarak çeşitli görevleri yerine getirme yeteneğini kullanır. Ekibin azalmış gerçeklik çözümünde, bir arka plan iş parçacığı ayrıntılı 3D boyama görevini hesaplarken, ana iş parçacığı görsel gösterimi kontrol eder. Sonuç gecikmeden görülebilir ve gözlemler odaya serbestçe hareket ettirilse bile nesne görünmez kalır.
Shohei Mori, “Azalan gerçekliğin gerçek zamanlı temsili bu teknoloji için önemli bir adımdır” diyor. “Şimdi, bu seçeneklerin daha geniş bir kitle için erişilebilir hale getirilebilmesi için doğru araç setlerini geliştirmek önemlidir. Başka bir amaç, birkaç bireysel görüntüden hızlı ve verimli bir şekilde 3D modeller üretmektir. Bu, Azaltılmış Gerçekliğe ek bir boyut kazandıracaktır.”
Inpaint füzyon teknolojisi karmaşıktır, muhtemelen yapımcı sahnesi için büyük boyutludur ve henüz mevcut değildir. Bununla birlikte, DIY amacıyla (kendiniz yapın), örneğin Adobe Photoshop (“Üretken Doldurma”), GIMP veya InPaint fonksiyonları ile stabil difüzyon gibi yazılımlarda, boyama içinde 2D araçlar gibi oldukça güçlü basit alternatifler vardır. Bu programlar, derin teknik bilgi veya pahalı donanım gerektirmeden DIY alanındaki görüntülerden nesneleri kaldırmasını veya düzenlemesini sağlar. Örneğin, Photoshop, alanları işaretleyerek ve AI işlevleri aracılığıyla yeni bir arka plan alarak fotoğraflardaki rahatsız edici unsurları rötuşlayabilir. Kararlı difüzyon, gerçek zamanlı 3D'de değil, 2D'deki inpaint füzyonunun aksine benzer etkileri mümkün kılan kendi boyama fonksiyonlarını sunar. RunwayML/kararlı difüzyon gibi modeller veya stabilite/stabilite/kararlı difüzyon-2 boyama gibi modeller, bir görüntünün alanlarını maskelemeye ve metin istemi ile yeni içerik oluşturmaya izin verir.
(USZ)