Deep Web, Sisi Gelap Internet

Deep Web, Sisi Gelap Internet

Deep Web, Sisi Gelap Internet

 

Deep Web, Sisi Gelap Internet
Deep Web, Sisi Gelap Internet
       The web dalam , juga disebut web tak terlihat , dijelaskan dalam arsitektur web, bagian dari Net tidak diindeks oleh mesin pencari utama diketahui.
          Memahami Web dan Internet
     Definisi cepat dari kedua konsep ini diperlukan sebelum sampai ke inti permasalahan. Internet adalah jaringan jaringan komputer, terdiri dari jutaan jaringan publik dan swasta.      Informasi ditransmisikan menggunakan protokol transfer data HTTP atau HTTPS yang memungkinkan berbagai layanan, seperti e-mail, peer-to-peer atau World Wide Web, yang lebih dikenal sebagai Web.      Dengan kata lain, Web adalah salah satu aplikasi di antara banyak yang menggunakan Internet dan jutaan jaringannya sebagai media fisik dan sarana transportasi, seperti halnya e-mail.
     Ini adalah jaringan informasi yang terdiri dari milyaran dokumen yang tersebar di jutaan server di seluruh dunia dan dihubungkan satu sama lain sesuai dengan prinsip hypertext.
     Web sering dibandingkan dengan web laba-laba karena tautan hiperteks yang menghubungkan dokumen bersama dapat disamakan dengan utas web dan dokumen dengan node di mana benang ini berpotongan.
     Dan web itu sendiri terdiri dari dua bagian: web yang terlihat dan web yang tidak terlihat, yang lebih umum disebut Deep Web .      Tetapi untuk memahami apa Deep Web sebenarnya, kita harus terlebih dahulu berbicara tentang web yang terlihat, robot pengindeksan, web buram, dan sumber daya yang dalam.
     The web terlihat , juga disebut web permukaan, adalah konten internet yang dapat diakses melalui mesin pencari klasik seperti Mozilla Firefox, Internet Explorer, Google Chrome, Yahoo, Bing, dll … Itu, oleh karena itu, mencakup semua situs dan halaman diindeks dan direferensikan oleh mesin pencari ini.
     Misalnya, ketika Anda mengetik “dailytechmonde” di Google, Anda akan menemukan tautan langsung ke situs web.      Dengan kata lain, sebuah halaman diindeks pada situs web yang dirujuk. Untuk menawarkan kepada Anda halaman ini, mesin pencari yang dimaksud telah mencari database yang telah dibuat sebelumnya dengan mengindeks semua halaman web yang mungkin.
     Dengan demikian, jauh sebelumnya, telah mencoba memahami konten dari semua halaman ini agar dapat mengusulkannya kepada pengguna ketika ia melakukan pencarian kata kunci. Saya berbicara tentang kata kunci karena itulah yang paling sering kami gunakan dengan mesin pencari yang berbeda.      Untuk menemukan halaman baru dan terus memperbarui database mereka, mesin pencari menggunakan program tertentu, crawler terkenal, dan robot pengindeksan yang mengikuti hyperlink.
bot-google
      Kita juga dapat berbicara tentang ” crawler ” atau ” bot “, yang merupakan kontraksi sederhana dari istilah “robot”. Setelah situs web diindeks oleh robot ini , isinya kemudian dapat ditemukan sesuai permintaan.      Tetapi terlepas dari sumber daya material yang signifikan, perayap tidak dapat mengikuti semua tautan yang terlihat secara teoritis yang terkandung di Web.
     Untuk mempelajari perilaku perayap ketika dihadapkan dengan situs yang berisi banyak halaman, tim peneliti Jerman, misalnya, membuat situs web dengan lebih dari 2 miliar halaman.      Situs web ini didasarkan pada struktur biner dan sangat dalam, butuh setidaknya 31 klik untuk sampai ke beberapa halaman. Mereka meninggalkan situs web online selama satu tahun tanpa perubahan.      Dan hasilnya menunjukkan bahwa jumlah halaman yang diindeks untuk situs ini, dalam kasus terbaik, tidak melebihi 0,0049%. Bagian web ini, secara teoritis dapat diindeks, tetapi tidak diindekskan oleh mesin dijuluki “web buram”, yang terletak tepat di antara web yang terlihat dan web yang dalam.     Jadi, web yang terlihat dapat diindeks dan memang demikian. Web buram dapat diindeks, tetapi tidak.
          Deep web tidak dapat diindeks
     Agar situs web diindeks oleh perayap, lalu ditempatkan di basis data oleh robot pengindeksan dan karenanya direferensikan oleh mesin pencari, ia harus memenuhi standar tertentu.      Standar-standar ini menyangkut format, konten atau aksesibilitas robot di situs. Yaitu bahwa situs web dapat memiliki halaman pada saat yang sama yang tidak mematuhi standar-standar ini dan halaman yang mematuhinya, dalam hal ini hanya yang terakhir yang akan dirujuk.      Semua situs web yang dapat diakses langsung melalui mesin pencari, oleh karena itu, patuhi minimal standar ini. Halaman yang direferensikan dari semua situs ini membentuk apa yang disebut web yang terlihat: bagian dari web yang menghormati standar-standar ini. Tapi itu hanya mewakili 4% dari total web.
     Sisanya 96% adalah sumber daya dalam yang disebut: halaman yang ada di web tetapi tidak direferensikan oleh mesin pencari karena berbagai alasan.      Dimulai dengan kegagalan untuk memenuhi standar yang ditetapkan, tetapi tidak hanya. Sumber daya yang dalam ini, yang akan mewakili 96% dari keseluruhan web, membentuk apa yang disebut “Deep Web”, juga disebut web tak terlihat, web tersembunyi atau web dalam.      Saya menggunakan persentase kondisional karena rasio ini bervariasi sesuai dengan studi yang telah dilakukan. Misalnya, menurut beberapa spesialis pada 2008, Deep Web akan, pada kenyataannya, hanya mewakili 70% dari Web, atau sekitar satu triliun halaman yang tidak diindeks pada saat itu.
     Sebuah studi Juli 2001 yang dilakukan oleh perusahaan BrightPlanet memperkirakan bahwa Deep Web dapat mengandung sumber daya 500 kali lebih banyak daripada web yang terlihat.      Menurut Chris Shermann dan Gary Price dalam buku mereka “The Invisible Web”, web yang terlihat akan mewakili 3 hingga 10% dari Web, jadi 90 hingga 97% untuk Deep Web. Menurut seorang peneliti Kanada pada akhir 2013, itu akan lebih banyak di urutan 10% untuk web terlihat dan 90% untuk Deep Web.      Dan menurut sebuah penelitian yang diterbitkan dalam jurnal Network, setiap pencarian di Google hanya akan memberikan 0,03% dari informasi yang ada secara online. Jadi 1 halaman dari 3.000 halaman yang ada.
     Persentase yang paling sering menonjol adalah masih 4% untuk web yang terlihat dan 96% untuk Deep Web. Hanya perlu diingat bahwa web yang terlihat sebenarnya hanya sebagian kecil dari keseluruhan web.      Dan itu sebabnya metafora gunung es sering digunakan sebagai representasi. Bagian yang muncul mewakili web yang terlihat, dan bagian yang terendam, sumber daya dalam yang terkenal yang membentuk web yang Dalam.      Selain itu, sumber daya ini, selain berukuran besar, sering kali memiliki kualitas yang sangat baik, karena kompresi file kurang penting. Tetapi kembali ke pengindeksan.     Ada banyak situs, halaman, dan dokumen, yang tidak dapat dirujuk oleh mesin pencari klasik. Baik karena mereka tidak memiliki akses ke halaman-halaman ini, atau karena mereka tidak dapat memahaminya.
     Ada banyak alasan, tetapi jika kami membuat daftar yang utama, mereka akan menjadi: * Konten yang tidak terkait. * Konten skrip. * Format yang tidak dapat diindeks. * Konten yang terlalu besar. * Konten pribadi. * Konten akses terbatas. * Internet of Things. * Konten dinamis. * Konten dengan nama domain non-standar.      Tak perlu dikatakan bahwa beberapa situs web menggabungkan beberapa faktor ini. Sejauh menyangkut konten yang tidak terkait, beberapa halaman situs sama sekali tidak ditautkan satu sama lain oleh hyperlink, dan oleh karena itu tidak dapat ditemukan oleh robot pengindeksan yang hanya mengikuti hyperlink. Ini disebut halaman tanpa backlink.
     Sejauh menyangkut konten skrip, beberapa halaman web berisi skrip seperti Javascript atau lainnya, yang kadang-kadang dapat memblokir akses ke robot, seringkali tanpa sengaja melakukannya. Penggunaan bahasa Javascript, kadang-kadang disalahpahami oleh robot, untuk menghubungkan halaman bersama, juga merupakan hambatan untuk pengindeksan mereka.      Adapun format yang tidak dapat diindeks, Deep Web juga terdiri dari sumber daya yang menggunakan format data yang tidak dapat dipahami oleh mesin pencari.      Ini telah menjadi kasus di masa lalu, misalnya, dengan format PDF, atau format Microsoft Office, seperti Excel, Word atau PowerPoint. Satu-satunya format yang awalnya dikenali oleh robot adalah bahasa asli web, yaitu HTML.
     Tetapi mesin pencari secara bertahap membaik untuk mengindeks sebanyak mungkin format. Saat ini, mereka dapat mengenali selain HTML, PDF, Microsoft Office, dan sejak 2008, halaman dalam format flash.      Sejauh menyangkut konten yang terlalu besar, mesin pencari tradisional hanya mengindeks antara 5 dan 60% dari konten situs yang mengumpulkan database besar.      Ini adalah kasus, misalnya, Pusat Data Iklim Nasional dengan 370.000 GB datanya, atau situs NASA dengan 220.000 GB.      Oleh karena itu, sebagian mesin mengindeks halaman-halaman tebal ini. Google dan Yahoo, misalnya, berhenti mengindeks dari 500 KB.      Adapun konten pribadi, beberapa halaman tidak dapat diakses oleh robot, karena kehendak administrator situs web.      Penggunaan file “
robots.txt “dimasukkan dalam kode situs, memungkinkan untuk mengotorisasi pengindeksan hanya halaman tertentu atau dokumen situs dan dengan demikian untuk melindungi hak ciptanya.      Misalnya, jika Anda tidak ingin beberapa gambar atau foto di situs Anda muncul di Gambar Google, atau untuk membatasi kunjungan dan menjaga situs dari akses yang terlalu sering.
Google-Search-Console
     Tapi itu tidak biasa bahwa robots.txt diletakkan di root situs web sepenuhnya memblokir pengindeksan dan SEO dari seluruh situs. Memang, beberapa orang sengaja memilih untuk tidak merujuk situs mereka untuk memprivatisasi informasi.      Oleh karena itu, satu-satunya cara untuk mengakses halaman mereka adalah dengan mengetahui URL halaman mereka secara keseluruhan. Pengembang situs kemudian dapat memilih untuk mendistribusikan alamat ke beberapa orang di komunitas tertentu, misalnya pada forum seperti Reddit atau 4chan, dan orang-orang ini kemudian dapat mengedarkannya dari mulut ke mulut. Operasi ini persis sama dengan server Discord, misalnya.      Inilah yang lebih dikenal sebagai web pribadi, yang merupakan kategori yang terkait dengan Deep Web, dan yang sangat mirip dengan Dark Net .
     Sejauh menyangkut konten akses terbatas, beberapa situs web memerlukan otentikasi dengan login dan kata sandi untuk mengakses konten. Ini lebih dikenal sebagai web berpemilik.      Ini adalah kasus, misalnya, dari beberapa sub-forum, atau beberapa situs dengan arsip berbayar, seperti surat kabar online, yang kadang-kadang memerlukan berlangganan. Beberapa situs juga mengharuskan Anda untuk mengisi captcha, atau tes Turing, untuk membuktikan bahwa Anda adalah manusia dan dengan demikian mengakses konten.      Namun, situs lain terkadang mengharuskan Anda untuk mengisi formulir kriteria pencarian untuk dapat mengakses halaman tertentu. Ini adalah kasus, misalnya, dari situs yang menggunakan basis data.      Sejauh menyangkut Internet of Things, juga dikenal sebagai  IoT
, Internet of Things adalah pengelompokan atau lebih tepatnya jaringan dari semua objek fisik yang terhubung dengan identitas digital mereka sendiri dan mampu berkomunikasi satu sama lain.      Dari sudut pandang teknis, IoT terdiri dari identifikasi digital langsung dari salah satu objek ini, berkat sistem komunikasi nirkabel, yang dapat berupa Wifi atau Bluetooth.      Namun, beberapa dari mereka memiliki URL, meskipun mereka dalam HTTP, tetapi tidak diindeks oleh mesin pencari tradisional, karena di satu sisi, itu akan sia-sia. Dan di sisi lain, itu dapat menyebabkan ekses tertentu. Tetapi beberapa mesin pencari khusus seperti Shodan, tidak peduli dengan penyimpangan ini dan memungkinkan Anda melakukan lebih banyak pencarian mendalam, terutama di Internet of Things.
     Anda kemudian dapat menemukan halaman khusus untuk menghubungkan ke objek yang terhubung. Misalnya, dengan pelacakan kendaraan waktu nyata, atau bahkan perangkat video yang tidak terlindungi. Ini bisa dengan mudah menjadi kamera pengintai, seperti webcam pribadi yang tidak memerlukan kata sandi untuk akses.      Jadi Anda mengerti masalah yang bisa muncul. Saya mengambil kesempatan ini untuk menyarankan Anda untuk selalu mencabut webcam Anda saat Anda tidak menggunakannya.      Dan jika itu termasuk dalam laptop Anda, setidaknya taruh sesuatu di atasnya untuk menyembunyikan kamera. Dalam hal ini mikrofon webcam Anda akan selalu operasional, jangan lupakan saja. Itu sebabnya selalu lebih baik untuk mencabutnya ketika Anda bisa, daripada hanya menyembunyikan lensa.
     Sejauh menyangkut konten dinamis, situs web mengandung lebih banyak halaman yang lebih dinamis. Namun, dalam hal ini, hyperlink navigasi dihasilkan sesuai permintaan dan berbeda dari satu kunjungan ke kunjungan lainnya.      Pada dasarnya, konten halaman berfluktuasi sesuai dengan beberapa parameter dan tautan berubah sesuai dengan masing-masing pengguna, sehingga mencegah pengindeksan.      Misalnya, katakanlah Anda ingin mengambil tiket untuk pergi dari Paris ke Marseille. Anda mengetik SNCF di Google, pergi ke situs, lalu ke halaman pencarian, dan masukkan informasi Anda dalam formulir, seperti nama kota, peringkat Anda, kelompok umur Anda, hari, waktu, dll.       Setelah dikonfirmasi, Anda kemudian tiba di halaman SNCF yang terdefinisi dengan baik, dihasilkan berkat filter dalam database-nya, mengikuti informasi yang Anda berikan.
     Halaman ini yang menunjukkan Anda jadwal kereta yang sangat spesifik dengan tarif yang tersedia, Anda tidak dapat menemukannya secara langsung dengan melakukan pencarian Google dengan kata kunci, kami setuju.      Karena itu, ini adalah halaman yang tidak diindeks oleh mesin pencari mana pun. Saya membayangkan Anda semua sudah melakukan pencarian SNCF semacam ini setidaknya sekali. Baiklah, selamat! Anda berada di web yang dalam pada saat itu.      Akhirnya, sejauh menyangkut konten dengan nama domain non-standar, ini adalah situs web dengan nama domain yang resolusi DNSnya tidak standar, dengan misalnya root yang tidak terdaftar dengan ICANN. Perusahaan Internet untuk Nama dan Angka yang Ditugaskan. Dengan kata lain, masyarakat untuk penugasan nama dan nomor domain di Internet.

     Akar nama domain yang dikenal oleh ICANN adalah.COM, .FR, .CO, .GOV dan banyak lainnya yang mengikuti

negara. Tetapi ada nama domain non-standar yang hanya dapat diakses melalui server DNS tertentu.      Sistem Nama Domain, sistem nama domain, adalah layanan yang memungkinkan nama domain untuk diterjemahkan ke dalam beberapa jenis informasi yang terkait dengannya. Khususnya alamat IP mesin yang menggunakan nama ini.
untuk bawang
     Contoh paling terkenal dan paling menarik adalah .onion root, yang hanya dapat diselesaikan melalui Tor Browser di jaringan Tor . Saya berbicara tentang Dark Net yang terkenal, yang menyediakan akses ke banyak sisi yang kurang dapat diakses dari Deep Web, the Dark Web.      Bagaimanapun, Anda hanya perlu memahami bahwa ada banyak, banyak kasus di mana mesin pencari tradisional tidak dapat membuat daftar situs atau setidaknya beberapa halamannya.      Oleh karena itu, semua halaman yang tidak dapat diakses ini, setidaknya secara langsung melalui mesin pencari disebut sumber daya Deep Web dan membentuk apa yang disebut Deep Web.
     Oleh karena itu, rata-rata pengguna menavigasi setiap hari di bagian kecil Web, Web yang terlihat. Dari waktu ke waktu, dia dapat menjelajahi Deep Web tanpa menyadarinya, seperti contoh reservasi SNCF.      Setelah saya mengambil contoh ini, tetapi ada banyak kasus lain di mana Anda menjelajahi Deep Web. Misalnya, ketika Anda memeriksa email di Gmail, Anda berada di Deep Web.      Ketika Anda berkonsultasi dengan area pelanggan Anda di situs web operator telepon Anda, Anda berada di Deep Web.      Saat Anda melihat dokumen bersama di Google Drive, Anda berada di Deep Web.      Jika Anda berada di perusahaan yang memiliki jaringan internal, sering disebut intranet, dan Anda pergi ke sana, Anda berada di Deep Web.
     Ketika Anda berbicara dengan teman-teman Anda di server Discord, Anda berada di Deep Web.      Ketika Anda memeriksa rekening bank Anda secara online, Anda berada di Deep Web.      Deep Web adalah kotak surat Anda, ruang administrasi Anda, jaringan internal perusahaan Anda, halaman web dinamis dan banyak hal lainnya.      Dan Deep Web kemungkinan akan menjadi bagian yang jauh lebih besar dari web di tahun-tahun mendatang, karena Cloud menjadi semakin penting.      Karenanya, semua artikel dan laporan yang mengatakan bahwa Anda hanya menjelajahi web yang terlihat setiap hari adalah salah. Tentu saja, web yang terlihat jelas yang paling sering Anda gunakan. Tapi saya bayangkan, misalnya, bahwa Anda memeriksa email Anda setiap hari, jadi Anda pergi ke Deep Web setiap hari.
     Deep Web tidak memiliki hal yang baik atau buruk seperti yang mungkin dipikirkan beberapa orang. Itu hanya kekhususan teknis. Tidak ada sisi gelap dari Net, hanya area yang diabaikan oleh beberapa mesin.      Masalahnya, seperti yang akan Anda pahami, adalah bahwa banyak artikel dan laporan membingungkan Deep Web dan Dark Web. Mereka berbicara tentang Dark Web dengan menyebutnya Deep Web , tetapi itu bukan hal yang sama.      Akibatnya, Deep Web disalahgunakan oleh media dan masyarakat umum mendapat gambaran yang bias tentangnya.

          Perbedaan antara Deep Web dan Dark Web

     Ketika saya mencantumkan alasan utama mengapa beberapa halaman web tidak diindeks, saya sebutkan yang memiliki nama domain non-standar. Dengan kata lain, URL yang tidak diakhiri dengan .COM, .FR, .CO, .GOV, dan sebagainya, bergantung pada negara.      Situs yang tidak dirujuk oleh mesin pencari klasik, karena nama domain mereka tidak terdaftar di ICANN. Mayoritas dari mereka diciptakan untuk secara sukarela menghindari referensi. Dan URL mereka hanya dapat diterjemahkan antara tanda kutip melalui server DNS tertentu.      Contoh paling terkenal adalah root .onion, yang hanya bisa diselesaikan melalui Dark Net Tor , memungkinkan akses ke banyak sisi yang paling tidak dapat diakses dari Deep Web, the Dark Web.
     Jadi, yang disebut Dark Web adalah sub-bagian dari Deep Web dan merupakan himpunan halaman yang hanya dapat diakses dengan memiliki direct. tautan bawang ke Dark Net Tor .      Sekali lagi, tidak ada yang baik atau buruk tentang ini. Itu hanya kekhususan teknis. Dan mengapa saya juga ingin membedakan Dark Net dari Dark Web ? Karena Dark Web adalah tentang konten dan Dark Net adalah tentang infrastruktur.      Dengan kata lain, cara teknis di mana konten ini dibuat dan disediakan. Dengan kata lain, tidak hanya ada satu Dark Net, tetapi beberapa.

     Jadi izinkan saya meringkas. Internet adalah jaringan jaringan komputer, terdiri dari jutaan jaringan, baik negeri

maupun swasta, yang mengedarkan semua jenis data.      World Wide Web, atau Web jika Anda suka, adalah salah satu aplikasi di antara banyak yang menggunakan Internet sebagai media fisik dan sarana transportasi untuk menemukan data ini.      Web memiliki dua bagian yang berbeda: web yang terlihat dan web yang tidak terlihat, lebih dikenal sebagai Deep Web.      Deep Web ada karena sejumlah alasan yang telah kita lihat. Dan salah satunya menyangkut nama domain khusus.      Jaringan yang mengelompokkan situs-situs ini dengan nama domain khusus ini disebut Dark Nets. Dan konten yang kami temukan di Dark Nets ini disebut Dark Web.

You might be interested in …

Menristekdikti sebut perlu adanya standardisasi kopi Sidikalang

Teknologi

Menristekdikti sebut perlu adanya standardisasi kopi Sidikalang Menteri Riset, Teknologi dan Pendidikan Tinggi, Mohamad Nasir mengatakan perlu adanya standarisasi kopi Sidikalang yang berasal dari Kabupaten Dairi, Provinsi Sumatera Utara. “Dairi memiliki potensi hasil pertanian dan juga perkebunan , salah satunya adalah kopi Sidikalang yang terkenal itu. Nah, bagaimana pengemasan maupun cita rasa kopinya harus sama […]

Read More
MemSQL mengumpulkan $ 50 juta dalam fasilitas utang untuk platform basis data waktu nyata

MemSQL mengumpulkan $ 50 juta dalam fasilitas utang untuk platform basis data waktu nyata

Teknologi

MemSQL mengumpulkan $ 50 juta dalam fasilitas utang untuk platform basis data waktu nyata     Ketika sejumlah startup kembali ke penggalangan dana dengan sungguh-sungguh, salah satu yang berada di ujung tanduk pertumbuhan telah menutup putaran utang besar untuk mempertahankan lebih banyak ekuitas di perusahaan karena beberapa inci menjadi arus kas positif. MemSQL – basis […]

Read More
8 Paket Internet Smartfren 4G Murah Unlimited

8 Paket Internet Smartfren 4G Murah Unlimited

Teknologi

8 Paket Internet Smartfren 4G Murah Unlimited   Smartfren adalah salah satu provider CDMA yang banyak di minati oleh para pengguna internet pada saat ini. Seiring dengan berjalannya waktu, Smartfren terus mengalami kemajuan yang begitu pesat. Di tambah lagi, Smartfren menyediakan layanan jaringan 4G LTE yang memiliki kecepatan tinggi sehingga menjadi salah satu daya tarik […]

Read More