دیپ وب (Deep Web) چیست؟

شاید شما هم واژه دیپ وب (Deep Web) یا وب پنهان، به گوشتان خورده باشد و یا با دیدن فصل دوم سریال خانه کارت‌ها درمورد آن کنجکاو شده باشید. زمانی که از موتورهای جستجو برای گشتن در اینترنت استفاده می‌کنید، تنها در حال خراشیدن سطح شبکه جهانی وب هستید. اما اینترنت، عمقی بیشتر از اینها دارد.. درست همانند یک کوه یخ که تنها سطح آن را روی آب مشاهده می‌کنید و قسمت عظیمی از آن، در زیر آب قرار دارد. با گجت همراه باشید تا درمورد دیپ وب (وب پنهان) اطلاعات بیشتری کسب کنید.

وسعت دیپ وب

اینکه دیپ وب دقیقاً چقدر عمق دارد، اندازه گیری دشواری دارد. اما محققین برتر دانشگاهی اذعان داشته‌‌اند که وبی که شما می‌شناسید (فیسبوک، ویکیپدیا، اخبار و غیره)، مقداری کمتر از ۱% کل شبکه جهانی وب را اشغال کرده‌اند!

زمانی که درحال جستجو در اینترنت هستید، در حقیقت تنها درحال شناور بودن بر روی سطح آن هستید. اما با شیرجه زدن به عمق این دنیا، هزاران تریلیون صفحه (تعدادی بسیار گسترده و غیر قابل شمارش) وجود دارد که بیشتر افراد، هیچگاه مشاهده نکرده‌اند! این صفحات شامل هرآنچه که تصورش را کنید خواهد بود.. از آمارهای خسته کننده تا بخش‌های بدن انسان که به صورت غیر قانونی برای فروش قرار گرفته و بیشتر در دارک وب (Dark Web) قرار می‌گیرد.

گرچه درک دیپ وب اندکی دشوار است، اما کانسپتی که در آن وجود دارد، بسیار ساده است. از لحاظ موتورهای جستجو درمورد آن فکر کنید. موتورهای جستجو همانند گوگل (GOOG)، یاهو (YHOO) و بینگ مایکروسافت (MSFT)، برای آنکه به شما نتایج مناسبی ارائه دهند، مدام صفحات اینترنتی را ایندکس می‌‎کنند. این موتورها برای انجام چنین عملی، به دنبال لینک‌های بین سایت‌ها می‌گردند و همانند یک عنکبوت، در موضوعات وب می‌خزند. اما این شیوه تنها آن‌ها را قادر به جمع آوری صفحات استاتیک می‌کند (همانند همین صفحه که اکنون در حال مطالعه آن هستید).

آنچه موتورهای جستجو ثبت نمی‌کنند، صفحات داینامیک (پویا) است؛ همانند صفحاتی که زمانی که درخواست سوالی با پایگاه داده آنلاین را انجام می‌دهید. مثلاً نتایج یک پرس و جو درمورد سایت اداره آمار از این دست خواهد بود.

نایجل همیلتون (Nigel Hamilton) که Turbo10 را اداره می‌کرد در این مورد می‌گوید:

زمانی که خزندگان وب به یک [پایگاه داده] می‌رسند، عموماً نمی‌توانند لینک‌ها را به درون محتوای عمیق‌تری در پشت صفحات جستجو دنبال کنند.

جالب است بدانید که Turbo10 موتور جستجویی بود که برای جستجو در دیپ وب استفاده می‌شد و اکنون غیرفعال شده است.

گوگل و دیگر موتورهای جستجو صفحاتی که در پشت شبکه‌های خصوصی قرار دارند و یا صفحات مستقل که به هیچ مورد دیگری متصل نیستند را ثبت نمی‌کنند. تمام این‌ها، بخشی از دیپ وب (وب پنهان) است.

دیپ وب بر خلاف دارک وب (Dark Web یا Darknet) محتوایی دارد که از موتورهای جستجو به این دلیل پنهان است که لینکی به محتوای آن اشاره ندارد؛ اما محتوای دارک وب عمداً رمزگذاری می‌شود تا از دید عموم پنهان بماند. به عنوان مثال، اگر وب سایتی بسازید ولی URLهای انفرادی برای صفحه نسازید و یا لینکی از طریق صفحه اصلی عمومی دسترس پذیری به آن ندهید، احتمال دارد موتورهای جستجو این صفحات را نیافته و ایندکس نکنند.

چه مواردی در دیپ وب (وب پنهان) وجود دارد؟

اینکه چه موردهایی را می‌توانید در وب پنهان (دیپ وب) بیابید، بستگی به محلی دارد که در حال جستجو در آن هستید. اکثریت قریب به اتفاق دیپ وب شامل صفحاتی است که اطلاعات ارزشمندی را در خود دارد. گزارشی در سال ۲۰۰۱ منتشر شد که تاکنون، بهترین گزارش محسوب می‌شود. در این گزارش تخمین زده شد که ۵۴% وب سایت‌ها، پایگاه داده هستند. در کل دنیا، بزرگترین پایگاه‌ها متعلق به سازمان ملی اقیانوسی و جوی آمریکا، ناسا، دفتر ثبت اختراع و علائم تجاری و سیستم سرچ EDGAR کمیسیون بورس و اوراق بهادار است که تمام آن‌ها به صورت عمومی قرار دارند. دسته بعدی اطلاعات دیپ وب شامل صفحاتی است که توسط شرکت‌ها به صورت محرمانه نگه داشته شده‌اند و باید برای مشاهده آن‌ها، هزینه پرداخت شود (همانند سندهای دولتی در LexisNexis و Westlaw یا مجله‌های علمی در Elsevier).

۱۳% دیگر صفحات، به این دلیل پنهان مانده‌اند که تنها مبتنی بر یک اینترانت هستند. این شبکه‌های اینترانت (که در دانشگاه‌ها و شرکت‌ها استفاده می‌شود)، به بردهای پیغام، فایل‌های پرسنل و یا پنل‌های کنترل صنعتی دسترسی ایجاد می‌کنند که می‌توانند عملیاتی به سادگی خاموش کردن یک چراغ تا خاموش کردن یک نیروگاه برقی را انجام دهند.

Tor نیز بخشی از صفحات دیپ وب را تشکیل می‌دهد که تاریکترین گوشه در اینترنت است. Tor، مجموعه‌ای از وب سایت های پنهانی است (که انتهای آدرس آن‌ها .onion قرار دارد). دستیابی به این صفحات وب، نیازمند نرم افزارهای ویژه‌ای است. دلیل استفاده افراد از Tor برای این است که فعالیت‌شان در وب قابل ردیابی نباشد که بر روی یک سیستم کمکی اجراء می‌شود و سیگنال‌ها را درمیان کامپیوترهایی که در سرتاسر دنیا Tor فعال دارند، پخش می‌کند.

اولین عرضه‌ی Tor در سال ۲۰۰۲ بود که توسط آزمایشگاه تحقیقاتی نیروی دریایی ایالات متحده تولید شد و به عنوان روش ارتباط آنلاینی به صورت ناشناس مورد استفاده قرار می‌گرفت. برخی افراد از آن برای تعاملات حساس استفاده می‌کنند که شامل مخالفت‌های سیاسی است. اما در دهه اخیر، تبدیل به مرکزی برای بازارهای سیاه شده است که برای توزیع مواد مخدر، فروش کارت‌های اعتباری سرقت شده، موارد غیر اخلاقی و مدیاهای سرقت شده استفاده می‌شود. حتی می‌توانید از طریق چنین صفحاتی، افرادی برای قتل نیز استخدام کنید که البته بیشتر در بخش‌های دارک وب خواهد بود!

درحالی که دیپ وب (وب پنهان) از دید عموم پنهان مانده، اما اهمیت اقتصادی آن رو به رشد است زیرا اطلاعات آن برای تحقیقات و یا رکوردهای دولتی، اهمیت بسیاری دارد.

جالب است بدانید که دانشگاه استنفورد موتور نمونه‌ای به نام Hidden Web Exposer ساخته است که به صورت مخفف HiWE نیز نامیده می‌شود و برای جستجو در دیپ وب به کار می‌رود. موارد دیگری که به صورت عمومی قابل دسترسی هستند، Infoplease، PubMed و Infomine (متعلق به دانشگاه کالیفرنیا) است.

اگر شجاعت بیشتری دارید، می‌توانید بسته نرم افزاری مرورگر Tor را دانلود نمائید؛ البته دقت فرمائید که استفاده از آن، با مسئولیت خودتان خواهد بود و ممکن است عواقب ناگواری داشته باشد.