পদ্ধতি
এই নথি কী
টেকডাউন ওয়াচ বাংলাদেশের নির্দিষ্ট কিছু সংবাদমাধ্যম অনলাইনে যা প্রকাশ করে, তার একটি যান্ত্রিক নথি রাখে। প্রতিটি নিবন্ধ প্রথম প্রকাশিত হওয়ার সময় তা সংগ্রহ করা হয়, সার্ভার ঠিক যা পাঠিয়েছে তা-ই সংরক্ষণ করা হয় এবং ঠিকানাটি ইন্টারনেট আর্কাইভে পাঠানো হয়, যাতে আমাদের নিজস্ব ব্যবস্থার বাইরে একটি স্বতন্ত্র অনুলিপি থাকে। প্রকল্পের পরবর্তী ধাপ থেকে প্রতিটি নিবন্ধ নির্দিষ্ট সময়সূচি অনুযায়ী আবার দেখা হবে, এবং কোনো নিবন্ধ সরিয়ে ফেলা হলে বা এর লেখা বদলালে তা কাঠামোবদ্ধ ঘটনা হিসেবে লিপিবদ্ধ হবে।
নিবন্ধ খুঁজে পাওয়া হয় যেভাবে
প্রতিটি সংবাদমাধ্যমের আরএসএস ফিড ও সংবাদ-সাইটম্যাপ খোঁজা হয়: প্রথমে সংবাদমাধ্যম নিজে যেখানে সেগুলো ঘোষণা করে (তাদের robots.txt ফাইল ও হোমপেজের লিংক), তারপর কয়েকটি প্রচলিত ঠিকানায়। কোনো উৎস ব্যবহার করা হয় কেবল তখনই, যখন সেটি আনা ও পড়া গেছে এবং দেখা গেছে যে তাতে সংবাদমাধ্যমটির নিজস্ব সাইটের সাম্প্রতিক নিবন্ধ আছে। যত ঠিকানা চেষ্টা করা হয়, ব্যর্থগুলোসহ, সবই লিপিবদ্ধ থাকে।
প্রতিবার চালনায় এই উৎসগুলো পড়া হয় এবং আনা প্রতিটি ফিড ও সাইটম্যাপের ঠিকানার পূর্ণ তালিকা সংরক্ষণ করা হয়, সেগুলো সংগ্রহ করা হোক বা না হোক। গত ৪৮ ঘণ্টার মধ্যের তারিখযুক্ত এন্ট্রি, এবং ফিড ও সংবাদ-সাইটম্যাপের তারিখবিহীন এন্ট্রি, সংগ্রহের জন্য সারিতে রাখা হয়। পুরোনো এন্ট্রিগুলো যে তালিকায় এসেছিল, সেই তালিকার নথিতে থেকে যায়।
তুলনার আগে ঠিকানাগুলো প্রমিত করা হয়: utm_source-এর মতো ট্র্যাকিং প্যারামিটার বাদ দেওয়া হয়, এবং কোনো পাতা ভিন্ন একটি ক্যানোনিকাল ঠিকানা উল্লেখ করলে দুটিকে একই নিবন্ধ হিসেবে লিপিবদ্ধ করা হয়। দুটি ঠিকানা একই নিবন্ধের প্রমাণিত হলেও কিছুই মুছে ফেলা হয় না।
পাতা আনা হয় যেভাবে
- ক্রলার নিজের সঠিক পরিচয় দেয়:
TakedownWatchনামে, activaterights.org-এর লিংকসহ। - কোনো সাইটে প্রতি দুই সেকেন্ডে সর্বোচ্চ একটি অনুরোধ পাঠানো হয়। এই সীমা সফটওয়্যারেই বাধ্যতামূলক, এবং রিডাইরেক্ট ও পুনঃচেষ্টার ক্ষেত্রেও প্রযোজ্য।
- আরএফসি ৯৩০৯ অনুযায়ী robots.txt মেনে চলা হয়। কোনো সাইটের robots.txt পড়া না গেলে সেই চালনায় পুরো সাইটটিকেই নিষিদ্ধ ধরা হয়। robots.txt যে ঠিকানা নিষেধ করে, তা “অনুরোধ করা হয়নি” হিসেবে লিপিবদ্ধ হয়।
- সার্ভারের ত্রুটি ও সময়সীমা পেরোনোর ক্ষেত্রে ক্রমবর্ধমান বিরতিতে সর্বোচ্চ তিনবার চেষ্টা করা হয়। “পাওয়া যায়নি” (৪০৪) বা “সরানো হয়েছে” (৪১০) জানানো পাতার জন্য কখনো আবার চেষ্টা করা হয় না।
- ক্লাউডফ্লেয়ারের যাচাই-পাতা এলে তা যাচাই-পাতা হিসেবেই লিপিবদ্ধ হয়। সেটি সমাধান বা এড়ানোর কোনো চেষ্টা করা হয় না, এবং কোনো জাভাস্ক্রিপ্ট চালানো হয় না।
- প্রতিটি অনুরোধ, সফল হোক বা ব্যর্থ, তার সময়, ফলাফল ও যে নেটওয়ার্ক-অবস্থান থেকে পাঠানো হয়েছে তাসহ লিপিবদ্ধ হয়।
যা সংরক্ষণ করা হয়
শুধু সফল এইচটিএমএল সাড়া থেকেই একটি স্ন্যাপশট তৈরি হয়। স্ন্যাপশটে থাকে সময়, সাড়ার অবস্থা, চূড়ান্ত ঠিকানা, শিরোনাম, লেখকের নাম, পাতায় যেভাবে লেখা ঠিক সেভাবে প্রকাশ ও হালনাগাদের তারিখ, নিষ্কাশিত মূল লেখা এবং প্রাপ্ত পূর্ণ এইচটিএমএল। স্ন্যাপশট কখনো সম্পাদনা, পরে পূরণ বা মুছে ফেলা হয় না। প্রতিটি স্ন্যাপশটে যে নিষ্কাশন-সফটওয়্যার সেটি তৈরি করেছে তার সংস্করণ লেখা থাকে, যাতে আমাদের নিজস্ব সফটওয়্যারের উন্নতি আর সংবাদমাধ্যমের করা পরিবর্তন সবসময় আলাদা করে চেনা যায়।
বাংলা লেখা
একই বাংলা লেখা একাধিক উপায়ে এনকোড করা যায়: যেমন “কো” একটি অক্ষর হিসেবেও রাখা যায়, দুটি হিসেবেও। যেকোনো দুটি লেখা তুলনার আগে দুটিকেই একটি একক রূপে (ইউনিকোড এনএফসি) প্রমিত করা হয় এবং স্পেস, উদ্ধৃতিচিহ্ন ও ড্যাশের ভিন্ন রূপগুলো এক করা হয়। যুক্তাক্ষরের ভেতরের শূন্য-প্রস্থ যোজক (ZWJ/ZWNJ) রেখে দেওয়া হয়, কারণ সেগুলো শব্দটি কীভাবে আঁকা হবে তা বদলে দেয়। প্রমিতকরণ কেবল তুলনার জন্য; সংরক্ষিত লেখা হুবহু নিষ্কাশিত রূপেই থাকে।
একটি সীমাবদ্ধতার এখনো সমাধান হয়নি: নিবন্ধের লেখা কোথা থেকে শুরু, নিষ্কাশন-সফটওয়্যারের এই সিদ্ধান্ত পাতাটি কীভাবে এনকোড করা তার ওপরও নির্ভর করতে পারে। আমরা প্রকৃত নিবন্ধ দিয়ে এটি পরীক্ষা করছি এবং এর সমাধান না হওয়া পর্যন্ত লেখার কোনো তুলনা প্রকাশ করব না।
একটি স্বতন্ত্র অনুলিপি
সংগৃহীত প্রতিটি পাতা আলাদা কাজ হিসেবে ইন্টারনেট আর্কাইভের “সেভ পেজ নাও” সেবায় পাঠানো হয়, তাই সংগ্রহের কাজ কখনো এর জন্য অপেক্ষা করে না। প্রতিটি জমাদানের ফলাফল, তা থেকে পাওয়া আর্কাইভ-ঠিকানাসহ, লিপিবদ্ধ হয়। সারসংক্ষেপ পাতায় দেখানো আর্কাইভের হার হলো সংগৃহীত পাতার মধ্যে কতগুলোর অন্তত একটি নিশ্চিত অনুলিপি ইন্টারনেট আর্কাইভে আছে, তার অনুপাত।
আবার যাচাই (পরিকল্পিত)
পরবর্তী ধাপে প্রতিটি নিবন্ধ প্রথম সংগ্রহের ১ ঘণ্টা, ৬ ঘণ্টা, ২৪ ঘণ্টা, ৩ দিন, ৭ দিন, ৩০ দিন, ৯০ দিন ও ৩৬৫ দিন পর আবার যাচাই করা হবে। অন্তত ছয় ঘণ্টা জুড়ে পরপর অন্তত তিনবার যাচাই ব্যর্থ হলে তবেই কোনো নিবন্ধকে “সরানো হয়েছে” হিসেবে লিপিবদ্ধ করা হবে: একটিমাত্র ব্যর্থ অনুরোধ থেকে কখনো কোনো ঘটনা তৈরি হয় না। প্রতিটি পরিবর্তন, যত ছোটই হোক, লিপিবদ্ধ হবে; পরিবর্তনের সময় নিবন্ধটির বয়স ঠিক করবে মানুষ কোন ক্রমে সেটি পর্যালোচনা করবে, কিন্তু সেটি রাখা হবে কি না তা কখনো নয়। এটি এখনো চালু হয়নি।
এই নথি যা বলে, আর যা বলে না
নথিতে থাকে পর্যবেক্ষণ: এই ঠিকানা “পাওয়া যায়নি” জানিয়েছে; এই লেখা বদলেছে; এই লেখকের নাম খালি হয়ে গেছে; এই যে স্বতন্ত্র অনুলিপি। কেন হলো, তা নথিতে থাকে না। সংশোধন, আইনি অনুরোধ, একই নিবন্ধের পুনরাবৃত্তি, সাইটের নতুন নকশাসহ নানা সাধারণ কারণে নিবন্ধ সরানো বা সম্পাদনা করা হয়, এবং যান্ত্রিক নথি এগুলোর পার্থক্য করতে পারে না। কোনো ব্যাখ্যা যোগ হলে তা হবে শুধু নির্দিষ্ট নামধারী মানুষের স্বাক্ষরিত মন্তব্য হিসেবে, পর্যবেক্ষণ থেকে আলাদা করে রাখা এবং ব্যবহারের আগে পর্যালোচিত।
কী প্রকাশিত হয়, কখন
এই ধাপে সাইটে শুধু সংরক্ষণের পরিধির সংখ্যা ও এই পদ্ধতি প্রকাশ করা হয়। কোনো একক নিবন্ধ সরানো বা বদলানো নিয়ে কিছুই প্রকাশিত হবে না, যতক্ষণ না এ বিষয়ে একটি সম্পাদকীয় নীতি চূড়ান্ত হয়।
সংখ্যা প্রকাশ করা হয় শুধু সংবাদমাধ্যমের গোষ্ঠী হিসেবে। যে গোষ্ঠীতে তিনটির কম সংবাদমাধ্যম থেকে পাতা সংরক্ষিত হচ্ছে, সেটির সংখ্যা প্রকাশ করা হয় না, কারণ এক বা দুটি সংবাদমাধ্যমের সংখ্যা কার্যত সেগুলোরই সংখ্যা। যে সংবাদমাধ্যমগুলো পর্যবেক্ষণ করা হচ্ছে, সেই সংবাদমাধ্যমকে রক্ষা করাই এই প্রকল্পের উদ্দেশ্য, আর একটি একক সংবাদমাধ্যম সম্পর্কে কোনো সংখ্যা তার বিরুদ্ধে ব্যবহৃত হতে পারে।
বর্তমান সীমাবদ্ধতা
- পর্যবেক্ষণাধীন কিছু সংবাদমাধ্যমের এমন কোনো উৎস এখন নেই যা আমরা পড়তে পারি: তারা কোনো ফিড প্রকাশ করে না, স্বয়ংক্রিয় অনুরোধ আটকে দেয়, অথবা ব্রাউজার-যাচাইয়ের পরেই পাতা দেখায়। তারা পর্যবেক্ষণের তালিকায় থাকে, তবে পরিস্থিতি না বদলানো পর্যন্ত তাদের কাছ থেকে কিছু সংরক্ষিত হয় না।
- সব অনুরোধ একটিমাত্র নেটওয়ার্ক-অবস্থান থেকে পাঠানো হয়। শুধু বাংলাদেশের ভেতর বা বাইরে থেকে দৃশ্যমান পার্থক্য এখনো ধরা যায় না।
- প্রথম খুঁজে পাওয়ার সময়েই যে নিবন্ধের বয়স ৪৮ ঘণ্টার বেশি, সেটি সংগ্রহ করা হয় না, যদিও তার ঠিকানা রেখে দেওয়া হয়।