إصلاح ترميز النصوص

الحروف المشوّهة نصّ كُتب بترميز UTF-8 ثم قُرئ كأنه ترميز أحادي البايت. والبايتات سليمة؛ والتفسير وحده كان خاطئًا. ولهذا يمكن إصلاحه أصلًا — فلم يضع شيء، بل أُسيئت قراءته فحسب.

والإصلاح يعكس الخطأ. فيُعاد كل محرف إلى البايت الذي كان يمثّله، ثم تُفكّ تلك البايتات بترميز UTF-8 فكًّا سليمًا. فتصير Café هي Café؛ وتصير أحمد هي أحمد.

والضمانات أهمّ من الحساب. فيجري فكّ الترميز في الوضع الصارم، فتتابع بايتات غير صالح يرمي خطأً بدل أن ينتج محارف استبدال تبدو إصلاحًا ناجحًا. والنص الذي فيه محرف ما كان ليأتي من فكّ ترميز أحادي البايت يُعرَف على أنه ليس مشوّهًا أصلًا ويُعاد بلا مسّ — فإصلاح نصّ سليم كان سيدمّره.

والوضع الثاني يعالج إخفاقًا مختلفًا: ملف هو فعلًا بترميز قديم مثل Windows-1256، قُرئ على أنه UTF-8. وذلك يحتاج البايتات الأصلية لا نصًّا ملصوقًا، ولهذا يطلب الملف.

يرسل إليك زميل ملف CSV بعملاء وكل اسم عربي فيه جدار من Ø وÙ. اضغط حمّل عيّنة مكسورة لتراه.

يقرأ سطر الحالة detected: mojibake ويعرض صندوق الإصلاح الأسماء الحقيقية. فـأحمد ناصر كانت دائمًا أحمد ناصر — فكل بايت كان صحيحًا، وشيء في الطريق قرأها بجدول خاطئ.

والسطر الفرنسي في العيّنة يعرض الأثر الشائع الآخر: تصير l’avance هي l’avance. وتلك ’ فاصلة عليا ذكية، تعيش في نطاق Windows-1252 وتحتاج ربطها الخاصّ — فالإصلاح الذي لا يعالج إلا Latin-1 يتركها خلفه.

والآن اختبر الضمانة. الصق عربية صحيحة — أحمد — فتبلّغ الأداة أنها لم تجد نمط تشويه وتتركها وشأنها. فالإصلاح المطبَّق بلا تمييز على نصّ سليم يحوّله إلى فوضى، ولا تراجع بعد أن تحفظ فوق الأصل.

ومن أين يأتي هذا عادةً: إكسل يحفظ ملف CSV بلا علامة ترتيب بايتات، أو عميل بريد يخمّن خطأً، أو نظام أقدم يعود افتراضيًا إلى Windows-1256 للعربية. والتصدير إلى ‎.xlsx‎ بدل CSV يتفاداه كليًا، لأن الصيغة تعلن ترميزها بدل أن تترك القارئ يخمّن.