قالت منظمة العفو الدولية اليوم في تقرير جديد إن الهيئة الدنماركية لصرف مدفوعات الرعاية الاجتماعية، هيئة ويدبيتالينغ دنمارك (Udbetaling Danmark)، قد تتورط في ممارسة التمييز بحق ذوي الإعاقة وذوي الدخل المنخفض، والمهاجرين، واللاجئين، والمجموعات العرقية المهمشة، عبر استخدامها لأدوات الذكاء الاصطناعي في تحديد الأفراد المشتبه في ممارستهم للاحتيال للحصول على الإعانات الاجتماعية وإحالتهم للتحقيق.
ويَرِد في التقرير، الصادر بعنوان ظلم مُبرمَج: المراقبة والتمييز في نظام الرعاية الحكومية المؤتمت في الدنمارك، تفاصيل تُوضح كيف دفع الاستخدام المُكثَّف للخوارزميات في الكشف عن حالات الاحتيال، إلى جانب ممارسات المراقبة الجماعية، بالأفراد إلى التخلي عن حقهم في الخصوصية دون إرادتهم – بل ودون معرفتهم – وكيف خلق مناخًا يسوده الخوف.
وقالت هيلين موكيري سميث، الباحثة المعنية بالذكاء الاصطناعي وحقوق الإنسان لدى منظمة العفو الدولية: “لقد أوجدت هذه المراقبة الجماعية نظامًا للإعانات الاجتماعية ينطوي على خطر استهداف الأفراد ذاتهم الذين يُفترَض أن يحظوا بالحماية، بدلًا من أن يدعمهم”.
“فتنتقص طريقة عمل نظام الرعاية المؤتمت في الدنمارك من خصوصية الأفراد وتقوض كرامة الإنسان. وتتيح السلطات المجال أمام المراقبة الجماعية المُرقمنة، بل وتُوسع من نطاقها، من خلال استخدام خوارزميات مكافحة الاحتيال وأساليب المراقبة التقليدية من أجل رصد حالات الاحتيال للحصول على الإعانات الاجتماعية”.
لقد أوجدت هذه المراقبة الجماعية نظامًا للإعانات الاجتماعية ينطوي على خطر استهداف الأفراد ذاتهم الذين يُفترَض أن يحظوا بالحماية، بدلًا من أن يدعمهم.
هيلين موكيري سميث، الباحثة المعنية بالذكاء الاصطناعي وحقوق الإنسان
وقد أوكلت هيئة ويدبيتالينغ دنمارك مهام إدارة الإعانات الاجتماعية وجهود مكافحة الاحتيال إلى شركة أربيدسماركيديتس تيلغاسبينشن للمعاشات التكميلية (شركة إيه تي بي) (Arbejdsmarkedets Tillægspension). من جانبها، عقدت شركة إيه تي بي شراكات مع شركات خاصة متعددة الجنسيات، من بينها شركة إن إن أي تي (NNIT) لحلول تكنولوجيا المعلومات، لتطوير خوارزميات لمكافحة الاحتيال وتصميمها خصيصًا وفقًا للمواصفات التي تحددها إيه تي بي.
“وكأن سلاحًا مصوبٌ عليّ”
تستخدم هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي نظامًا يضم ما يصل إلى 60 نموذجًا خوارزميًا مصممًا، كما يُزعَم، للكشف عن الاحتيال للحصول على الإعانات الاجتماعية وتحديد الأفراد المشتبه بهم وإحالتهم إلى تحقيقات لاحقة أمام السلطات الدنماركية. وخلال بحث منظمة العفو الدولية، تمكنت من الوصول جزئيًا إلى أربعة من تلك الخوارزميات المُستَخدَمة.
وقد أصدرت السلطات الدنماركية، لتفعيل ودعم خوارزميات الكشف عن الاحتيال، قوانين تتيح المجال لجمع ودمج كمٍ كثيف من البيانات الشخصية من قواعد البيانات العامة التي تضم بيانات ملايين المقيمين في الدنمارك.
وتضمنت البيانات معلومات حول وضع إقامة الأفراد وتحركاتهم وجنسياتهم ومحل ولادتهم وعلاقاتهم الأسرية، والتي تُعَد بيانات حساسة قد تُستَخدَم أيضًا للاستدلال على عرق الشخص أو أصله الإثني أو ميوله الجنسية.
وأوضحت موكيري سميث: “تُستَخدَم آلات المراقبة التي تتسم بهذا النطاق الواسع في توثيق وتكوين رؤية بانورامية شاملة لحياة الأشخاص، والتي غالبًا ما تكون منفصلة عن الحقيقة؛ إذ تُستَخدَم في مراقبة متلقي الإعانات الاجتماعية وتتبُّع محل إقامتهم وعملهم وتاريخ سفرهم وسجلاتهم الصحية، وحتى صِلاتهم بالبلدان الأجنبية”.
تحاجج هيئة ويدبيتالينغ دنمارك بأن جمع ودمج هذا الكم الضخم من البيانات الشخصية للكشف عن الاحتيال للحصول على الإعانات الاجتماعية يستندان إلى “أسس قانونية”. إلا أنه يتضح من النتائج التي توصلت إليها منظمة العفو الدولية أن جمع ومعالجة هذه الكميات الهائلة من البيانات لا يعَدّان ضروريَيْن ولا متناسبَيْن.
وذكر الأفراد الذين أجرت منظمة العفو الدولية معهم مقابلات الآثار النفسية الضارة التي تتولّد عن مراقبة المحققين في الاحتيال وموظفي الرعاية. فقالت غيت نيلسن، رئيسة لجنة السياسات الاجتماعية وسياسات سوق العمل لدى مؤسسة دانسك لذوي الإعاقة (Dansk Handicap Foundation)، إن ذوي الإعاقة الذين يستجوبهم موظفو الرعاية بشكل متواصل غالبًا ما يصيبهم الاكتئاب؛ إذ ذكر بعضهم أن الخضوع للتدقيق المتواصل “ينخرهم”.
ووصف أحد الأفراد في مقابلة مع منظمة العفو الدولية الخوف الذي انتابته خلال التحقيق معه بشأن الاحتيال للحصول على الإعانات الاجتماعية؛ فقال: “[كان الأمر] وكأن سلاحًا مصوبٌ عليّ. نحن دومًا خائفون؛ [وكأن] هذا السلاح مُوجَّه نحونا [طوال الوقت]”.
خوارزميات يشوبها الجور والتمييز
يأتي التمييز الذي تديمه خوارزميات هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي في ظل بيئة تسودها أصلًا أوجه مترسخة من عدم المساواة في المجتمع الدنماركي على مستوى القوانين والقواعد والمؤسسات والأعراف والقيم. وتُعَد هذه الهياكل التمييزية جزءًا لا يتجزأ من تصميم نماذج إيه تي بي الخوارزمية؛ فتُسهِّل تصنيف الأفراد والمجتمعات بناءً على الاختلافات أو التفرقة “الآخرية”.
وتستخدم السلطات الدنماركية خوارزمية تحديد العزوبية (Really Single) للتنبؤ بالوضع الأسري أو الحالة الاجتماعية للشخص، وذلك بهدف الكشف عن أي احتيال للحصول على الإعانات المُقدَّمة عبر نظامي المعاشات ورعاية الطفل. وتتضمن المحددات التي تقوم عليها خوارزمية تحديد العزوبية لمكافحة الاحتيال أنماط المعيشة أو الترتيبات الأسرية “غير المألوفة” أو “غير العادية”. ومع هذا، لا يتضح ما الذي قد يُشكِّل، على وجه التحديد، هذه الحالات، ما يتيح المجال لاتخاذ قرارات تعسفية.
فتقول هيلين موكيري سميث: “إن ذوي الترتيبات المعيشية غير التقليدية – مثل ذوي الإعاقة المتزوجين الذين يعيشون مفترقين عن أزواجهم بسبب إعاقتهم؛ أو كبار السن المرتبطين الذين يعيشون مفترقين عن شركائهم؛ أو الأشخاص الذين يعيشون في منازل تسكنها أسر متعددة الأجيال، وهي من الترتيبات الشائعة في مجتمعات المهاجرين – قد يتعرَّضون جميعهم للاستهداف باستخدام خوارزمية تحديد العزوبية لإحالتهم إلى المزيد من التحقيق بشأن الاحتيال للحصول على الإعانات الاجتماعية”.
وتستخدم هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي أيضًا مدخلات تتعلق بـ”الصِلات الأجنبية” في نماذجها الخوارزمية؛ فتُستَخدَم خوارزمية نموذج الصِلات الخارجية (Model Abroad) في تحديد فئات المستفيدين ممن يُعتبَر أنه تربطهم “درجة متوسطة أو عالية من الصِلات الوثيقة” بالبلدان خارج المنطقة الاقتصادية الأوروبية ويخضع الأفراد من هذه الفئات لمزيد من التحقيق بشأن الاحتيال باعتبارهم أوائل المُشتبَه بهم. وانتهى البحث إلى أن الأفراد يتعرضون للتمييز جراء اتباع هذا النهج الذي يقوم على عوامل مثل الأصل القومي أو الوضع المتعلق بالهجرة.
في رد هيئة ويدبيتالينغ دنمارك على منظمة العفو منظمة العفو الدولية، ذكرت أن استخدام “الجنسية” ضمن المحددات في خوارزميات أنظمتها لا يُعَد معالجةً لمعلومات شخصية حساسة. ولا تتفق منظمة العفو الدولية مع المبررات التي حاججت بها هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي؛ إذ قد يكشف استخدام الجنسية ضمن المحددات عن عرق الشخص وأصله الإثني ووضعه المتعلق بالهجرة، وينطوي على التمييز بشكل مباشر على أساس الأصل القومي.
نظام تقييم اجتماعي؟
قدمت هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي لمنظمة العفو الدولية وثائق تحتوي على معلومات محجوبة حول تصميم بعض الأنظمة الخوارزمية، ورفضتا مرارًا وتكرارًا طلبات المنظمة لإجراء مراجعة مشتركة، والسماح لها بالاطلاع بشكل كامل على الأكواد البرمجية والبيانات المُستَخدَمة في خوارزمياتهما للكشف عن الاحتيال.
وقالت موكيري سميث: “تشير المعلومات التي جمعتها وحللتها منظمة العفو الدولية إلى أن النظام الذي تستخدمه ويدبيتالينغ دنمارك وإيه تي بي يُعَد بمثابة نظام للتقييم الاجتماعي وفقًا لما ينص عليه قانون الذكاء الاصطناعي في الاتحاد الأوروبي؛ ومن ثَمَّ، يجب حظره”.
وأعربت هيئة ويدبيتالينغ دنمارك عن رفضها لتقييم منظمة العفو الدولية لإمكانية حظر نظام الكشف عن الاحتيال لديها باعتباره نظامًا للتقييم الاجتماعي وفقًا لقانون الذكاء الاصطناعي، ولكنها لم توضح مبرراتها توضيحًا كافيًا.
وحثت منظمة العفو الدولية أيضًا المفوضية الأوروبية على أن توضح، في توجيهاتها بشأن قانون الذكاء الاصطناعي، أيًا من الممارسات الخاصة بالذكاء الاصطناعي يُعَد من ممارسات التقييم الاجتماعي، وذلك استجابة لما أثاره المجتمع المدني من بواعث قلق.
وتدعو منظمة العفو الدولية أيضًا السلطات الدنماركية إلى ضمان ألا يكون نظام الكشف عن الاحتيال الذي تستخدمه هيئة ويدبيتالينغ دنمارك نظامًا للتقييم الاجتماعي؛ وريثما يتحقق ذلك، يجب وقف استخدام النظام.
وتابعت موكيري سميث: “يجب على السلطات الدنماركية أن تُسارِع بإصدار وتنفيذ حظر صريح ومُلزِم قانونًا لاستخدام البيانات المتعلقة بـ “الصِلات الأجنبية” أو أي بيانات بديلة في تقييم المخاطر لأغراض مكافحة الاحتيال. ويجب عليها أيضًا أن تضمن الشفافية المُطلقة والإشراف الكافي فيما يخص تطوير خوارزميات مكافحة الاحتيال واستخدامها”.
بموجب مختلف معاهدات حقوق الإنسان الدولية وقوانين الاتحاد الأوروبي والقانون الوطني، يقع على عاتق الدنمارك التزام قانوني تجاه تأمين حقوق الإنسان مثل الخصوصية وحماية البيانات وحرية التعبير والمساواة وعدم التمييز؛
فتقول موكيري سميث: “لا تمثل هذه الحقوق القوة المحركة للمجتمعات التي يسودها العدل فحسب، بل تُمكِّن الأشخاص من التمتُع بالضمان الاجتماعي والرعاية الصحية وغيرها الكثير بشكل عادل”.
خلفية
قبل نشر التقرير، تواصلت منظمة العفو الدولية مع شركة إن إن أي تي، ولكنها لم تطلعها على أي معلومات أخرى بشأن ترتيباتها التعاقدية مع هيئة ويدبيتالينغ دنمارك وشركة إيه تي بي، متذرعةً بالتزامات السرية. ولم تُفصِح إن إن أي تي أيضًا عن أي معلومات حول إجرائها لتقييم العناية الواجبة فيما يتعلق بحقوق الإنسان قبل إبرام أي اتفاقيات مع الهيئة وإيه تي بي.
ويستند البحث المُجرى حول الدنمارك أيضًا إلى أبحاث سابقة أجرتها منظمة العفو الدولية حول أتمتة أعمال وإجراءات القطاع العام ورقمنتها في هولندا والهند وصربيا، ومخاطر حقوق الإنسان والآثار المترتبة على العمليات الخوارزمية لصنع القرارات في نطاق هذه الدول.