Авторка: Дарина Бойко 

Сьогодні більшість клієнтів та компаній покладаються на відгуки та рейтинги. Оцінка від одного до п’яти зірок може значно вплинути на репутацію компанії та вибір покупця. Проте що стається, якщо рейтинги переносяться на всі сфери життя людей, а тим більше, якщо такий узагальнений рейтинг формує не людина, а система штучного інтелекту? І які ризики це створює в правосудді?

Наприклад, таку ідею розвиває уряд Китаю, розробивши Систему соціального кредиту (Social Credit System, SCS), яку можуть застосовувати і суди. В той час як китайські медіа позиціонують соціальне кредитування як позитивний інструмент, за межами Китаю у такій системі вбачають загрозу масового стеження та обмеження свобод людини. Систему порівнюють із орвеллівським  “Старшим Братом”, серіалом “Чорне дзеркало” та антиутопіями. А судова зала є чи не найкращим місцем, щоб ці порівняння стали реальністю.

Соціальний скоринг у Китаї

Система соціального кредиту Китаю - це алгоритм, який на основі наборів персональних даних про осіб (від фінансової кредитоспроможності до соціальних факторів, як-от доброчесність або працьовитість), дає оцінку їхньої “надійності” і «кредитоспроможності» у широкому сенсі.  SCS передбачає систему нагород і покарань за високі та низькі бали, які називають червоними й чорними списками. Особи з «червоних» списків можуть отримувати, наприклад, розширення доступу до кредитів. Включення до «чорного» списку, натомість, може призвести до обмеження прав. 

Попри плани китайського уряду до 2020 року побудувати “систему кредитних розслідувань, яка охоплює кредити всього суспільства”, сьогодні система не є настільки розвиненою та далі перебуває на стадії тестування.  Хоча SCS наразі не використовує масштабні системи штучного інтелекту для формування рейтингу, однак китайські чиновники іноді згадують ШІ, говорячи про цю систему, хоч і не обговорюють детально, як ці технології використовуються. Однак уряд має намір зробити Китай міжнародним центром застосування штучного інтелекту для всіх сфер суспільства, і можна очікувати розширення застосування ШІ в системах «соціального кредитування».

Водночас, у Китаї також існують проєкти від приватних компаній, найпопулярнішим із яких є система Sesame Credit від Alibaba Group, впроваджена у 2015 році. Ця система приписує бали користувачам Alipay і аналізує для цього велику кількість даних про поведінку окремих людей. Потім ці дані обробляються за допомогою алгоритму, який додає або віднімає бали на основі поведінки користувача. Користувачі з вищими оцінками можуть отримати доступ до різноманітних переваг: від звільнення від застави за оренду автомобіля до прискорених перевірок безпеки в аеропорту. Sesame Credit також веде “чорні списки” громадян, до прикладу, за несплату боргів або штрафів та несвоєчасне погашення кредитів.

Системи скорингу не обмежуються лише китайськими проєктами. В інших країнах також застосовують схожі оцінювання. Наприклад, американська компанія Affirm, заснована у 2013 співзасновником PayPal Максом Левчіном, аналізує широкий спектр джерел, щоб допомогти прийняти рішення, чи повинні заявники отримувати кредити. Зокрема, компанія сканує профілі людей в соціальних мережах, щоб зрозуміти спосіб їхнього життя. За схожим принципом працює й британський брокер даних Experian, який відстежує, наскільки вчасно люди сплачують борги, надаючи оцінку кредиторам та постачальникам іпотечних кредитів. Експерти зазначають, що діяльність схожих компаній порушує принципи захисту даних GDPR (General Data Protection Regulation).

Соціальний скоринг і правосуддя

Очевидно, що ці дані і рейтинги, так чи інакше, просуваються і у правозастосуванні в судах.

У 2015 році Верховний народний суд Китаю почав співпрацювати з компанією Sesame Credit, використовуючи соціальні рейтинги компанії для покарання боржників. У Китаї стверджують, що ця система дуже ефективна. До прикладу, у 2017 році китайська урядова агенція новин «Сіньхуа» зазначила, що Sesame Credit допоміг судам покарати понад 1,21 мільйона неплатників, і понад 120 тисяч з них виплатили свої борги станом на кінець липня. В одному з місцевих судів – Народному суді району Шуньцин – способом покарання стали записані повідомлення на номери телефонів боржників, в яких зазначається, що ця особа потрапляє в “чорний список” за несплату боргів. Сам суд зазначає, що такий захід спрямований на “присоромлення” осіб за низькі рейтинги.

У деяких випадках суди самі створюють “чорні списки” осіб, які не виконують судові рішення. До прикладу, якщо за порушення адміністративного законодавства особа не з’явилась до суду, не сплативши за це штраф, вона може потрапити до “чорного списку”. Суди можуть повідомляти імена таких людей китайським компаніям, що призведе до обмеження у користуванні певними послугами або купівлі товарів. Правоохоронні органи можуть також використовувати інструменти “публічного присоромлення”, оприлюднюючи осіб з “чорних списків” в соціальних мережах, журналах та веб-сторінках.  

Ризики соціального скорингу

Системи соціального скорингу, схожі на китайську систему соціального кредиту, досі викликають сильне занепокоєння серед експертів та медіа, особливо в контексті застосування технологій ШІ. До прикладу, проєкт Закону ЄС про ШІ (AI Act) передбачає заборону таких систем, стверджуючи, що вони “можуть призвести до дискримінаційних результатів і виключення певних груп”, а також “можуть порушувати право на гідність і недискримінацію, а також цінності рівності та справедливості”.

Дискримінаційний характер систем пояснюється неможливістю відстежити, які саме дані використовуються для оцінювання осіб і хто визначає критерії оцінювання. Існує ризик того, що інформація, яка вводиться в систему, міститиме упереджені дані щодо певних груп населення. Окрім цього, чим складнішими й непрозорішими стають алгоритми оцінювання, тим важче зрозуміти, чому людина отримала той чи інший бал. В одній з робіт Open Technology Institute аналітичного центру New America експерти зазначили, що алгоритми, які ідентифікують соціальну групу людини й передбачають поведінку на її основі, відкривають нові можливості для дискримінації та несправедливого ставлення. “Це не просто питання прозорості; багато хто з тих, хто розробляє або використовує ці системи, погано розуміють, як приймаються алгоритмічні рішення на основі мільйонів одиниць даних, що потрапляють в систему”, – йдеться у документі.

Іншим важливим питанням функціонування соціального скорингу є приватність осіб і захист персональних даних. Торгово-промислова палата Європейського Союзу в Китаї (European Union Chamber of Commerce in China) повідомляє, що більшість китайських компаній передають значну кількість даних державним установам Китаю, і в багатьох випадках незрозуміло, як ці дані використовуються для обчислення рейтингів. Це може призвести до витоку конфіденційної інформації як самих компаній, так і персоналу, який працює в цих фірмах, адже частина цих даних може бути оприлюдненою або відкритою для сторонніх осіб. Оскільки великі корпорації, такі як Alibaba Group, вже передають персональні дані судам та правоохоронним органам, зокрема через “чорні списки”, це може понести значні ризики для захисту прав конфіденційності.

У випадку застосування цих технологій у правосудді, особливо важливо враховувати й помилки системи, які можуть спричинити хибне оцінювання. ШІ базується на алгоритмах машинного навчання, які  схильні до помилок. Системи можуть піддаватись хибнопозитивним помилкам – ідентифікації нешкідливих даних як шкідливі. Такі помилки виникають через те, що алгоритм порівнює вже відомі дані з новими, не аналізуючи деталі введеної інформації. Вади системи можуть завдати шкоди в ситуаціях, не передбачених системою, або в питаннях, які важко вирішити без людського втручання. 

Прийняття результату алгоритму без попередньої критичної оцінки може призвести до небажаних наслідків, зокрема в судочинстві. Ця ситуація є особливо шкідливою, якщо стосується винесення помилкових судових рішень, оскільки це може призвести до несправедливого ставлення, підірвати довіру до інституту судової влади та перешкоджати притягненню до відповідальності за будь-які допущені помилки.

Висновки і рекомендації

Сьогодні система соціального скорингу, яка базується на технологіях ШІ, не є настільки розвиненою, щоб завдати значної шкоди для людей, які потрапляють під її перевірку. Проте разом зі швидким розвитком технологій, використання й впровадження таких систем на державному рівні та в сфері правосуддя, подібно до соціального кредиту в Китаї, може спричинити низку фундаментальних етичних проблем. Головні занепокоєння виникають в питаннях приватності, дискримінації та помилок в самій системі. 

Непрозорий характер технологій, що використовуються для соціального скорингу, може призвести до відсутності підзвітності й персональної автономії. Система, в якій люди не знатимуть критеріїв їхнього оцінювання, унеможливлює оскарження будь-яких результатів, створених алгоритмом, та судових рішень, які базуються на них, водночас посилюючи несправедливе ставлення й ставлячи під ризик фундаментальні права людини. Дотримання етичних стандартів при використанні соціального скорингу може бути складним, особливо коли йдеться про системи, які можуть діяти в кількох юрисдикціях.

Для уникнення шкоди необхідно встановити комплексні законодавчі та етичні рамки, які стануть орієнтиром для боротьби з загрозами систем соціального оцінювання. У виявленні ризиків таких систем і боротьбі з ними важливий комплексний підхід. Політики, розробники технологій, фахівці з етики й правосуддя та громадськість повинні брати участь у відкритому та постійному діалозі, щоб відповідально формувати траєкторію розвитку цих систем. Під час суспільних обговорень і встановлення заходів щодо боротьби з негативними наслідками соціального скорингу важливо пріоритезувати захист основних прав людини, її приватності, та боротися з дискримінацією й упередженням, що лежить в основі побудови справедливого суспільства.

Матеріал підготовлено за підтримки Європейського Союзу та Міжнародного фонду «Відродження» у рамках спільної ініціативи «Європейське Відродження України». Матеріал представляє позицію авторів і не обов’язково відображає позицію Європейського Союзу чи Міжнародного фонду «Відродження».