Pular para o conteúdo

Google Play reprime aplicativos de IA após circulação de aplicativos para criar nudes deepfake

Google Play logo

Google Play endurece regras para apps de IA

O Google está emitindo novas diretrizes para desenvolvedores que criam aplicativos de IA distribuídos através do Google Play, na esperança de reduzir o conteúdo inapropriado e proibido. A empresa diz que os aplicativos que oferecem recursos de inteligência artificial terão que impedir a geração de conteúdo restrito – que inclui conteúdo sexual, violência e muito mais – e precisarão oferecer uma maneira para os usuários sinalizarem conteúdo ofensivo que encontrarem. Além disso, o Google diz que os desenvolvedores precisam “testar rigorosamente” suas ferramentas e modelos de IA para garantir que eles respeitem a segurança e a privacidade do usuário.

Também está reprimindo aplicativos onde os materiais de marketing promovem casos de uso inapropriados, como aplicativos que despem pessoas ou criam imagens nuas não consensuais. Se o texto do anúncio diz que o aplicativo é capaz de fazer esse tipo de coisa, ele pode ser banido do Google Play, independentemente de o aplicativo ser realmente capaz de fazê-lo ou não.

As diretrizes seguem um crescente flagelo de aplicativos de desnudamento por IA que têm se promovido nas redes sociais nos últimos meses. Um relatório de abril da 404 Media, por exemplo, descobriu que o Instagram estava hospedando anúncios de aplicativos que alegavam usar IA para gerar nudes deepfake. Um aplicativo se promoveu usando uma foto de Kim Kardashian e o slogan “Dispa qualquer garota de graça”. A Apple e o Google removeram os aplicativos de suas respectivas lojas de aplicativos, mas o problema ainda é generalizado.

Combate a deepfakes inapropriados em escolas

Deepfake

Escolas em todos os Estados Unidos estão relatando problemas com alunos passando nudes deepfake de IA de outros alunos (e às vezes professores) para intimidação e assédio, juntamente com outros tipos de conteúdo inapropriado de IA. No mês passado, um deepfake racista de IA de um diretor de escola levou a uma prisão em Baltimore. Pior ainda, o problema está afetando até alunos do ensino fundamental, em alguns casos.

O Google diz que suas políticas ajudarão a manter fora do Google Play aplicativos que apresentem conteúdo gerado por IA que possa ser inapropriado ou prejudicial aos usuários. A empresa aponta para sua Política de Conteúdo Gerado por IA existente como um lugar para verificar seus requisitos para aprovação de aplicativos no Google Play.

A empresa diz que os aplicativos de IA não podem permitir a geração de qualquer conteúdo restrito e também devem dar aos usuários uma maneira de sinalizar conteúdo ofensivo e inapropriado, além de monitorar e priorizar esse feedback. Este último é particularmente importante em aplicativos onde as interações dos usuários “moldam o conteúdo e a experiência”, diz o Google, como aplicativos onde os modelos populares são classificados mais alto ou mais proeminentemente, talvez.

Desenvolvedores devem testar e documentar apps de IA

Os desenvolvedores também não podem anunciar que seu aplicativo viola qualquer uma das regras do Google Play, de acordo com os requisitos de Promoção de Aplicativos do Google. Se ele anuncia um caso de uso inapropriado, o aplicativo pode ser expulso da loja de aplicativos.

Além disso, os desenvolvedores também são responsáveis por proteger seus aplicativos contra prompts que possam manipular seus recursos de IA para criar conteúdo prejudicial e ofensivo. O Google diz que os desenvolvedores podem usar seu recurso de teste fechado para compartilhar versões iniciais de seus aplicativos com os usuários para obter feedback. A empresa sugere fortemente que os desenvolvedores não apenas testem antes de lançar, mas também documentem esses testes, já que o Google pode pedir para revisá-los no futuro.

 

 

Com informações da: TechCrunch

Marcações: