AI 技術的普及本應是生產力的釋放，然而近期卻頻繁成為非法內容的溫床。舊金山市檢察官邱信福（David Chiu）日前正式發函給蘋果（Apple）與 Google，要求兩大科技巨頭從各自的應用程式商店中，撤除 13 款被指控專門用於產出「非自願性色情內容」的 AI 軟體。這些軟體利用所謂的「脫衣」或「換臉」技術，鎖定的受害者多為女性與未成年少女，引發了社會對於數位安全與技術濫用的強烈關注。
這次執法行動的背景源於生成式 AI 門檻的降低。這些應用程式通常以「趣味換臉」或「影像編輯」為名，實則內建了能將一般照片合成出逼真裸照的演算法。根據舊金山市檢察官辦公室的調查，這些軟體在社群平台與廣告中，公然宣揚其製作色情圖像的能力，並透過應用程式內購買（In-app Purchase）牟利。這意味著，當開發者從受害者的隱私受創中獲利時，提供通路的蘋果與 Google 同樣分得了利潤，這在道德與法律層面上都引發了巨大的爭議。
就產業與社會影響而言，這起事件再度將「平台責任」推向了風口浪尖。長期以來，蘋果與 Google 一向標榜其商店審核機制能有效過濾惡意與有害軟體，但這次深偽（Deepfake）工具的大量擴散，顯然暴露了現行審核制度在面對新型態 AI 犯罪時的無力。這不僅對受害者造成嚴重的精神傷害與名譽損失，更可能演變成新型態的勒索與職場騷擾工具。一旦科技公司被法律界定為「從犯罪工具中獲利」，其所面臨的法律訴訟與公關危機將不容小覷。
這項發展之所以值得關注，在於它代表了全球對於 AI 監管趨勢的轉向：從單純的開發者自律，進入到通路端的法律強制介入。隨著 AI 走入大眾生活，台灣同樣面臨相似的挑戰，如過去網紅深偽換臉案件便曾引發全台對於數位暴力的討論。舊金山的強硬行動提供了一個明確的訊號：科技平台不能再以「技術中立」為由，對其商店內助長數位暴力的軟體袖手旁觀。未來，我們預期各大平台將被迫強化 AI 內容的審核機制，這不僅是為了合規，更是為了重建用戶對技術環境的信任。