AI가 우리를 AI로부터 구할 수 있을까? 이 스타트업은 딥페이크를 탐지하는 디지털 도구를 구축하고 있습니다.

생성적 인공 지능은 과학 연구부터 일상 업무에 이르기까지 수많은 분야에 혁명을 일으킬 수 있지만, 사기와 사기를 위한 도구를 사용하여 악의적인 행위자에게도 권한을 부여했습니다. Digvijay Singh과 Amitabh Kumar는 이러한 도전을 직접 목격했습니다.

신원 확인 및 사기 방지 전문 회사인 HyperVerge에서 근무하는 ML 엔지니어이자 제품 관리자인 Singh은 악의적인 행위자가 대출 앱, 뱅킹 플랫폼 및 모바일 게임 전반에서 인공 지능을 악용하는 것을 목격했습니다.

Singh은 “AI 도구를 쉽게 사용할 수 있게 되면서 제품, 연령, 신원 확인 등 신뢰 구축을 위해 이미지나 비디오에 의존했던 플랫폼이 이제 취약해졌습니다.”라고 설명합니다.

여러 온라인 보안 회사의 창립자이자 Meta와 같은 플랫폼의 신뢰 및 보안 컨설턴트인 Kumar도 동일한 취약점을 발견했습니다. 그는 바이러스 백신 소프트웨어와 같이 확립된 사이버 보안 솔루션과 달리 업계에는 AI 생성 위협에 대처할 수 있는 유사한 도구가 부족했다고 지적합니다.

이러한 깨달음으로 그들은 2023년 방갈로르에서 Contrails AI를 설립하고 생성적 AI 혁명을 위한 “안전벨트”라고 부르는 것을 구축하게 되었습니다.

“Contrails”라는 이름은 시각적으로 훌륭하지만 기후에 해를 끼치는 비행기 노선을 의미합니다. 비행기가 다른 고도에서 비행한다면 이러한 흔적이 생기는 것을 방지하고 오염을 줄일 수 있습니다. 마찬가지로 소셜 미디어의 유해한 콘텐츠는 참여를 유도하지만 디지털 생태계에 피해를 줍니다.

Singh은 “Contrails AI는 이러한 ‘디지털 카펫’을 식별하고 관리하여 온라인 커뮤니티를 보호하는 것을 목표로 합니다.”라고 말합니다. 당신의 이야기.

어떻게 작동하나요?

Contrails AI는 심각한 위조, 합성 미디어 조작, 악성 콘텐츠가 피해를 입히기 전에 이를 탐지하는 플랫폼을 구축하고 있습니다.

플랫폼은 합성 미디어 조작과 유해 콘텐츠라는 두 가지 핵심 영역에 중점을 둡니다. 이는 딥 페이크, 얼굴 교환, 립싱크 조작, 오디오 스푸핑 및 온라인 시장에서 디지털 방식으로 복원된 부러진 테이블 다리와 같은 보다 미묘한 변경 사항을 캡처합니다. 이 시스템은 또한 NSFW 콘텐츠, 아동 학대 이미지, 테러리스트 자료 및 외국인 혐오 콘텐츠를 표시합니다.

Contrails AI는 포렌식 접근 방식으로 작동하여 전체 이미지가 아닌 픽셀 수준에서 작은 불규칙성을 분석합니다. 혁신적인 딥 러닝 모델을 사용하여 비디오, 이미지, 오디오 및 텍스트 전반에 걸쳐 가짜 미디어, 정책 위반 및 보안 위험을 실시간으로 탐지합니다. Contrails AI 알고리즘은 다양한 모드에서 작동하며 다양한 글로벌 상황의 복잡성과 규모를 처리할 수 있다고 창립자들은 말합니다.

시스템은 API를 통해 클라이언트 플랫폼에 연결하고 사람이 검토할 수 있도록 의심스러운 콘텐츠에 플래그를 지정합니다. 고객은 스캔할 데이터, 세부 보고서 표시 방식, 특정 요구 사항에 대한 응답 형식을 선택하는 워크플로를 설정할 수 있습니다.

클라이언트의 인프라를 통해 필요한 데이터를 사용할 수 없는 경우 시스템은 사용자에게 이를 요청한 후 다음 확인 단계로 진행합니다. 신고된 모든 사례는 중앙 대시보드를 통해 검토할 수 있습니다.

고객과 아이디어

신뢰 및 보안 스타트업은 주로 악용에 취약한 사용자 생성 콘텐츠가 있는 플랫폼인 B2B 클라이언트를 대상으로 합니다. 여기에는 eBay 및 OLX와 같은 마켓플레이스, 연령 확인이 필요한 게임 플랫폼, 이미지로 신뢰를 쌓는 데이트 앱, 판매자가 제품 사진을 조작하는 음식 배달 서비스, KYC 확인이 필요한 금융 서비스가 포함됩니다.

B2B 모델은 콘텐츠 처리량에 따라 월별 또는 연간 계약을 통해 볼륨 기반 가격 책정을 적용합니다. 회사는 사기 예방이나 비용 절감을 기준으로 고객에게 비용을 청구하는 ROI 기반 가격 책정으로 전환할 계획입니다.

Kumar는 “신뢰와 보안은 더 이상 백오피스의 문제가 아니라 이사회의 우선순위가 되었습니다”라고 말했습니다. 설립자들은 규제가 강화되면 시장 채택이 가속화될 것으로 기대하고 있습니다. “딥페이크는 2023년 시작된 이후 6~7세대에 걸쳐 진화해 왔습니다.”라고 그는 덧붙입니다.

B2C의 경우 Contrails AI는 개인 이미지가 상당한 브랜드 가치를 지닌 고액 순자산 개인(HNI), 사업주 및 유명인을 대상으로 합니다. 이 스타트업은 소셜 네트워크, 광고 및 시장에서 심한 가짜와 유사물의 무단 사용을 탐지하기 위해 연중무휴 웹 모니터링 서비스를 테스트하고 있습니다.

US TAKE IT DOWN Act(피해자가 동의하지 않은 은밀한 이미지의 삭제를 요청할 수 있도록 허용)와 같은 규정이 최근 법으로 제정되었고 델리 고등 법원이 유명인을 보호하라는 명령을 내리면서 이러한 사람들은 법적 지원을 받게 되었습니다. “이것은 그들을 자연스러운 고객으로 만듭니다”라고 Kumar는 말합니다.

이 스타트업은 또한 Spotify와 같은 플랫폼을 위한 AI 생성 음악 검색으로 확장하고 있으며 두 서비스 모두 볼륨 기반 계약으로 실행됩니다.

이러한 솔루션을 추진하기 위해 Contrails AI는 잠재적인 장애 지점을 식별하여 모델을 개발했습니다. 팀은 약점을 찾기 위해 디지털 미디어의 다양한 매개변수(얼굴 색깔, 눈 색깔, 조명)를 테스트했습니다.

AI가 특정 입력으로 어려움을 겪을 때 팀은 이러한 격차를 해결하기 위해 훈련 데이터를 개선했습니다. 파일럿 프로그램은 2024년 초에 시작되었으며 고객 데이터에 따르면 위협이 실제로 발생하는 위치(특정 Twitter ID, 텔레그램 채널 및 기타 플랫폼)가 밝혀졌습니다.

이 플랫폼은 GDPR 및 SOC 2 준수, 안전한 저장 및 엄격한 보존 제한을 통해 얼굴 데이터를 포함한 민감한 개인 식별 정보(PII)를 관리합니다. 이 시스템은 모듈식으로 되어 있어 다양한 산업과 특정 과제에 맞는 맞춤형 모델을 구축합니다.

자금 조달 및 확장

Contrails AI는 Ajai Chowdhry(HCL), Gaurav Mangla(Pickrr) 및 Sreeraman Girija(Fynd)의 추가 지원을 받아 Huddle Ventures 및 Indian Angel Network(IAN) 그룹으로부터 사전 자금 조달로 100만 달러를 모금했습니다. 스타트업은 도메인별 솔루션이 필요한 고객과 협력하고, 첫 번째 중점 영역을 설정한 후 고객 요구에 따라 새로운 지역으로 확장할 계획입니다.

새로운 자금은 더 넓은 실제 사용을 위해 회사의 기술을 확장하는 데 도움이 될 것입니다. 현재 BFSI 부문의 마켓플레이스, 콘텐츠 플랫폼 및 기업과 함께 파일럿 프로그램을 운영하고 있습니다. 또한 이번 투자로 미국과 유럽연합에서 미디어, 금융, 디지털 플랫폼 등 분야의 시범사업이 가속화될 것입니다.

Singh은 “우리는 이미 인도에서 미국으로 확장했으며 고객이 EU 적용 범위를 필요로 할 경우 유럽 언어 및 규정 준수 표준에 대한 지원을 추가할 것”이라고 말했습니다.

스타트업은 온라인에서 가짜 및 악성 콘텐츠가 폭발적으로 증가하여 웹을 대부분의 콘텐츠가 가짜이거나 유해한 “죽은 인터넷”으로 몰아넣을 수 있는 “AI 슬롭”의 증가하는 위협에 대처하고 있습니다.

Singh은 악의적인 행위자가 데이터 프라이버시, 관할권 및 규정을 무시하고 “치트 코드”를 제공하면서 최전선에서 활동하고 있다고 덧붙였습니다. 그는 “이러한 위협에 맞서는 기술도 빠르게 발전해야 한다”고 강조합니다.