대규모 라벨 검수의 새로운 방법, 직관적인 인터페이스를 갖춘 ‘매뉴얼 리뷰’를 소개합니다.
머신러닝 시스템을 구축해본 경험이 있다면, 학습용 데이터셋의 품질이 시스템 성능에 미치는 영향을 알고 있을 것입니다. 정확하게 라벨링된 데이터셋은 머신러닝 시스템 개발을 촉진하고, 성능을 향상시킬 수 있습니다. 하지만 진정한 의미의 고품질 라벨링 데이터셋은 쉽게 구하기 어렵습니다. 데이터 라벨링 프로세스에는 데이터를 수집 및 보강하기 위한 도구 사용·라벨 품질 검수·라벨링 인력 관리·실제 모델에 데이터를 투입하기 전까지의 전체 프로세스 반복 등, 광범위한 작업이 포함되기 때문입니다. 뿐만 아니라 최적화를 위한 모델 추론 이후에도 다양한 작업이 필요합니다.
특히 라벨링이 얼마나 정확하게 되었는지를 검수하는 것은 전반적인 라벨링 품질을 확보하는 데 필수적입니다. 여기서 ‘정확도’는 라벨링 작업 결과가 정답 데이터와 얼마나 근접한지, 또는 라벨링 된 피쳐(변수)들이 실제 상황과 얼마나 일치하는지를 말합니다. 또 ‘품질’은 데이터셋 전반에 걸친 라벨링 정확도를 의미합니다. 여러 라벨러들의 작업 결과가 서로 동일한지, 전체 데이터셋에 걸쳐 라벨링이 일관되게 정확한지는 동시에 작업을 진행하는 라벨러의 수가 얼마나 많은지와 관계없이 지켜져야 하는 중요한 부분입니다.
모든 라벨러의 결과물이 다르기 때문에 검수는 꼭 필요한 과정입니다. 프로젝트 시작부터 모든 라벨러를 완벽하게 교육한다는 것은 불가능하고, 라벨러도 사람이기 때문에 언제든 오류를 범할 수 있습니다. 그리고 이런 오류들은 모델 추론의 정확성과 가치를 떨어뜨리는데 치명적이죠. 이렇듯 라벨 검수는 꼭 필요한 과정이지만 체계 없이 주먹구구식으로 수행하면 시간이 상당히 많이 소요될 수 있습니다(몇몇 매니저들은 라벨 검수 작업에만 전체 작업시간의 50%를 소모하기도 한다고 말했고요). 그러므로 명확하고 능률적인 검수 워크플로우를 마련하는 것이 중요합니다.
이러한 어려움을 해결하기 위한 솔루션으로, 능률적인 검수 워크플로우를 지원하는 Suite의 새로운 기능인 ‘매뉴얼 리뷰(Manual Review)’를 소개합니다.
매뉴얼 리뷰를 소개합니다
매뉴얼 리뷰를 사용하면, (1) 라벨러가 제출한 라벨을 팀의 전문가 또는 팀원이 직접 검토·검증·필터링하고, (2) 프로젝트의 개요 페이지와 새로운 필터 기능을 통해 검수 진행 현황을 추적할 수 있는 기능을 제공합니다. 아래에서 자세히 살펴보겠습니다.
제출된 라벨을 승인(Approve) 또는 미승인(Reject)하기: 이전에는 Suite에서 제출된 라벨을 승인하는 결정은 순수하게 주관적이었습니다. 이를 보완하기 위해 신설된 ‘매뉴얼 리뷰’는 체계적인 승인 프로세스를 지원하여 라벨 품질을 검증하는 데 도움이 되며, 결과적으로 오류 및 실수를 가시화하여 향후 모델 품질 리스크가 감소합니다.
승인 프로세스는 간단하지만 지속해서 사용할 경우 매우 효과적입니다. 라벨링 모드에서 라벨러가 라벨을 제출·스킵하면, 리뷰어(매니저 또는 팀 리더)는 해당 라벨을 승인·미승인할 수 있습니다. 리뷰어가 라벨을 승인하는 것은 사용하기 적합하다는 뜻입니다. 반대로 라벨을 미승인하는 경우 리뷰어는 이슈 스레드에 이유를 기재해야 하며, 미승인하는 즉시 라벨 상태도 In Progress로 변경됩니다. 이 라벨은 기존 라벨러나 팀원이 다시 수정한 후 제출해야 합니다. 모든 라벨은 정확하게 라벨링되어 리뷰어가 승인할 때까지 이 사이클을 반복하게 됩니다.
미승인(Rejected) 라벨에 이슈 스레드 생성하기: 리뷰어가 라벨 제출을 미승인할 때, 문제를 파악하는 동시에 라벨링 팀에 수정을 요청하는 것이 어려울 수 있는데요. 두 작업을 한 번에 할 수 있는 UI를 갖추는 것이 훨씬 간단한 해결책입니다. 이슈 스레드를 통해 리뷰어는 이슈를 쉽게 파악할 수 있고, 라벨러에게 필요한 수정사항을 빠르게 전달할 수 있습니다.
매뉴얼 리뷰에서는 리뷰어가 라벨을 검토한 후 미승인할 때마다 그 이유를 필수적으로 입력해야 합니다. 수정이 필요한 부분을 놓치지 않게 함으로써 전체 프로세스의 능률을 높이는 간단하고 직관적인 플랫폼 것입니다. 입력된 내용은 리뷰어의 정보와 함께 이슈 스레드에 표시되므로, 라벨러는 수정해야 하는 부분과 이유를 신속하게 확인하고, 다시 제출하는 데까지 걸리는 시간을 줄일 수 있습니다.
이슈 스레드는 매뉴얼 리뷰와 따로 또 같이 사용할 수 있는 좋은 기능입니다. 이슈 스레드로는 데이터에 대한 대화를 시작하고, 피드백을 기록하며, 멘션 기능을 통해 추가적인 내부 도움을 요청할 수 있는데요. 위에 설명했듯 리뷰어가 라벨을 미승인할 때 남기는 코멘트도 이슈 스레드에 기록되기 때문에, 해당 라벨과 관련된 모든 대화 및 히스토리를 이슈 스레드에서 한 번에 확인할 수 있습니다. 두 기능을 함께 활용하면 라벨 승인에 필요한 수정사항을 파악하고, 반영하는 작업을 편리하게 진행할 수 있습니다.
리뷰·리뷰어 별로 검수 완료 라벨 필터링하기: 고품질 학습용 데이터셋을 구축하기 위해서는 올바른 라벨을 보유하는 것이 중요합니다. 그간의 대화를 통해, 우리는 우리의 고객이 라벨을 완벽하게 관리하고 싶어 한다는 것을 알고 있습니다.
매뉴얼 리뷰를 사용하면, 리뷰·리뷰어 필터로 데이터 및 프로젝트 관리 업무량을 효과적으로 줄일 수 있습니다. 이 기능은 Suite의 다른 필터, 검색 기능과 함께 사용할 때 더욱 빛을 발합니다. 여러 필터를 중복 적용하여 특정 조건의 데이터/라벨을 정확하게 찾을 수 있기 때문입니다.
예를 들어, ‘김ㅇㅇ씨가 라벨링’하고 ‘이ㅇㅇ씨가 검토하고 승인한 라벨’을 필터링하여 빠른 검사를 수행할 수 있습니다. 또는 ‘지난 달’에 ‘코끼리 오브젝트’의 리뷰어인 ‘박ㅇㅇ씨가 미승인한 모든 라벨’을 필터링하여, 해당 데이터셋에서 코끼리와 관련해 생긴 문제를 빠르게 검토하고 이해할 수 있습니다. 만약 이미지 품질이 문제였다면, 코끼리 전체에 대한 더 좋은 데이터셋을 새롭게 찾아야 한다는 인사이트를 얻을 수 있는 거죠.
프로젝트 오버뷰에서 검수 현황 추적하기: 몇몇 데이터 라벨링 팀의 PM에게는 어떤 라벨러가 정확히 어떤 작업을 했는지 판단하는 것 자체가 벅찬 업무일 수 있습니다. 그리고 라벨러가 다른 라벨러들의 업무를 알게 되는 것도 똑같이 어려울 수 있기 때문에, 서로 간섭하지 않는 것이 일반적입니다.
Suite에서는 매뉴얼 리뷰 현황 정보가 프로젝트 오버뷰에서 바로 나타나기 때문에, 전반적인 품질 검수 작업의 가시성이 향상됩니다. Labeling Status 차트는 다음과 같은 항목으로 구성됩니다.
- Approved: 승인된 라벨
- Rejected: 미승인된 후 다시 제출되지 않은 라벨
- Pending Review: 미승인된 후 다시 제출/스킵된 라벨
- Not Reviewed: 제출되었으나 아직 검토되지 않은 라벨
매뉴얼 리뷰, 이렇게 사용하세요.
매뉴얼 리뷰는 라벨러, 리뷰어, 프로젝트 매니저(PM)의 세 가지 역할이 구성하는 워크플로우를 따르도록 설계되었습니다. 이 역할들은 Suite의 세 가지 사용자 레벨(라벨러, 매니저, 오너/어드민)과 매칭됩니다.
- 가장 먼저, 하나의 라벨은 한 명의 라벨러에게 할당됩니다. 이때 Label Status는 ‘In Progress’입니다.
- 라벨러는 할당받은 라벨링 작업을 완료한 후 제출하거나, 완료가 어려운 경우 라벨을 스킵합니다. 이때 Label Status는 ‘Submitted’ 또는 ‘Skipped’ 입니다.
- 리뷰어는 제출된 라벨을 검토합니다. 여기가 바로 매뉴얼 리뷰가 필요한 부분입니다. 리뷰어는 이전 섹션에서 언급한 매뉴얼 리뷰 기능을 사용하여 해당 라벨을 승인하거나 미승인할 수 있습니다.
- 라벨이 승인되면 리뷰어는 리뷰 현황을 ‘Approved’로 업데이트합니다. 그런 다음, Data PM이 뛰어들어 프로젝트 진행 상황을 확인할 수 있습니다.
- 또는 라벨이 미승인(Rejected)된 경우, 리뷰어는 리뷰 현황을 ‘Rejected’로 업데이트합니다. 그런 다음 리뷰어는 이슈 스레드를 작성하고, 라벨러에게 해당 라벨을 재할당합니다.
이 워크플로우는 라벨링 정확도를 대조 검토하기 위한 간단하고 명확한 프로세스를 제공하므로, 장기적으로 데이터셋의 일관성을 향상시킬 수 있습니다. 또한, 라벨러가 다시 작업해야 하거나, 리뷰어/PM이 검토해야 하는 작업에 대한 인사이트를 제공하여 전체 프로젝트 및 시간 관리를 개선합니다.
새롭고 직관적인 플랫폼 인터페이스
지난 몇 년동안 저희는 놀라운 기술들을 구축하고, 이를 결합해 더 큰 하나의 플랫폼으로 출시하는데 많은 시간과 자원을 투자했습니다. 플랫폼의 모든 가치와 기능을 제대로 제공할 수 있으려면 단순하면서도 목적이 명확한 UI가 뒷받침되어야 합니다. 바로 이것이 저희가 기존의 인터페이스를 전면 개편하기로 한 이유입니다.
리뉴얼된 Suite의 새로운 UI는 높은 효율성과 접근성을 자랑합니다. 클릭 한 번으로 필요한 워크플로우에 접근할 수 있고, 보다 직관적인 의사결정을 지원하며, 복잡한 외부 시스템을 익히는 번거로움 없이 프로젝트를 신속하게 시작하는 등, 효율적으로 데이터셋을 구축할 수 있습니다.
저희의 고객은 데이터 관리 워크플로우를 간소화하고 확장할 수 있는 방법을 필요로 하고 있었습니다. 그래서 우리는 다시 기본으로 돌아가 Suite를 개선하기 시작했고, 이번 매뉴얼 리뷰 기능 릴리즈를 시작으로 더 많은 개선을 이뤄나갈 예정입니다. 우리는 매뉴얼 리뷰가 데이터 라벨링을 가속화하고, 머신러닝을 위한 고품질 학습용 데이터셋 구축을 도울 것이라고 확신합니다.
엔터프라이즈 머신 러닝 데이터 플랫폼 Suite는 머신 러닝 업무 시 데이터를 보다 효율적으로 관리하고 공유하는 혁신적인 방식을 제안합니다. Superb AI의 Suite는 머신 러닝 데이터 작업의 자동화와 실무진 간 협업을 지원하고, 고품질 간단하고 직관적인 플랫폼 학습용 데이터셋을 구축하는 시간을 단축합니다.
머신 러닝 데이터 업무를 개선하고 싶다면, 지금 바로 가입하고 Suite를 경험해 보세요.
간단하고 직관적인 플랫폼
회원에게 간단한 결제 방식 제공.
기업의 프로세스 간소화.
Flywire에서는 회원에게 안전하고 직관적인 결제 방법을 제공하므로, 여러분의 주요 업무 - 회원에게 잊지 못할 최고의 서비스와 경험을 제공하는 데만 집중하실 수 있습니다.
기존의 결제 프로세스와 통합된 당사의 솔루션을 통해 기업과 회원 모두 비용을 절감할 수 있습니다.
이용 방법
게스트 결제
회원이 Flywire를 통해 귀사의 온라인 플랫폼에서 결제를 예약하고,회원의 자국 통화로 청구서를 발행합니다.
Flywire에서 결제 대금을 수령해 환전합니다.
Flywire에서 손쉽게 계정을 조정할 수 있도록 결제 대금을 일괄적으로 지급합니다.
[Interactive White Paper] The Future of Timeshare Fee Payments
Flywire
Flywire Wins ARDA Award!
At the recent Timeshare Together ARDA Conference, Flywire was recognized as the winner of the 2021 ARDA Award for the Digital Products: Owner/Guest category! Read more about the ARDA award here.
Flywire가 타임쉐어 비즈니스의 일부가 되어 어떻게 회원의 경험을 개선하고 회사의 수익을 증대시키는지 자세히 알아보세요.
자국에서 통용되는 익숙한 결제 수단
회원과 소유주가 Flywire의 온라인 결제 포털과 신용카드, 현지 은행 송금과 같은 익숙한 결제 수단을 이용해 자국 통화로 귀사의 서비스 비용을 손쉽게 결제할 수 있도록 도와드립니다.
Shutterstock Images & Shutterstock Editor, Google Slides 통합으로 간단하고 멋진 PPT 만들기
프레젠테이션 발표자들은 간단 명료의 원칙에 따라 슬라이드에서 불필요한 군더더기를 제거하고 간결하게 메시지를 전달하여 청중이 공감할 수 있도록 만들어야 합니다. Google Slides와 같은 앱들은 직관적인 플랫폼을 활용하여 데모, 전시 자료 또는 제품 소개 프레젠테이션을 개별화할 수 있게 해줍니다. 또한 협업과 공유를 간단하게 만들어 줍니다.
셔터스톡에 이제 Slides가 통합되어, 메시지와 이를 뒷받침하는 콘텐츠 간의 간극이 사라지고 프레젠테이션 생성 과정이 한층 간소화되었습니다. 이뿐만 아니라, Slides 사용자들은 Shutterstock Editor 툴을 사용해 Slides 내에서 셔터스톡 이미지는 물론 다른 이미지들을 편집할 수도 있습니다. Slides는 사용자들이 한 곳에서 셔터스톡 이미지를 검색하고 편집할 수 있게 해주는 유일한 앱입니다!
셔터스톡 계정을 보유한 Google Slides 사용자들은 1억 5천만 개의 이미지가 포함된 셔터스톡 라이브러리를 Slides 내에서 활용할 수 있게 됩니다. 플랫폼을 벗어나지 않고 프레젠테이션을 위한 고해상도 이미지를 검색, 미리보기, 편집 및 삽입할 수 있습니다.
Slides 내에서, Shutterstock Editor로 이미지를 편집할 수 있고, 셔터스톡에서 프레젠테이션에 포함할 새로운 이미지를 검색할 수 있습니다.
또한 Shutterstock Editor에서 이미지를 개별화한 후 이를 Slides에 저장할 수도 있습니다.
이제 사용자들은 플랫폼을 벗어나지 않고 프레젠테이션을 위한 고해상도 이미지를 검색, 미리보기, 편집 및 삽입할 수 있습니다.
로열티 프리(RF) 라이선스 모델을 통해, 프레젠테이션 발표자들은 저작권 걱정 없이 셔터스톡의 기여자들이 촬영한 사진들을 이용할 수 있습니다. 기여자의 이미지가 Slides 내에서 사용되는 경우, 셔터스톡은 기여자에게 요금을 지불합니다.
셔터스톡과 Slides의 통합은 마케터들이 필요한 이미지를 신속하고 효율적으로 찾을 수 있도록 해주어 크리에이티브 워크플로우를 강화해줍니다.
Google 웹 스토어에서 Slides 앱을 다운로드하려면 여기 를 클릭하십시오.
셔터스톡과 Google Ads 및 Blogger의 파트너십 체결을 통해 제공되는 Slides 통합은 콘텐츠 생성자들이 Slides 내에서 고급 전문가용 이미지를 액세스할 수 있도록 해줍니다.
Loom Network란?
Loom Network는 2018년 초부터 상용 가능한 멀티체인 상호 운용 플랫폼입니다. 빠르고 원활한 사용자 경험을 필요로 하는 고성능 디앱 확장에 최적화되어 있습니다. 그뿐만 아니라, 네트워크를 통해 디앱은 기존의 애플리케이션에 버금가는 UX를 제공할 수 있으며, 크립토 지갑 소프트웨어를 다운로드하는 프릭션 없이 새로운 사용자들을 확보할 수 있습니다.
Loom은 또한 비트코인, 이더리움, 바이낸스 체인 및 Tron과 통합했습니다 (EOS와 Cosmos도 곧 지원할 예정입니다). 이를 통해 개발자들이 모든 주요 체인으로부터 자산을 통합할 수 있고, 디앱을 한 번만 만들어서 동시에 모든 플랫폼의 사용자들에게 제공할 수 있습니다.
LOOM 토큰이란?
LOOM 토큰은 지분 증명 방식의 토큰으로, Loom Network의 메인넷인 베이스체인을 보호하는 데 사용됩니다. LOOM 소유자들은 베이스체인이 안전해질 수 있도록 토큰을 스테이킹할 수 있고, 그 과정에서 보상을 얻습니다.간단하고 직관적인 플랫폼
또한, 토큰은 개발자들이 Loom Network 상에서의 디앱 호스팅 비용을 낼 때도 사용됩니다. 이더리움과는 다르게, Loom에서는 개발자들이 Loom상에서 그들의 디앱을 호스팅하는 것에 대한 월정액 요금을 지불하기 때문에, 사용자들은 트랜잭션 비용을 지불하지 않아도 됩니다.
개발자들이 Loom을 사랑하는 이유
현재 상용에서 사용 가능
확장성을 위한 솔루션을 더 기다릴 필요가 없습니다. Loom이 상용으로 운영 중이니까요 — 즉 여러분의 디앱을 지금 시작하고 즉시 수천 명의 사용자들을 모으기 시작할 수 있다는 것입니다.
진정한 디앱을 위한 빠른 속도 및 확장성
Loom Network는 위임 지분 증명(DPoS) 합의 알고리즘을 사용하며, 빠른 확인 시간과 높은 트랜잭션 처리 성능을 필요로 하는 실제 사용자 대면 디앱에 최적화되어 있습니다.
프릭션 없는 사용자 경험
Loom Network는 사용자들에게 비용을 전혀 요구하지 않고 번개와 같은 속도로 트랜잭션을 처리할 수 있습니다. 사용자들은 가스비를 지불할 필요가 없으며, 모든 행동마다 혹은 버튼을 클릭할 때마다 메타마스크 팝업을 볼 필요 또한 없습니다.
거대한 사용자 기반에 접근
우리의 통합과 범용 트랜잭션 서명을 통해, 모든 주요 체인의 사용자들은 그들의 네이티브 지갑을 사용하여 여러분의 Loom 디앱에 접근할 수 있을 것입니다. 베이스체인에 단 한 번 디앱을 배포하여, 여러분의 디앱이 거대한 사용자들에게 노출할 수 있습니다.
최고의 보안성
Loom 베이스체인은 전 세계 곳곳에 위치한 21명이 넘는 외부 검증자들을 가진 DPoS 블록체인이며, 지금까지 247,828,530 LOOM 이상이 스테이킹되었습니다. 베이스체인은 블록체인 기술을 전문으로 하는 저명한 정보 보안 회사인 Trail of Bits에서 수행한 보안 감사를 통과했습니다.
미래에도 사용 가능한 디앱
다른 체인들과 호환되지 않는 하나의 블록체인에 여러분의 디앱을 출시한다면, 여러분은 없어질 수 있는 플랫폼에 제약되는 위험을 감수해야 합니다. Loom Network는 여러분의 디앱이 절대 사라지지 않도록 계속해서 새로운 체인들과 통합하고 있습니다.
단 몇 분 만에 여러분의 디앱을 배포하세요
여러분의 디앱을 상용 수준의 규모로 만들기까지 얼마 남지 않았습니다.
Loom Network는 솔리디티를 기반으로 하며, 이더리움과 호환이 가능합니다. 그렇기 때문에, 간단하고 직관적인 플랫폼 다음 3단계를 통해 여러분의 솔리디티 기반 디앱을 Loom으로 포팅할 수 있습니다 — 그리고 오늘부터 확장을 시작할 수 있습니다.
일단 우리의 테스트넷에서 한번 해보는 것은 어떨까요? 시작하는 방법은 매우 간단하답니다.
- Loom 개인 키 생성
- Loom 공급자 초기화
- 베이스체인을 위한 설정값 추가
사용자 경험에 최적화
블록체인 기술의 대중화를 저하하는 가장 큰 문제 중 하나는 비기술자인 일반 사용자들이 사용하기에는 너무 복잡하다는 것입니다.
여러분의 부모님들도 이해할 수 있는 간단하고 직관적인 사용자 경험(UX) 없다면, 이런 쓸데없는 말들은 아무런 소용이 없습니다.
그렇기 때문에, 베이스체인은 최종 사용자들을 위한 직관적인 사용자 경험과 더불어 디앱 개발자들을 위한 실용성을 최대로 할 수 있도록 만들어졌습니다.
DeFi, 공급망 관리, 가상현실, 온라인 학습 플랫폼 또는 게임 등 여러분이 무엇을 고려하고 있는지와 관계없이, 베이스체인은 어떤 종류의 디앱에도 사용될 수 있습니다. 또한, 베이스체인은 모든 주요 블록체인에 접근이 가능하며, 멀티체인 디앱의 가능성을 제공할 수 있다는 이점을 제공합니다 — 예를 들어, 멀티체인 DeFi 애플리케이션에서 자산을 담보로 잡는 것과 같은 가능성을 말이지요.
개발자를 위한, 개발자에 의한
우리는 자사의 제품을 우리가 직접 간단하고 직관적인 플랫폼 사용해보고 개선하며, 처음부터 Loom상에 우리의 디앱을 만들어왔습니다 — 즉, 우리의 기술은 실제 사용 사례를 위해 처음부터 만들어진 것이지요.
또한, 우리는 크립토좀비의 개발사이며, 크립토좀비는 415,672명이 넘는 학습자들이 이더리움 디앱을 만드는 방법을 배운 가장 인기 있는 블록체인 코딩 스쿨입니다.
그렇기 때문에, 우리가 상용 가능한 수준의 간단하고 직관적인 플랫폼 디앱을 만들고 싶어하는 개발자들의 니즈를 이해한다고 해도 과언이 아니지요.
크립토좀비에서 코딩을 배워보세요
크립토좀비 는 이더리움 디앱을 만드는 방법을 배우는 데 있어서 아주 훌륭한 자원입니다. 크립토좀비는 여러분만의 크립토 수집품 게임을 만들 수 있도록 알려주는 대화형 튜토리얼들을 통해 솔리디티 스마트 컨트랙트를 작성하는 방법을 가르쳐주는 무료 코딩 스쿨입니다.
이 코딩 스쿨은 현재까지 415,672명 이상의 학생들이 사용해왔으며, 우리는 계속해서 새로운 레슨들을 만들고 있습니다 — 리브라 블록체인 개발에 관한 새로운 레슨을 포함해서 말이지요.
여러분이 솔리디티 또는 리브라로 코딩해본 적이 없더라도 걱정하지 마세요 — 우리가 아주 기초적인 것부터 시작해서 차근차근 가르쳐드릴 것입니다.
0 개 댓글