단맛만좋아요

NGS 데이터 저장 표준 - Complete Genomics

hongiiv — Fri, 11 May 2012 22:16:06 +0900

표준은 아니더라도 최소한의 예의가 필요한 시점
얼마전 Pistoia Alliance에서는 NGS 데이터를 효율적으로 관리하기 위한 방법의 하나로 효율적인 압축 알고리즘을 개발하는 사람에게 $15,000의 상금을 걸고 대회를 열었었다. 현재 fastq, bam, vcf로 포맷에 대한 부분도 어느정도 자리가 잡혀가고 있는 추세이다. 각 개별 파일에 대한 표준뿐만 아니라, 하나의 NGS Sample 데이터를 정의하는데에 있어서의 정의 또한 필요한 부분이라고 생각된다.

시퀀싱 장비에서 분석까지 모두 섭렵하고 계신 Complete Genomcis는 넘들 다 쓰는 포맷이니 뭐 그딴거 안쓰시고 자신만의 표준을 잡아서 쓰고 계신다. 군바리의 그것처럼 각잡힌 구조하에 각각 고유의 포맷으로 무장한 파일들을 보면 이 놈들 뭐 좀 하는것 처럼 보이기까지 한다.

각 시퀀싱 센터도 걍 대충 하드디스크에 결과랍시고 던져 주지 말고 각 센터 고유의 구조하에 결과를 배포한다면, 사용자들은 좀 더 손쉽게 데이터를 이해하고 다룰 수 있지 않을까 생각된다. 국내에서도 많은 시퀀싱이 이루어지고 각 시퀀싱 업체에서 생산된 데이터들이 이러한 어느정도 규격화된 구조하에 돌아다닌다면 좋겠지 말입니다요.

Complete Genomics의 결과 데이터 구조
그렇다면, 우선 Complete Genomcis에서 시퀀싱을 수행하고 나면 그 결과를 어떠한 방식으로 배포하는지 한번 살펴보도록 하겠다. 아래 그림을 보면 최상의 디렉토리가 있고 그안에는 Manifest와 README 파일이 존재한다. 그리고 실제 각 샘플은 Individual Genome 폴더에 존재하게 되며, 이것은 'GS고유숫자DNA-알파벳숫자'의 디렉토리명 규칙을 가지고 있다. 아름답다. 저 GS는 GenomeSequencing의 약자겠지...

그리고 크게 각 샘플디렉토리 밑에는 ASM, LIB, MAP 세개의 폴더가 있으며 ASM은 calling된 variant, coverage, annotation의 데이터가 있으며, LIB폴더에는 mate-pair의 gap사이즈와 같은 library 제작시의 정보가 MAP 폴더에는 read와 reference에 align된 파일이 존재한다.

Complete Genomics의 결과 데이터 구조

Variation 결과가 포함된 ASM 폴더의 상세 구조

각 폴더내 존재하는 파일의 이름 규칙 및 파일 내용

국내 시퀀싱 업체들이여!!!
자. 이렇게 딱 배포하면 지나가는 개도 파일명이나 폴더만 봐도 딱 알겠지... Complete Genomcis가 이렇게 구조화된 결과물을 제공하기 때문에 DNAnexus는 손쉽게 CG의 데이터를 자신의 플랫폼에 import할 수 있도록 하고 있다. 이렇게 전달받은 CG의 결과를 명령어 한줄을 이용하면 DNAnexus의 클라우드에 올라가게 되고, 사용자는 언제 어디서든 CG의 데이터를 확인하고 공유할 수 있게 된다.

어때, 애네들 쿵짝쿵짝 잘놀지~~ 이렇게 돈내고 쓰는 서비스가 생겨야지 지들끼리 콩짝콩짝 해서 좀 더 편리한 환경이 구축되는 거고 그런데 걍 무조건 공짜를 외치잖아~! 그렇게 되면 아무도 저런거에 신경 안써~! 걍 시퀀싱 결과는 SATA2 하드 디스크에 곱게 담겨 랩 서랍 속에서 뒹굴거리다 장렬히 전사하고 기껏 국가 세금이나 등등을 부어서 나온 결과물은 한줌의 비트로 사라지는걸...

HiSeq vs. 454

hongiiv — Thu, 10 May 2012 22:17:47 +0900

전세계적으로 HiSeq을 포함한 일루미나 장비가 가장 많은 사용되고 있다. 너가 그런거 어케 알어!?? 라고 물으신다면... 예전에도 언급했던 http://omicsmaps.com/ 여기서 확인 가능하다. 봐 아래 그림에서 보듯이 GA2랑 HiSeq 을 포함하면 다른 플랫폼보다 월등히 많지!! 그러니까 대세는 일루미나야 이 바보야!!! 라고 말한다면...

자 이건 미국내에서 일루미나 장비(GA2랑 HiSeq 모두 합한것)의 분포도이다. 특징은 지역적으로 드문드문 분포하며, 특정 지역에 엄청나게 그 수가 밀집되어 있다.

미국내 일루미나 장비의 분포

이에 반해 아래 그림은 454의 분포도이다. 비록 대수는 얼마 안되지만 골고루 퍼져 있는 것을 확인 할 수 있다. 이러한 분포의 특징은 단 미국내뿐만 아니라 전세계를 봐도 그렇다. 즉, 일루미나 장비의 전체적인 수는 월등하지만 그건 BGI를 비롯한 일부에 집중되어 있다는 것이고, 454 장비는 비록 그 수는 적지만 각각의 개별 랩들이 하나씩 가지고 있다는 것이다.

미국내 454 장비의 분포

그래서 어쩌라고.... 어떻게 할까요?? 뭐 암튼 그렇다고... 454 장비가 내구성이 좋은가??

우린 Apple App Store 아니 Genome App Store - Illumina BaseSpace

hongiiv — Thu, 10 May 2012 20:04:46 +0900

Apple은 iPhone이나 MacOSX를 사용하는 사용자들이 손쉽게 클라우드 기반으로 Application을 찾아서 설치하고 업데이트 할 수 있는 Store를 운영하고 있다. 이러한 Store를 통해 일반 개발자들도 자신의 App을 등록하고 이를 통해 중간에 유통이니 광고니 이런 복잡다단한 중간 단계 없이 그저 Store에 등록하는 걸로 자신의 Appicaltion으로 수익을 낼 수 있게 되는 그런 그림이다.

Apple App Store 화면

1. 일루미나 BaseSpace
Illumina, Inc. (ILMN)ㅋ도 바로 이러한 모델을 내놓았는데 바로 BaseSpace AppStore이다. BaseSpace는 일루미나가 내놓은 Genomic Cloud Computing Environment로 너무 거창한 느낌이 든다면 걍 computer-free NGS analysis tool 되겠다.

GCCE (Genomic Cloud Computing Environment) 관점에서 본다면,

스토리지와 컴퓨팅 자원에 대해 고민 걱정 끝!
웹 기반의 데이터 관리 및 분석
협업 및 공유를 위한 도구 제공
일루미나나 타 사용자들을 모두 수용

간단히 Tool 관점에서 본다면,

클라우드로의 자연스런 자동 데이터 업로드 (장비 run이 끝나면 데이터 업로드도 끝! 물론 일루미나 장비만 지원!)
Bioinformatics를 멀리 저 멀리 치워버릴 수 있음 (이제 나 손빨아야해!!)
결과를 언제 어디서든지 웹 기반 툴로 확인 가능 (실험 끝! 분석 다됐으니 확인하라고 한밤중에 알람 울린다면 대략 난감~ 근데 이걸 나만 받은게 아니라면... )
신상 s/w나 최신 버전의 툴들이 바로바로 업데이트 되어 사용 가능 (오호 나 신상 소프트웨어 좋아!!!)

2. 일루미나 BaseSpace AppStore와 개발자 지원se
자, 바로 이러한 BaseSpace는 단순히 NGS 데이터 분석이 아닌 각종 3rd party 업체들로 부터 정해진 API를 가지고 개발해서 BaseSpace에서 사용할 수 있는 생태계를 만들고 있다. 아까 말한 BaseSpace AppStore!! 내가 RNA 데이터를 가지고 있다면, 바로 RNA-Seq 전문 소프트웨어를 구매해서 BaseSpace 내에서 쓰윽 하고 분석~~ Annotation이 필요하다면 입맛에 맛는 Annotation S/W 쓰윽... 뭐 이런 식이지.

근데 관건은 얼마나 많은 S/W들을 모을 수 있냐는 것이다. 장터는 열렸는데 상품이 없다면 대략 난감할테니,,, 그래서 일루미나 꼼꼼히도 사전에 업체들 컨택해서 물밑 작업 좀 했나 부다. 현재 Clinical Interpretation, Annotation, Visualization의 각 부분에 해당하는 S/W 업체들 10여개사를 이미 꼬셨고, 추가 21개의 벤더들이 AppStore에 입주하기 위해 분주히 개발하고 있다고 한다. 물론 현재 API는 공개되어 있지 않지만 연락을 취하면 API로의 접근이 가능하며 이미 developer.basespace.illumina.com이라는 도메인도 선정해 놓은 상태이다.

Knome http://www.knome.com

Strand Life Sciences http://www.strandls.com/

Omicia http://www.omicia.com/

Omixon https://www.omixon.com

Ingenuity Systems http://www.ingenuity.com/

genomatix http://www.genomatix.de/

REAL TIME Genomics http://www.realtimegenomics.com/

Integromics http://www.integromics.com/

GenoLogics http://genologics.com/

Gelden Hexlix http://www.goldenhelix.com/

DiaGenomics http://www.diagnomics.com/

STATION X http://www.stationxinc.com/

Spiral Genetics http://www.spiralgenetics.com/

biomax http://www.biomax.com/

3. 일루미나 BaseSpace의 업그레이드
일루미나는 이러한 AppStore 뿐만 아니라 Tool로서의 역활 또한 단단히 하기 위해 기존의 일루미나 Align s/w만 지원했던것을 BWA+GATK 조합도 BaseSpace에서 사용가능할 뿐만 아니라 열라 빠른 iSSAC라는 alignment s/w도 발표했다. 그리고 현재 MiSeq만 지원했던 것을 HiSeq계열에도 적용할 것이라고 한다.

MiSeq 장비에 내장된 MiSeq Control Software - 하단의 구름 모양은 시퀀싱이 시작되면 활성화되어 바로 BaseSpace 클라우드로 데이터를 업로드하게 된다. 님좀짱~~~

자 요약하자면

이제, BWA+GATK도 BaseSpace에서 사용할 수 있어요.

API는 8월부터 가능한데 먼저 사용해 볼 수 있고요 이미 40여개의 앱이 있어요.

AppStore도 빠르면 8월, 근데 9월 오픈할 거에요.

HiSeq 1500/2000도 스트리밍 방식으로 연결될거에요 물론 9월

iSSAC라는 엄층 빠른 aligner도 9월에 뵈요~~

짤방

한달간 블로그 페이지 방문자의 성향

hongiiv — Thu, 10 May 2012 17:25:58 +0900

내 블로그를 방문 대부분은 South Korea로 부터 트랙픽이며, 50%는 홈에 먼저 첫발을 내딛지만, 대부분은 홈화면만 보고 떠나 버린다. 하지만 떠나지 않고 꾸준히 다른 페이지를 보고보고보고 또 봐서 12페이지까지 보고 가신분도 있다는 것... 감사합니다. 뉘신지는 모르겠지만...

그렇다면 홈외에 들어오시는 분은 "R 그래프 그리기" , "PCA using R" , "CTO 당신만 보세요 - 바이오인포매틱스와 Hadoop의 만남은 필연적" 페이지를 방문했다. 즉 검색을 하던 어디 링크를 타고 들어왔건간에 홈을 제외한 이 3개의 페이지가 지난 한달간 줼로 인기 있었다는 이야기가 되겠다. 고로 내 블로그는 이것저것 잡단한 것을 쓰지만, 정작 블로그를 찾는 분들은 R 댐씨 온다는 이야기?? -.-;;

Bina Techlogies - 우린 genomics의 Apple이다

hongiiv — Thu, 10 May 2012 10:02:05 +0900

Apple은 Mac OSX, iMac, iCloud라는 운영체제와 이를 기반한 하드웨어와 클라우드를 갖추고 있다. 모두 자신들이 만들고 운영하고 있는 것이다. 바로 이러한 컨셉을 이쪽 업계에 반영한 회사가 있으니 바로 Bina Techlogies이다.

일반적으로 NGS 데이터를 사용하는 프로세스는 아래와 같이 요약 될 수 있는데, sequencer에서 생산된 데이터는 Bina Box라는 하드웨어를 통해 1/2차 분석과 데이터 압축등의 과정을 수행한다. Bina Box는 CPU, GPU, FPGA로 구성되었으며 (iMac), 하드웨어에 최적화된 Linux Kernel을 사용하고있다. (Mac OSX) 사용자들은 이들을 이용하여 특정 도메인(간단히 분석작업)에 최적화된 알고리즘이나 파이프라인을 구성할 수 있으며, 데이터 압축을 통해 1/2차 데이터를 Biological Interpretation, Comparative Genomics 등의 다음 분석을 수행할 수 있도록 이를 Bina Cloud (iCloud)로 업로드 한다. 이로써 Bina Cloud를 통해 연구자들간의 데이터 공유, 협업, 관리 등의 작업이 가능해지게 된다.

사업의 성공여부를 떠나 이쪽분야에 다양한 시도가 이루어지고 있다는 것에 의미를 일단 두고, Bina Box의 실제 외형도 iMac처럼 이쁜지 그게 궁금할 뿐이다...

Bina Technologies의 데이터 처리 흐름

Bina Box의 구성

BGI의 공짜 분석 서비스 EasyGenomics

hongiiv — Wed, 09 May 2012 16:43:58 +0900

금번 Bio-IT World Conference & Expo에서 BGI의 NGS 분석 서비스가 화두거리중의 하나였다. 물론 BGI가 서비스하는 것이 획기적이거나 한것보다는 바로 분석 비용에 있어서의 free를 선언했기 때문이다. 그럼 이번에 새롭게 발표한 중국 BGI의 EasyGenomics 서비스에 대해서 살펴보도록 하겠다.

BGI는 데이터 분석에서의 나타나는 문제점들의 다음의 4가지 관점에서 지적하고 있는데, 분석의 각 단계에 따라 문제점들을 말하고 있다.

Primary Analyis
NGS 장비에서 이미지를 읽어 Base Calling하는 단계이며, 이 단계에서는 Data throughput과 Data storage를 지적하고 있다. 일반적으로 NGS장비에서 생산된 데이터를 지역적으로 멀리 떨어진 실제 분석을 수행할 기관이나 연구자에게 전달하는데에 있어서 데이터 전송 문제가 발생하고 있다.

Secondary Analysis
Mapping 단계로 Computation intensive한 작업이며 마찬가지로 이 단계에서도 Data storage 또한 지적하고 있다. 현재 Computation intensive한 부분에서는 MapReduce나 GPU를 활용하는 부분들에 있어서 많은 해결을 보려는 노력들이 있다.

Tertiary Analysis
Variant calling 단계로 아직은 short read의 엄청난 throughput으로 밀고 있는 HiSeq을 비롯한 NGS 장비들이 특성?을 고려하여 유전변이를 찾기 위해 프로세스(gatk의 경우 mapping 단계 후 variant를 찾기 위해 Local realignment, Duplicate marking, Base quality recalibration, Variant quality recalibration의 복잡다단한 단계를 권장)가 점점 복잡해져간다는 것이다. 또한 Computation intensive한 작업이라는 걸림돌이 존재한다.

Post Tertiary Analysis
보다 심도있는 Annotation을 수행하는 단계로 많은 이들이 이 부분에서 좌절하게 된다. 그동안 생물학과 Bioinformatics의 발전으로 많은 Knowledge와 DB가 축적되었지만, Lack of knowledge는 아직 가야할 길이 멀다고 하겠다.

바로 이러한 분석단계에 있어서의 걸림돌을 풀기 위한 솔루션이 바로 'EasyGenomics' 서비스가 되겠다. ^______^ 우선 아까 각 단계에서 지목되었던 Big genomics data, Geological distribution, Algorithm integration, Computational demand는 Cloud Computing, High Speed Data Exchange, Workflows, Resource Management를 통해 해결 될 수 있으며, 바로 이것들을 EasyGenomcis가 지원한다는 것이다. EasyGenomics는 한마디로 Bioinformatics 연구를 위한 플랫폼이며, 클라우드에서 구동되는 어플리케이션이라고 정의할 수 있다.

EasyGenomcis의 특징
High speed data exchange
Fast and accurate pipelines
Easy and straightforward UI
Application integration

NGS 분석 작업의 단계
Reads (Import) -(Raw/Clean Reads)-> Samples (Filtering, Quality Control, Mapping) -(Aligned Reads & Reports)-> Analysis (Whole genome Resequencing, Exome, RNA-seq, Small RNA, de novo Assembly) -(Results & Reports)-> Results (Packing, Export)

이미 BGI는 클라우드(infrastructure)와 SOAPdenovo등 알고리즘을 꾸준히 만들고 사용해 왔으며, 금번 EasyGenomics 서비스를 가능하게 하는 기술의 기반이라고 할 수 있겠다. EasyGenomcis는 이름에서도 알수 있듯이 쉽게 사용할 수 있게 했다는데에 촛점이 맞추어진 서비스라고 할 수 있겠다. 즉, 실제 연구시 이루어지는 procedure를 그대로 EasyGenomics에서 구현한 것으로 핵심은 'sample', 'Analysis', 'Porject'라는 개념이다. 즉 여러개의 Raw Data로 부터 각각의 샘플(sample)을 생성하고 각각의 샘플은 다시 여러가지 다양한 분석(analysis)이 수행되며 바로 이것들을 하나로 묶는 프로젝트(project)의 개념을 그대로 EasyGenomcis에서 구현한 것이다. (말은 거창하지만... 남들도 다 비슷비스하게 하거덩요)

실제 서비스를 디벼 보자
아 이 중국넘들 ppt 자료나 떠드는 내용이 좀 일목요연했으면 좋으련만 다시 정리해야 되잖냐!!! 암튼 첫 페이지는 요렇게 생겼답니다. (아직 테스트중이라 계정만 요청해 놓은 상태인데 연락 준다는데 연락이 없네...)

Main Page

Project 페이지

Sample 페이지

Data 페이지

(1) Read Upload
Main 페이지의 Reads Upload or Sample 페이지의 'Upload Sequencing Data' 을 통해 데이터를 업로드하게 되며, 이때 Aspera의 connection server에 접속해서 해당 데이터를 업로드하게 된다. BGI에 따르면 FTP보다 10~100배 빠르다고 주장! 암튼 요렇게 올려진 Read 데이터는 이제 Sample로 환생하게 된다.

(2) Sample 생성
Sample은 여러개/단일의 Raw Data(Read)가 mapping 되어진 상태의 데이터라고 할 수 있다. Sample 페이지의 'Create a sample'에서 업로드한 Read를 선택하고 부가정보를 입력하면 mapping 결과와 report가 생성된다.

sample 생성 페이지

생성된 sample의 report

(3) Project 생성 (Data Analysis)
이렇게 align(sample이)된 데이터는 유전변이 발굴등의 Tertiary Analysis 단계 즉, Data Analysis(또는 Project라고 부름) 단계를 수행하게 된다. 각 분석은 Modules이라고 부르며, CNV Calling, Indel Calling(Samtools), SNP Calling(SapSNP), Structural Variants Calling(SV)과 각각의 Annnotation까지의 작업이 있다.

Project의 단계는 Create an Anlysis -> Select Data -> Select Modules -> Review 단계로 진행되며, 분석에 대한 정보를 입력한후 아까 만든 Sample을 선택 선택한다. 이 sample을 가지고 수행할 분석(Modules)을 선택하고 나면 하나의 Project/Analysis가 끝나게 되는 것이다.

project 설명 입력 페이지

분석에 사용할 sample 선택 페이지

수행할 분석(module) 선택

분석 결과 리포트

이상으로 간단하게나마 BGI의 EasyGenomcis 서비스를 살펴보았다. 시퀀싱을 수행하고 나면 자동으로 EasyGenomics에 넣어 주고 사용자들은 여기에 접속해서 이런저런 분석 및 Data Storage 서비스를 이용하면 완벽한 package가 되는 그런 그림인 듯 하며 BGI의 시퀀싱 서비스를 받는 사람들은 한번 쓸만한 것 같으나, 분석만을 위해서 BGI의 서버 아니 클라우드라고 불러야지.. 암튼 여기에 데이터를 업로드하고 공짜인데 혹여나 데이터가 날라가면... 책임소재 등도 불명확해지니 무조건 공짜라고 침흘리지 말자. BGI의 full 발표자료가 필요하시면 댓글로 남겨주시면 보내드리도록 하겠습니다. ^____^

Short Read Alignment 그것을 알려주마

hongiiv — Thu, 03 May 2012 16:03:28 +0900

지난주 Boston에서 열린 Bio-IT World Conference & Expo를 보고 나서 느낀게 있다면 요즘 이바닥은 점점 상용화쪽으로 흘러가고 있다는 것이다. Alignment Software 하나를 보더라도 예전에는 논문을 쓰고 학술적인것에 의미를 두었다면, 이제는 좀 더 빠르고 정교하게 (정교하다는 표현이 맞을지는 모르겠지만, 다른 Alignment Software가 놓칠 수 있는 Variants까지 잡아낼 수 있는) 만들어 이를 상업적으로 내놓고 있다는 것이다.

그렇다고 무작정 NGS를 하고 난뒤 이러한 상용의 서비스에 맡겨서 분석하기에는 가격이 만만치 않다. 아직 우리에게는 BWA에 있지 않은가! BWA라도 잘 알고 사용한다면 분석에 있어서 좀 더 의미있는 결과를 낼 수 있지 않을까하는 작은 바램에서 본 글을 작성해 본다. 물론 아무것도 모르는 초딩도 이해 할 수 있을 수준의 글이니 난 그런거 몰라도 돼라고 생각되는 분들도 한번쯤 읽어 본다면 유익한 글이 되지 않을까 생각되는 닥치고 한번 지루하더라도 읽어보길 권한다.

Benjamin Franklin Award for Open Access in the Life Sciences
Bio-IT World Conference에서는 Benjamin Franklin Award for Open Access in the Life Sciences의 수상식까지 겸하고 있으며, 매년 생명공학 분야에서 Open Access 즉, Open Source Software나 공공DB를 만드는데에 공헌한 분들에게 주어지는 상이다. 이제까지의 수상자를 보면 James Kent, Licoln D. Stein, Ewan Birney(Ensembl, BioPerl), Michael Ashburner(FlyBase), Rovert Gentleman(BioConductor), Philip E. Bourne(PDB), Alex Bateman(Pfam) 등으로 올해 12년도는 SAMtools, BWA, MAQ 등을 만든 (Sanger에서 포닥하면서...) Heng Li로 현재는 Broad에서 David Reich, David Altshuler와 함께 일하고 있다. - 이분들 이름만 들어도 설레네...

수상식 당일 Heng Li의 모습

자 그럼 2009년도 Sanger 시절 발표한 BWA (요즘 제일 잘 나가는 Short Read를 위한 Aligning Software)에 대해서 짧지만 임팩트 있게 살펴보도록 하겠다.

Short Read Alignment using BWA
Sequencing을 나누자면 여러가지로 나눌 수 있겠지만, NGS 전/후 즉, Short Read 이전 시대와 NGS와 Short Read 시대로 나누어 볼 수 있겠다. 그동안의 이분야에서는 BLAST로 대변되는 시대였다면 NGS와 함께 엄청한 Short 다리들이 생산되기 시작하면서 Short 다리를 위한 Aligning Software가 나오기 시작했고 이들을 어느정도 평정한 것이 바로 BWA이다. Burrows-Wheeler Aligner는 이름에서도 알 수 있듯이 버로스와 휠러가 1994년 캘리포니아 건포도를 씹으면서 팔로알토의 DEC Systems Research Center에서 만든 data compression에 사용되는 알고리즘으로 block-sorting compression이라고 불리는 Burrows-Wheeler Transform(BWT)를 기반으로 하고 있다. - 뭐 이런건 몰라도 되지만 이런거 찾는게 더 재미있다. -.-;;

Heng Li 흉아는 숏다리(200bp 이하의)와 롱다리(200bp~100kbp)를 위해 두개의 Software를 친절히도 만들어 하나는 우리가 흔히 부르는 BWA로 알고 있는 BWA와 (-.-;;), BWA-SW라 칭하셨으며, 두 놈다 앞서 언급한 BWT 알고리즘을 기반으로 하고 있다.

BWA는 다시 두개의 part로 나뉘어졌는데 1) bwa aln 과 2) bwa samse/sampe 가 바로 그것이다. 덴장 Align 하는데 무슨 두개의 part로 나누고 지랄이삼이라고 칭얼거릴 수 도 있겠지만은 헹리흉아 나름 깊은 뜻이 있는 것이니 그 깊은 뜻 조금이나마 이해하려면 앞서 계속 걍 넘어가려고 했던 알고리즘 부분을....하지만 난 초간단히 "Align하려고 하는 Reference에 대해서 BWT 알고리즘을 이용해서 색인을 만들고 Suffix Array를 통해서 read들이 Reference에 잘 맞았는지에 대한 suffix array(SA)를 찾게 된다"

즉, bwa aln 과정에서는 SA에 대한 정보만 존재하기 때문에 single read냐 paired read냐에 따라서 bwa samse/sampe 명령을 통해서 실제 genomic상의 위치(coordinates)로 바꾸어 주게 된다. 따라서, sampe 명령을 통해 sam 파일을 생성할 때 "bwa sampe <in.db.fasta> <in1.sai> <in1.fa>"와 같이 reference, fastq, aln의 생성물인 sai를 모두 넣어주는 것이 SA를 genomic coordinates로 바꾸어 주기 위해서 이렇듯 모든 파일을 필요로 하는 것이다.

Paired-End Read에 대한 처리
BWA는 Single-End와 Paired-End에 대해서 각각 처리가 가능하며, Paired-End의 경우 read간의 거리(insert size)를 Library Construction 과정에서 지정하게 된다. nsert size에 대해서 지정을 해주면 좀더 빠르고 accurary하게 alignment를 수행하게 된다.

(1) Maximum distance between paired read (default 500)
paired read에 대해서 최대 insert size를 지정하게 되며, 일반적으로 Illumina의 paried-end의 경우 500정도이기 때문에 default값은 500이 지정된다.

BWA에서의 Gap에 대한 처리하기
기본적으로 BWA는 gap을 지원한다. gap이란 reference에 대해 reads를 align할때 빈 공간(gap)을 인식해서 이를 지원할것이냐는 것인데, 다음과 같은 ref, read가 있다고 할때

(ref) AAGGCCTT
(read) AACCTG

이를 gap을 지원하도록 align을 수행하면,

(ref) AAGGCCTT
(read) AA--CCTG

요렇게 '-'로 표시된 즉, gap을 고려해서 align하게 된다. sequencing에 문제가 있어서 또는 ref와는 달리 sequencing된 sample의 경우 'G'가 deletion되었을 수 도 있기 때문에 이러한 gap을 허용하는 것은 추후 variation calling에 있어서 중요한 역활을 하게 되지만, 이러한 gap을 허용함에 있어서 무조건적인 허용이 아닌 일정한 penalty를 부가하거나 read상에서 무한정 gap을 허용하는 것이 아니라 일정한 갯수의 gap만을 허용한다던지 gap의 크기를 위의 예에서는 1(하나의 염기)로 설정했지만 몇개나 허용할지에 대해서 설정이 가능하다.

(1) Maximum number of gap opens (default 2)
하나의 read에서 gap이 몇번 발생할지에 대한 옵션으로 지정된 값 이상의 gap이 발생한다면 해당 read는 align되지 않는다. 위의 예에서 하나의 read에서 총 gap은 1번 발생.

(2) Maximum gap size
하나의 read에서 gap의 크기까지 허용할 것인가에 대한 옵션 만약 10으로 설정하고, (1)번을 10으로 설정했다고 할 경우 read의 총 length가 90bp일 경우 10x10=100bp의 구멍까지 허용되기 때문에 왠만한 read는 ref에 붙게 되는 동시에 align 시간도 오래 걸리게 될 것이다. 위의 예에서 gap의 size는 2가 되겠다.

(3) Gap penalty (default 11)
각 read가 ref에 align시 mapping quality score를 통해 해당 read가 ref에 얼마나 잘 align된 건지를 표현하게 되며, gap이 많이 발생할 경우 당근 mapping quality score는 낮아져야 한다. 이때 gap이 발생할 경우 이 gap에 대해서 얼만큼의 패널티를 부여할 것인가를 지정한다.

(4) Extension penalty (default 4)
gap의 크기가 커질수록 패널티를 부여하게 되는데, 이에 대한 패널티 값을 설정한다.

BWA Alignment시 mismatches처리하기
(1) Maximun number of read mismatches
Alignment를 수행할때 reference와 다른 서열(아까 gap이 아예 없는 거라면, 이번에는 다른것) mismatches에 대해서 어떻게 처리할 것이냐에 대한 부분이다. 위의 예에서 ref는 'T'이지만 read는 'G'로 서로 사맏디 아니한 경우라 할 수 있겠다.

BWA에서는 이러한 mismatche가 하나의 read내에서 몇개 혹은 read내 몇 %까지 허용할 것인지에 대해서 설정이 가능하며, 양의 정수일때는 갯수를 의미하며 float인 경우는 %를 의미한다. read 하나의 길이가 총 90bp이고 옵션을 0.04로 설정하게 되면 총 3.6개의 mismatches를 허용하게 되는 것이다.

(2) Mismatch penalty
Mismatch도 gap과 마찬가지로 alignment score를 지정할때 감점(Penalty)를 부여하게 된다.

BWA Alignment에서의 Seed 처리
(1) Seed Mismatches
ref에 대해서 read를 align하는데에 전체 read를 사용해서 align하는 경우와 seed를 사용해서 하는 두가지 방법이 있다. seed란 read의 길이보다 작은 read의 일부분을 가지고 ref에 align함으로서 속도면에서 빠른 align을 수행하게 된다. 이렇게 read의 일부분인 seed를 가지고 우선 빠르게 align한 후 seed를 기준으로 확장해 가면서 align을 수행하는데 이 seed(read의 일부분)를 ref에 align할때 몇개까지의 mismatches를 허용해서 align할 것인가를 지정하게 된다. 이부분은 0~3개(기본은 2개정도)가 적당하며, read의 mismatch보다 크게 잡아버리면 이 read의 align은 헛수고가 되는 꼴이 되겠다.

(2) Number of bases in seed region
이건 seed의 길이를 얼마로 지정할지에 대한 부분이며, seed의 길이가 read의 길이와 같거나 혹은 더 큰 값을 설정하게 된다면, seed 옵션을 사용하지 않는다는 것을 의미하게 된다. 일반적으로 short read에서의 seed의 길이는 25~35(기본은 30)으로 주어 align을 수행하게 된다.

BWA 문서에 따르면 70bp의 read에서 32 bp의 seed와 maximum two differences를 2로 설정할 경우 seeding 없이 수행한 BWA에 비해서 2.5x 빠르게 align을 수행한다고 한다.

기타 BWA의 Options
(1) Thread 갯수 (-t)
요즘에는 Multi-Core, Multi-CPU가 대부분으로 BWA는 multi-threading mode를 지원한다. 따라서 하나의 BWA Align 작업시 다수의 Core를 할당해서 좀 더 빠른 align이 가능하도록 할 수 있다.

(2) Illumina 1.3 quality score (-I)
FASTQ 포맷에서 사용하는 Quality값을 표현하는 방법은 다양한데, 이는 이전 블로그 (http://hongiiv.tistory.com/693) 글에서 언급한적이 있으므로 참고하기 바란다. 현재 대부분의 데이터는 Sanger (Phred+33, fastq-sanger, sanger) 포맷을 사용하는데 예전 Illumnina 데이터의 경우 Illumina 1.3+ (Phred+64, fastq-illumina) 포맷을 사용하는데 이때 사용하는 옵션이다.

(3) 특정 read group 지정 (-r)
samse/sampe 과정에서 특정 read group을 지정할 수 있도록 한다. '@RG\tID:foo\tSM:bar'의 형태로 read group을 지정해준다. GATK와 samtools의 경우 이 read group이 지정되지 않은 경우 실행되지 않는 경우가 종종 발생하기도 하기 때문에 read group을 지정해주는 습관이 필요하다.

마지막으로 간단히 BWA 수행에 대해서 정리한다면, ref에 read를 align하는데에 있어서 주어진 길이의 seed를 이용해서 (seed의 mismatches를 허용하는 범위내에서) gap을 고려(gap이 나오는 횟수, 최대길이, 패널티)과 mismatches를 고려하여 read들을 aling하며 이때 align된 read들은 index된 ref의 SA의 값을(SAI포맷) 가지며, 이것은 samse/sampe를 가지고 실제 ref의 위치(coordinate)로 변환 (SAM포맷)되게 된다.

본 내용은 잘못된 부분이 다소 포함되어 있을 수 있으니 이점 고려하기 바라며, 댓글로 언급해준다면 고맙겠습니다.

상용 및 오픈소스를 이용한 NGS 분석 서비스의 Mapping Rate 비교

hongiiv — Thu, 26 Apr 2012 12:31:37 +0900

아래 글에서 언급했던 논문의 서플을 보면 다음과 같이 NGS 분석 서비스를 비교한 테이블이 나온다. 테이블의 첫번째 나오는 것이 논문 저자들이 만든 HugeSeq이라는 파이프라인에 대한 것으로 다음과 같은 항목에 대해서 각각의 서비스들을 비교했다. 크게 항목을 나누자면 웹기반의 서비스와 직접 다운로드해서 설치하는 것으로 나눌 수 있다. 우선 웹 기반의 서비스중 대표격인 DNAnexus는 Align, SNP Call, Indel Call을 지원하지만 아직 SV (Structural Variant) Call은 지원하지 않고 있으며 commercial한 서비스이다. 즉 커머셜하면서 웹 기반으로 제공되는 서비스 중 최고를 달리고 있다.

테이블 1. NGS 데이터 분석 서비스 비교

	Alignment	SNP Calling	Indel Calling	SV Calling	Availablity	Data Size Limit	License	Functional Annotation
HugeSeq	yes	yes	yes	yes	downloadable	no	public open-source	yes
SOAP	yes	yes	yes	yes	downloadbale	no	public open-source	no
GATK	partial	yes	yes	no	downloadbale	no	public open-source	yes
Galaxy	yes	yes	yes	no	web-based downloadable	yes in online version	public open-source	yes
DNAnexus	yes	yes	yes	no	web-based	no	commercial	yes
Spiral Genetics	yes	yes	no	no	web-based	no	commerical	yes

자 그렇다면 HugeSeq과 DNAnexus, Spiral Genetics의 서비스를 각각 이용해서 동일 샘플을 분석한 결과를 한번 살펴보도록 하자. 샘플 데이터는 Illumina HiSeq 2000으로 시퀀싱된 데이터를 사용했으며, 총 read의 갯수는 1,389,159,180 (약 13억개)로 90 bp의 read length / paired-end 로 된 데이터이다.

BWA(HugeSeq)의 경우 Reference에 매핑된 read는 1,297,227,533개로 매핑률은 93.4% 로 이중 paired-end의 쌍을 만족하는 confidently하게 매핑된 것은 92%를 보이고 있다. 이처럼 일반적인 파이프라인(BWA를 사용하는 HugeSeq과 같은 공개툴을 이용한 경우)의 별다른 옵션 없이 수행했을 경우, 매핑률이 가장 높았으며, DNAnexus, Spiral Genetics의 순이다. 매핑률과 발굴된 SNP의 갯수는 별 상관 관계가 없이 DNAnexus가 가장 높고 다음으로 BWA, Spiral Genetics가 그 뒤를 잇고 있다.

테이블 2. 한국인 샘플의 reference 매핑률 (hg19 기준) - Total reads : 1,389,159,180 (694,579,590 x 2)

	Mapping Rate	Properly Mapping	Mapped Reads	SNPs
BWA	93.40%	1,277,997,460	1,297,227,533	3,552,087
DNAnexus	89.77%	1,167,367,656	1,247,083,485	4,073,143
Spiral Genetics	80.02%	1,031,585,051	1,111,657,780	2,923,278

그건 그렇다고 치고... 그렇다면 평균 10% 이상의 read들은 quality도 좋은데 왜 reference genome (hg19)에 매핑되지 않았을까? 돈 많이 들여서 시퀀싱 했는데, 10%는 한번 써보지도 못하고 버리다니, 요즘 다들 한국인 표준레퍼런스/참조레퍼런스를 만든다고들 떠들고 있는데 이걸 이용해서 align을 수행한다면 어떤 결과가 나올까? 1) 한국인 레퍼런스를 사용한다고 매핑률이 올라갈까? 2) 찾은 SNP에는 어떤 차이가 있을까?

현재 한국인에 대해서는 두편의 논문이 발표된 상황으로 각각 한국생명공학연구원의 KOBIC과 서울대학교 GMI에서 나온 결과로, consensus sequence를 fasta 포맷의 데이터로 제공하는 것은 현재 SJK(KOBIC)데이터뿐이므로 이 데이터를 이용하여 alignment를 수행한 후 한국인 SNV 데이터를 몽땅 모아서 발굴한 SNV를 filter out 시켜본다. 물론 이때 dbSNP와 1000 genomes에서 찾은 SNV도 모두 filter out 한다. 왜? 그냥 한번 해보는거다 -.-;;

SJK
ftp://bioftp.org/BiO/Store/Genome/KOREF_KoreanReferenceGenome/fasta/

다운로드된 파일은 각 염색체별로 나누어 압축되어 있기 때문에 하나의 FASTA 포맷의 파일로 만든다. 이때 간단하게 gunzip의 -c 옵션을 통해서 STDOUT으로 압축푼 결과를 출력하면 간단하게 명령어 하나로 끝

gunzip -c chromosome_* > sjk_ref.fa

Reference가 준비되었으면, BWA를 이용할 수 있도록 다음과 같이 reference genome에 대한 index를 생성한다.

bwa index -a bwtsw sjk_ref.fa (생성되는 파일 sjk_ref.fa.bwa, sjk_ref.fa.ann)
samtools faidx sjk.ref.fa (생성되는 파일 sjk_ref.fa.fai)

samtools의 faidx를 레퍼런스에 대한 index가 생성되며 각 컬럼은 contig이름(chr1,chr2...), contig의 길이(즉 염색체의 size), 위치(ref파일에서의 위치, 각라인당 길이, 각라인당 bytes 사이즈를 나타낸다. 이 인덱스 정보를 통해 해당 reference를 빠르게 찾아갈 수 있도록 해준다.

자, 이제 align 수행에는 시간이 좀 걸리니까... 어떠한 결과가 나올지 궁금하겠지만... 다음 블로깅에서 만나자.

하버드와 Broad가 있는 보스턴 캠브리지

hongiiv — Wed, 25 Apr 2012 13:40:19 +0900

삼지창 카페
어제 밤 보스턴에 도착하고 나서는 철저한 숙면을 취한후 아침에 느긋하게 브런치로 호텔 근처의 Newbury가에 있는 Trident Bookseller & Cafe로 향했다. 책과 함께 음식을 파는 곳인데, Newbury는 하인즈컨벤션센터역에서 부터 시내까지 쭉 뻗은 길로서 나름 이동네에서 쇼핑으로 유명한 길거리라고 한다. 에그베네딕트를 주문하고는 처묵처묵,,, 감자는 별로구 커피는 좋았구

계산하기
계산서 달라고 한 후 신용카드를 끼워서 놓으면 가져가서 카드 긁어서 손님용/가게빵용/원래계산서 요렇게 3개를 다시 가져온다. 다시 가게빵용에는 택스 포함한 가격이 나오고 밑에 팁/합계가 공란으로 나온다. 팁란에 팁 적고 합계 적어주고 걍 나온다. 아니 걍 나오라고 했다. 근데 결제는 원래 요금만 나오는데 팁은 언제 결제되지...??? 암튼 걍 나왔다.

브런치를 처묵하고 보스턴 레드삭스의 홈구장인 펜웨이파크로 걸어가기 시작했다. 바람이 좀 심하긴 했지만 날씨는 더없이 좋고 처음보는 풍경이라 신기하기만 했지만, 곧 아무 감흥없어져 버렸다.

신호건너기
이놈의 동네 사람들 신호도 안지키고 대충 차 없으면 건너간다. 대신 차들은 확실하게 선다. 신호등은 흰색일때 건너며 대충 눈치봐서 빨개도 건너간다.

펜웨이 파크, MIT, 하버드
나름 미쿡에서 오랜 역사를 자랑하는 구장인지라 낡었다. 기념품가게에 들려서 이것저것 둘러 보고 하버드 다리를 건너서 MIT와 하버드를 보러 찰스강을 건넜다. 걍 걸었다. 걷다가 건물 들어갔다. 다시 걷다가... 반복... 반복... 이렇게 하다보니 MIT, 하버드 귀경끝. 하버드역에서 늦은 점심 먹구 전철을 타고 다시 숙소로... 보스턴 관광 끝!!

Created with Admarket's flickrSLiDR.

동일 individual의 서로 다른 sample, platform, analysis tool을 사용한 분석

hongiiv — Mon, 16 Apr 2012 11:46:23 +0900

NGS를 수행하는데에 있어서 동일한 사람에 대해서 혈액 vs. 타액, Illumina HiSeq 2000 vs. Complete Genomics, GATK vs. SAMtools 자 이제 각각의 대결?을 한번 훑어 보기로 하자. 물론 정답은 없다. 걍 한번 심심하니까 한번 보는거다.

Performance comparison of whole-genome sequencing platforms.

Lam HY, Clark MJ, Chen R, Chen R, Natsoulis G, O'Huallachain M, Dewey FE, Habegger L, Ashley EA, Gerstein MB, Butte AJ, Ji HP, Snyder M.

Nat Biotechnol. 2011 Dec 18;30(1):78-82. doi: 10.1038/nbt.2065.

PMID:: 22178993; [PubMed - in process]

Related citations

Round 1. 혈액 vs. 타액

피맛을 본 DNA는 침맛을 본 DNA와 차이가 날까? 참고로 23andMe는 침을 가지고 DNA를 추출하며, 캐나다라 오라진(발음 좀 거시기 하네...)이라는 회사는 간단하게 침을 보관하고 DNA를 뽑을 수 있는 키트를 판매하고 있다. Painless라고 선전하지만, 침도 뱉어본 놈이 뱉는다고 저거 채우려면 약각 고생한다... 해봐서 안다...

오라진 킷트 - 침 좀 뱉게 생기셨...

참고로 이건 내 침... 소시적 침 좀 뱉었지 말입니다. 행님...

자 그럼 서론 그런거 빼고 1번 테이블 한번 보자. 피와 침으로 범벅이 된 1번 테이블은 보기가 좀 역겹지만... 그래도 명색이 1번을 차지한 테이블인데 어쩌겠나 짚고 넘어가야지. 다 필요 없고 피는 91%의 매핑률을 보이고 있지만, 침은 86%이다. 더욱이 침은 커버리지가 102로 피의 50에 비하면 커버리지가 훨씬 높지만, 매핑률은 훨씬 떨어진다. -.-;; 커버리지가 높은데 매핑률은 떨어진다.... 고뤠... 뭐 논문을 차근차근 보지 않고 테이블만 본 나로서는 뭐라 말할게 없다. 암튼 피는 침보다 진하다. 피 승리... 이렇게 결론 지어야하는건가??

Round 2. 전쟁의 서막... Complete Genomics vs. Illumina

김연아... 아니 늘근분들을 위하여 카타리나 1번을 보면 read depth가 20이 좀 안되는 지점에서 모두들 95%이상을 커버하고 있는 것을 확인할 수 있다. 또한 일루미나의 초록색 선은 갑자기 하강하는 반면 빨간 CG는 완만한 곡선을 보여주고 있는데, 논문에서는 "The Illumina curve drops to zero coverage at much lower read depth than the CG curve because there are substantially fewer reads in the Illumina data set." 이라고 말하고 있다. 아 저 문장만 보고 이야기 하려니깐... 1번 테이블만 본 나로서는 몰르겠다. 논문 차근차근 봐야하나 부다... 좀있다가 다시...

몇 시간 후...

이 카타니라 1번은 침말고 피만 가지고 본 거다... (-.-;;) 그럴꺼 왜 굳이 피랑 침이랑 범벅을 만들고 그러냐!!! 암튼 피/침 범벅 1번 테이블의 Blood만 본다면 CG는 78X (233Gb), Illumina는 50X (151 Gb)로 일루미나 데이터가 작기 때문에 CG보다 0에 빨리 도착한 거임. 그렇게 중요한 내용은 아니지만, 암튼 두 플랫폼 다 누적된 read depth가 20이면 왠만큼 지놈 다 커버하신다는게 핵심!!

카타리나 1번의 b를 보면 일루미나의 경우 read depth가 50에 못미치는 곳에 집중되어 에베레스트를 형성하고 있다. 즉, 평균 50X로 시퀀싱한 일루미나님은 대부분은 50 미만에 시퀀싱한 데이터가 촘촘히 잘 형성된 반면, 78X의 CG는 펑퍼짐하게 약 50X 정도에 가장 많기는 하지만 일루미나처럼 튀어나오지 않았다. 뭐 나쁜건? 아니지만, CG도 일루미나처럼 평균 coverage 부근을 집중 달성하는 시퀀싱이 필요하다고 할 수 있겠다.

플랫폼 그리고 피와 침 이어지는 이야기

자 요기까지는 별 의미를 두지 말자. 우리에겐 두 플랫폼이 어떻건 결과(SNV Calling)가 중요하니까? 김연아 2를 보면 마치 김연아 선수가 양손을 들고 기뻐하는 모습같지 않은가? 어떻게 이렇게 피겨를 더 이쁘게 만들 수 있단 말인가? 뭐 이것 저것 다 집어치우고 맨 마지막 Validated 행만 보도록 하자 앞서서 이야기 했듯이 우리는 결과만 중시 여기니까! CG는 61.9%, 일루미나는 64.3% 일루미나 이겼다. 훨씬 SNP 잘뽑는다. 물론 두개를 합치면 92.7%가 된다.

좀 길게 정리하면, CG는 이미 알려진 Known이 73% 나블한게 27%로 일루미나가 나블한게 24.6%dp 반해 새로운걸 더 많이 찾아내긴 한다. 근데 생어로 확인하거 보면 94%, 13.3% 아! 일루미나는 15개중 2개만 맞춘 반면 CG는 생어 결과가 18개중 17개가 확인되었다. 그럼 이건 CG에게 손을 들어줘야하는 건가?

아 그만 쓸란다. 처음에는 논문이 A플랫폼 너님 구려 B플랫폼 너님 쵝오 뭐 이런거 기대했지만, 점점 읽어내려갈수록 어느 누구 편을 들기에는 플랫폼 스페시픽 어쩌구 저쩌구. 이건 이렇기 땜에 너가 좀 불리하지... 뭐 이런식으로 해 놓으니 점점 읽기 싫어진다...

어느 누가 논문을 꼼꼼히 다 본단 말이냐, 자 마지막만 살짝 보도록 하자. 논문에서 그런걸 바란 내가 이상... 캬캬캬 적당히 마무리해주는 아름다운 모습... 결론은 니가 뭐 특이한 variant를 찾고자 하는 경우라면 일루미나 플랫폼을 쓰기를 권하겠지만, 그만큼 공갈 variant일 수도 있으니 조심하옵시고, 걍 플랫폼 탓하지 말고 너님 실력을 탓하시오... 뭐 이런거... 귀찮다 두팔 번쩍 공동 승리라고 해두자... 관심있는 분들은 직접 읽어보시길...

새로운 파이프라인 하나 들어 놓으시죠 (1)

hongiiv — Thu, 12 Apr 2012 20:53:52 +0900

NGS 데이터를 가지고 variation을 찾고 annotation하는데 정답이 있을까요? 뭐 굳이 찾는다면 Broad에서 1000 Genomes Project를 하면서 우리 이렇게 했어!!라고 내놓은것쯤 되려나요? 암튼 또하나의 NGS 데이터를 분석하는 파이프라인, 딱풀이 나왔습니다. 왠 딱풀이냐 @.@ 걍 전 딱풀이라고 부르겠습니다. 근데 이딱풀 그저 그런 딱풀인데, 멋지구리하게 포장해놨습니다. 바로 이런 능력이 필요한데 말이죠. 그럼 딱풀 포장 벗겨보겠습니다.

Nat Biotechnol. 2012 Mar 7;30(3):226-9. doi: 10.1038/nbt.2134.

Detecting and annotating genetic variations using the HugeSeq pipeline.

Lam HY, Pan C, Clark MJ, Lacroute P, Chen R, Haraksingh R, O'Huallachain M, Gerstein MB, Kidd JM, Bustamante CD, Snyder M.

Source

1] Department of Genetics, Stanford University, Stanford, California, USA. [2] Personalis, Inc., Palo Alto, California, USA.

요즘 SNP를 찾는데에 있어서 선두 주자는 당연히 GATK(엄밀히 말하자면, GATK의 UnifedGeonyper)와 SMAtools(mpileup과 vcfutils.pl의 조합)겠죠. 자 방법은 간단합니다. 똑같이 샘플을 가지고 두개의 툴을 다 돌립니다. 그런 다음 concordant한 놈을 진짜 리얼스틸 아니 SNP이라고 하는 거죠. 어때요 참 쉽죠. 자 논문의 첫번째를 장식한 테이블 1 입니다. 1번 테이블 맥주 추가요! GATK와 SAMtools는 각각 350~360만개의 SNP을 찾았습니다. 두개를 합치면 380만개 정도 되구요. 이중에 일치하는 놈은 정확히 3,399,561개입니다. 바로 요걸 사용하면 된다는 거죠. 아까도 말했지만, 참 쉽네요...

하지만, 여기서 끝난다면 재미없습니다. 그래서 준비했습니다. 아래 그림은 김연아(피겨) 2가 되겠습니다. GATK만 이용해서 얻은 SNP은 Ti/Tv가 2.07, Sensitivity가 98.9% 되겠습니다. 글고 GATK에서만 찾은 SNP은 Ti와 Tv의 레이쇼가 1.02. 마찬가지로 SAMtools로만 얻은 SNP은 Ti/Tv가 2.10, Sensitivity가 98.5% 포인트 되겠습니다. SAMTools에서만 찾은 SNP은 1.56입니다(각각의 툴에서만 뽑힌 SNP들은 현저하게 Ti와 Tv의 비율이 똑 낮아지는걸 볼 수 있습니다). 하지만 지쟈스!!! 이 두 툴에서 얻는 SNP을 걍 merged하면 sensitivity가 99.4%, 교집합인것은 97.9% 각각의 Ti/Tv는 2.03, 2.15가 되겠습니다. 그럼 난, 양도 많고 sensitivity도 높은 걍 두개를 합친(merge)걸 쓰겠소!!!

급 질문? 근데 Sensitivity는 어떻게 구했냐고 물으신다면... 이분들 Illumina의 Human Omni1Quad genotyping arrary를 써서 약 완밀리언 마커의 SNP을 가지고서 친절하게 확인하셨습니다. 그러면 또 질문을 하겠죠. 각 툴을 이용해서 SNP을 콜!하는것까지는 하겠는데 두 결과 막 합치고 하는건 어떻게 해야할까요? 걱정 마십쇼. 간단한 스크립트를 짜서 리눅스를 설치하고.....(돌 날라온다) 그게 아니고 집에서도 손쉽게 vcftools를 이용해서 merge, intersetions의 작업을 간단한 명령으로 하시면 됩니다.

그럼 다음번에 본 논문에서 제시하는 딱풀(파이프라인)에 대해서 살펴보기로 하고 오늘은 이만... 덜익은 삽겹살을 먹어서 배아프네요.... -.-;; 참 본 논문을 친절히도 셔틀해주신 제 빵셔틀 김모군에게 감사의 말씀 전합니다. 돈 있음 빵사머거 두번머거..

NGS 데이터 분석 관련 세미나

hongiiv — Mon, 27 Feb 2012 17:35:13 +0900

요즘 많은 연구자분들이 genome 관련 데이터를 자신의 연구에 사용하고 계십니다. 이에 따라서 국내에서 많은 교육과정이 생겨나고 꾸준히 진행되고 있습니다. 여기서는 현재 제가 아는 대표적인 과정들을 넣어 놓았으니 참고하시기 바랍니다.

KOBIC 차세대 생명정보 교육 프로그램 (http://education.kobic.re.kr)
KOBIC(국가생명연구자원정보센터)에서는 현재 7회까지 차세대생명정보학 교육이 이루어지고 있는데요. 간간히 NGS 관련 교육이 올라오고 있습니다. 년간 교육계획을 보면 지난해 12월에 이어서 오는 4월에도 NGS 관련 교육이 있을 예정이더군요. WGS (Whole Genome Sequencing), WES (Whole Exome Sequencing), Epi-Genome, RNA-Seq, Small RNA, 미생물 등 다양한 NGS Application의 기본 내용과 실제 분석에 대한 실습으로 강의가 이루어집니다.

동계유전체학회 워크샵 (http://www.kogo.or.kr)
매년 2월에 동계유전학회가 열리는데요. 작년부터 워크샵을 진행하고 있습니다. 작년에는 EBI의 NGS관련 워크샵이 있었구요. 올해도 "NGS data를 이용한 지놈 정보 분석" 워크샵이 진행되었습니다. 제 생각으로 앞으로도 동계유전체학회에서는 생물정보분석교육 워크샵이 매년 이어질듯하네요.

통계유전학 워크샵 (http://www.kogo.or.kr)
매년 여름에 한국유전체학회에서 실시하는 통계유전워크샵(Asian Institute in Statistical Genetics and Genomics)입니다. 여기에서도 작년부터인가 NGS 관련 데이터 분석이 포함되기 시작했습니다.

서울대학교 GDA(Genome Data Analysis) 워크샵
( http://www.snubi.org/workshop/gda2012/index.html )
매년 서울의대정보의학실에서는 유전체데이터를 분석하는 워크샵을 진행하고 있습니다. 금년에도 2월에 열렸구요. 그동안 진행되었던 GDA 관련 실습내용을 담은 책까지 출판되었습니다. 작년에 이어 올해 2회를 맞는 GDA는 아마 내년에도 열리지 않을까 합니다.

상용 서비스 - Samsung SDS, DNAneuxs
지금까지는 정기적으로 열리는 NGS 관련 워크샵이고, 제가 직접 들어본것은 아니지만, 리눅스 기반에서 OpenSource 툴들을 이용해서 분석하는것을 기본으로 하고 있습니다. 하지만, 요즘에는 OpenSource 기반의 Galaxy를 비롯하여 삼성 SDS나 미국의 DNAnexus와 같은 상용 서비스들이 나오기 시작했습니다. 물론 자신이 직접 데이터를 다루는것도 좋겠지만, 그러한 여건이 되지 않는다면 이러한 상용 서비스를 이용해보는것도 좋은 방법일겁니다.

NGS 데이터가 Human Whole Genome을 다루려면 예제로 사용하는 데이터에 비해 크기가 크기 때문에 자료를 핸들링하거나 보관하는데에 어려움이 따르게 되기 때문에 이러한 분석/저장 서비스를 해주는 상용서비스도 고려해볼만 합니다. 개인적으로는 Amazon 기반의 클라우들를 통해 서비스하는 DNAnexus 서비스를 사용해봤는데, 그저 저는 데이터를 올리기만 하면 분석이 끝나고 더욱이 1년동안 자료가 보관되기 때문에 필요할 때마다 접속해서 손쉽게 사용할 수가 있었습니다. (자세한건 나중에 포스팅)

이 DNAnexus 서비스는 국내에서 BMS Korea가 관리하고 있는데요. 금번 3월에 DNAneuxs 사용에 관련한 교육이 BMS에서 열립니다. 관심있는 분들은 한번쯤 들어보시는 좋을듯하네요.

BMS Korea의 DNAnexus 교육 (http://bmskorea.co.kr/)

HP의 퍼블릭 클라우드 잠깐 사용기

hongiiv — Tue, 21 Feb 2012 22:44:02 +0900

얼마전에 HP도 Amazon의 AWS와 같은 퍼블릭 클라우드 서비스를 시작한다는 기사를 보고 Private Beta 테스트 신청을 해놓은것이 얼마전에 승인되어 Access Code를 받았다. HP는 OpenStack을 기반으로 서비스를 구성하고 있으며 컴퓨팅 리소스를 제공하는 "HP Cloud Compute"와 스토리지를 제공하는 "HP Cloud Object Storage"라는 서비스를 각각 제공하고 있다.

HP Cloud Services

현재 Private Beta 시점에서 사용 가능한 상품중 최고 사양은 8 vCore / 32 GB RAM으로 KT의 ucloud biz가 제공하는 12 vCore / 32 GB RAM에 비해 core에서 차이가 난다. 하지만 이는 vCore이기 때문에 실제 두 클라우드 서비스간에 성능은 실제 테스트를 해보지 않는 이상 뭐라 말할 수 없는 상황이다.

HP Cloud가 제공하는 Compute 상품 목록

서비스를 사용하기 위해서는 제일 처음해야 할 일은 바로 지불정보(신용카드)를 입력해야 계정이 활성화된다. 계정이 활성화되고 난 후에는 실제 컴퓨팅 리소스가 생성될 zone을 설정해야 한다. zone이라는 것은 지역적인 분류가 일반적으로 Amazon AWS의 경우 크게 미국, 아시아와 같이 zone이 구분되면 이 zone에 따라 즉 해당 zone의 IDC센터에 위치한 클라우드를 사용하게 되는 것이다. 자신이 아시아에서 사용한다면 아무래도 아시아 zone에 서버를 생성하는게 유리할 수 있겠지만 Amazon의 경우 각 zone마다 제공되는 서비스가 약간의 차이가 있기 때문에 단순히 지역과 가깝다고 해당 zone을 선택할 수 만은 없다.

HP 역시 az-1과 az-2의 2개의 zone을 설정해 놓았는데 정확히 두 zone간의 차이는(지역적인건지 뭔지) 모르겠으나 Private Beta 테스터는 az-1에 인스턴스를 생성하라고 권장하고 있다. 따라서 자신이 생성한 인스턴스가 활성화될 zone을 Activate한다.

"ACTIVATE NOW" 버튼을 클릭하면 해당 zone에서 인스턴스 생성이 가능해지면서 "MANAGE SERVERS"가 활성화 된다

해당 zone에서 Server를 생성하기 위해 MANAGE SERVERS를 클릭하면 아래와 같이 원하는 사양의 서버를 선택한다. Size는 위에서 언급한 사양의 목록이 나타나며, Install Image (OS)를 선택한다. 현재 제공되는 OS는 CentOS, Ubuntu 등이 제공되며 기본적으로 제공되는 Security Group은 80과 22번 포트가 열려있는 "default"가 선택되어 있다. 해당 서버가 생성된 후 ssh로 접속하기 위해서 Key Pair를 생성해야하며 Key Pair를 클릭해서 자신이 사용할 Key를 만든다. 여기서는 BioKey라는 이름으로 생성하였으며, 해당 Key의 내용을 복사해서 BioKey.pem이라는 파일로 저장해서 ssh 접속에 사용한다.

마지막으로는 Instance라는 선택항목이 있는데, KT ucloud에서는 1개의 인스턴스씩 생성할 수 있는데 반해 HP의 경우에는 최대 10개의 인스턴스(서버)를 한번에 생성 가능하다. 선택한 사양의 서버를 한번에 여러대 생성하고자하는 경우 Instance의 갯수를 늘린 후 CREATE 버튼을 클릭한다.

원하는 사양으로 생성된 인스턴스 "i-0000e1a7"

기본으로 제공된 Security Group은 "default"라는 이름으로 tcp 22,80,443과 icmp -1을 열어 놓고 있다

서버에 접속하기 전에 해야 할 일은 바로 생성된 Instance에 공인IP를 부여해야 한다. 기본적으로 클라우드내의 인스턴스끼리 통신이 가능한 Private IP만 설정된 상태이므로 해당 Instance에 접속하기 위해서는 Public IP를 부여해야하며 Instance의 이름 "i-0000e1a7"을 클릭하면 아래와 같이 해당 Instance를 관리할 수 있는 화면이 나오게 되며 "ATTATCH PUBLIC IP"를 선택하여 해당 Instance에 Public IP를 부여한다.

해당 인스턴스명을 클릭하면 콘솔로그, 접속방법, 접속가능한 Public IP, 서버 재시동, 중지의 작업을 수행할 수 있다

해당 인스턴스 생성시 지정한 Key인 "BioKey"를 통해 ssh 접속하는 방법

위와 같이 부여 받은 Key를 가지고 실제 ssh로 접속하면 다음과 같이 접속할 수 있다. 생성한 인스턴스는 총 30GB의 디스크를 제공하는데 os 영역에 할당된 9.8 GB (/dev/vda)외의 나머지 디스크는 /dev/vdb로 지정되어 있으며 fdisk를 통해 파티션을 생성한 후 file system을 생성하여 사용하면 된다.

계정 관리 화면

인스턴스 20개를 띄운 화면으로 인스턴스 생성 버튼을 클릭한 후 몇초안에 해당 인스턴스가 Running 상태로 전환

인스턴스간에는 내부 IP를 통해 접속이 가능하다

마지막으로 해당 컴퓨팅 자원을 management 화면을 통해서 뿐만 아니라, 공개된 API, 각종 언어로 Binding 된 것, 전용 CLI (Command Line Interface)를 통해서도 사용(프로그래밍)이 가능하다. 내부적으로는 KT 클라우드와 마찬가지로 open source인 OpenStack을 기반으로 하고 있지만 서로 약간의 사용하는데 인터페이스가 다르며, 단순히 인터페이스만을 놓고 본다면 KT의 그것보다는 개인적으로 나야 보이며, 인스턴스 생성시의 반응 속도 또한 빠른 속도를 보였다. 개인적으로 인스턴스 생성후 비밀번호가 발송되는 형태의 KT도 Key 방식으로 변환해야 하지 않을까라는 생각을 해본다. 뭐 이것 말고도 많이 있지만....ㅋㅋㅋ

Genome 관련 최신 소식 보기

hongiiv — Tue, 14 Feb 2012 13:39:17 +0900

GenomeWeb 기사는 몇몇 내용을 제외하고는 유료로 기사 읽기가 가능합니다. 가끔 링크를 따라가면 간혹 본문 내용을 읽을 수 있기도 하고,,, 암튼 제목만으로도 충분히 많은 최신의 소식들을 접할 수 있는 있는 곳인데요. 오늘은 이 기사를 꼼수를 이용해서 볼 수 있는 방법을 알려드리려고 합니다.

물론 어떤 불법적인 요소는 없습니다. 1) 읽고 싶은 기사가 있는데 자물쇠 모양의 아이콘이 있다면 우선 기사의 제목을 복사합니다. 2) 구글검색에 해당 기사의 제목으로 검색합니다. 3) 제일 위에 뜨는 검색결과는 분명 genomeweb일겁니다. ~~4) 저장된 페이지를 누르지 않습니다. - 얼마전까지만 하더라도 캐시에 실제 기사내용이 들어있었는데 언제부터인지 안되더라구요~~ 5) 저장된 페이지가 아닌 이페이지 번역하기를 누릅니다. 그러면 실제 기사 내용이 한글로 번역된 기사 전체를 읽을 수 있습니다. 물론 번역한 내용이 애매하죠.. 마우스로 문장에 가져다 대면 원문(영어)이 나옵니다.

어떤가요? 구글신은 짧은 시간에 유료기사를 가져왔고, 우리는 그것을 구글의 번역이라는 꼼수를 이용해서 기사 보기가 가능합니다. 이제 맘 편히 원하는 기사 내용을 마음껏 읽으시기 바랍니다. 언제 또 막힐지는 모르지만...

읽고자하는 기사가 있다면...

제목을 구글 검색한 후 페이지 번역을 누르면

전체 기사 보기가 가능하죠

유전체는 임상으로 가고 있다. 그렇다면...

hongiiv — Tue, 14 Feb 2012 11:39:59 +0900

오늘 GenomeWeb 기사를 보다가 "Life Tech to Partner with Dx Companies on Clinical Use of Ion Torrent"라는 기사를 보았습니다. 여기서 몇개의 단어만 바꾸면 "Genomics to Partner with Hospital on Clinical Use of NGS tech"가 되겠죠. 그렇습니다. 이게 요즘 화두입니다. 그래서 이에 대한 제 생각을 두서없이 한번 적어보려고 합니다. 물론 내용 중에 사실과는 다른 잘못된 부분이 있을수도 있고, 제가 많이 배우지 않아 관점을 벗어나거나 큰 그림을 못 보고 지껄이는걸 수도 있습니다. 그렇다면 과감하게 그냥 넘어가세요. ㅋㅋㅋ

미국: 국가차원

미 국립보건원(NIH)은 $5억를 유전체 시퀀싱에 기반한 진단 및 치료시대에 대한 계획을 준비하고 있으며, 미 국립 유전체 연구소(NHGRI)는 지난해 말 이 기금을 사용하는 4년짜리 세부계획을 발표하였습니다. 물론 이 계획에는 대규모의 유전체 시퀀싱 프로그램이 담겨져 있습니다. NHGRI는 3개의 대규모 시퀀싱 센터에서 이미 진행되고 있는 프로젝트에 이 금액을 우선 배정할 계획이라고 합니다. 이미 이 그룹들은 Human Genome Project나 Cancer Genome Atlas와 같은 프로젝트에도 참여하고 있는 그룹들입니다. 그렇다고 시퀀싱만 수행한다고 다되는 것은 물론 아니죠. 그렇기 때문에 NHGRI는 향후 4년 동안 $2,000를 유전체분석 소프트웨어 개발에도 투자할 예정이며, 이 소프트웨어는 raw sequence data로 부터 임상적으로 유용한 데이터를 얻어내는데에 사용될 소프트웨어입니다.

국내: 국가차원

그럼 국내 사정은 어떨까요? 국내에서는 지경부, 복지부에서 각각 진행하고 있는데요. 지경부는 "차세대 생명정보를 활용한 유전체 연구 및 상용화"라는 이름으로 과제가 진행중에 있습니다. 이 과제는 크게 1)차세대 생명정보 분석을 위한 생물정보학 플랫폼 개발 2)다양한 소프트웨어 개발 3) 생체 정보 발굴 및 유용유전자 검증 기술 개발로 구성되어 있습니다. 이 과제는 대규모의 유전체 시퀀싱 데이터를 생산한다고 할 경우 이를 처리할 수 있는 플랫폼이나 분석을 위한 다양한 소프트웨어와 이를 이용해 실제 유용한 정보를 발굴 검증하는 과제로 비교적 소프트웨어를 개발하고 상용화하는데에 초점이 맞추어 있습니다. 또다른 하나는 복지부의 "차세대 맞춤의료 유전체사업단"에서 진행하고 있는 과제로 중개임상, 약물, 질환센터들에서 암을 비롯한 질환 관련 시퀀싱 데이터를 생산하고 이를 바이오인포매틱스 및 지놈 플랫폼을 통해 수집,분석, 제공하는 것입니다.

두 가지 사업 모두 미국에서 진행하고 사업과 유사한 형태이지만, 미국의 경우 임상이라는 커다란 타이틀이 부각되어 있는 반면, 국내에서는 아직 임상에의 적용이라는 부분이 그리 크게 부각되는 형태는 아니다라는 것이 가장 큰 차이라고 생각되네요. 이 두가지가 하나로 묶여서 돌아간다면 아님 적어도 이 두 과제의 헤더들이 서로 시너지를 위해 의견을 교환한다면 어떨까요? (물론 이야기를 이미 나누었지도 모르지만...) 너가 뭐를 하는지는 모르겠지만 우리 align하는 플랫폼이나 졸라 근사하게 만들어야지… 나도 너가 뭐를 하는지 모르겠다만 데이터나 왕창 쌓아야지… 뭐 이런 늬앙스… 물론 아니겠지요 ^^;; 결과적으로 두 사업이 함께 잘 진행되어 시너지가 창출되고 이를 기반 임상적인 적용을 위한 다양한 제도 및 기술(소프트웨어 포함)이 이루어진다면, 분명 NIH 못지 않은 사업이 될것이라고 생각됩니다. 이제 휴먼게놈 프로젝트가 끝난지 10여년이 흘렀고 그동안 말로만 떠들면 임상에의 적용은 이제 정말 하지 않으면 안되는 상황이 되어버렸습니다. 이 부분에 대해서는 다음에 좀 더 자세히 언급하겠습니다. 물론 임상이 다는 아니지만 말입니다.

국과위에서는 앞으로의 10년을 위한 청사진을 잘 그리고 이에 따라 각 부처의 유전체 관련 사업을 잘 만들고 관리해서 이바닥에 일하는 한사람으로서 자부심과 긍지를 가지고 (물론 돈도 많이 벌고 ^^;;) 일할 수 있도록 해주었으면 하는 바램입니다. 다만 좀 아쉬운 것은 미국의 NIH에 해당하는 국내의 국립보건연구원이나 NHGRI에 해당하는 국립보건연구원 유전체센터입니다. 그동안은 GWAS를 통해 대량의 데이터를 생산하고 이를 연구자들과 공유하여 많은 연구업적을 남겼습니다. 이제 어찌보면 하나의 tool에 지나지 않은 NGS가 세상에 나오면서 많은 부분들에서 변화가 이루어지고 있는 현실입니다.이러한 시대에 국가를 대표하는 유전체관련 부서로서 그에 걸맞는 정책이나 사업을 진행한다면 더 이상 바랄게 없겠지요. 너나나나 다하는 한국인/아시안 게놈 프로젝트를 국가적인 차원에 하나로 잘 엮고 (물론 펀드를 줘야겠쬬 ^^) 이를 확장하는 한편 국제적인 컨소시엄에 참여하는 것 또한 좋은 방향일 듯 합니다. 모두들 국제적인 컨소시엄에 한국은 뭐냐?라고 성토하고 있는 상황에서 1000 genomes project와 같은 프로젝트에 국립보건연구원 혼자 떨렁 들어가는것이 아닌 기존의 각개전투를 벌이고 있는 프로젝트를 잘 활용해서 (미 NIH가 시퀀싱센터들에게 펀드를 주고 데이터를 생산하듯, 혼자 다하려고 하지 말고) 뭔가 만들어내면 좋지 않을까라는 생각을 해봅니다.

미국: 산업계

미국은 현재 경기가 그리 좋지만은 않은 상황으로 얼마전 NIH의 예산 삭감에 따른 NGS 장비 제조업체들의 주가가 하락하는 사태가 벌어지고 있습니다. 그나마 LT는 Ion Torrent라는 비교적 저렴한 BenchTop 장비로 인해 판매량이 증가하긴 했지만 말입니다. 이 장비가 내세우고 있는것은 너무 고가인 NGS 장비(예전의 메인프레임격)를 대중들에게 돌려줬다는 (오늘날의 PC처럼) 평을 받고 있는 제품이기도 함니다. 따라서 이러한 장비 업체들은 궁극적으로 임상분야로의 이동이 이러한 NGS 장비 산업의 성장동력이라는데에 의견을 맞추고 있습니다. 즉 이쪽에 팔아먹을 컨텐츠를 만들어야 살 수 있다고 생각하고 있습니다. 이는 아까 언급한 실제 국가차원의 니즈와 업계의 살길이 잘 맞아 떨어지는 부분입니다. 이미 일루미나는 임상진단 도구로의 사용을 위한 부서를 마련하는가 하면, LT는 제약회사와 임상실험중인 의약품의 개인 반응을 예측 개발등의 다양한 노력을 하고 있는 중입니다. 여기에 덧붙여 로슈는 454를 인수하여 NGS 장비영역에 뛰어 들긴했지만 재미를 보지 못한 상황에서 주가가 떨어진 일루미나에 대해 공개매수 시도를 하고 있기도 합니다. 로슈가 일루미나를 공개매수하게 되면 완벽한 라인업을 갖추게 되지만, 한편으로는 또하나의 454가 되진 않을지… 또다른 한편으로는 이미 제약 및 임상쪽의 풍부한 사업영역을 가진 로슈가 일루미나를 잘 핸들링 하기를 바랄뿐입니다.

국내: 산업계

국외에는 시퀀싱장비업체가 있어서 이런저런 이슈들도 많고 할 이야기도 많은데, 국내 산업계는 대기업을 중심으로 다양한 시도가 이루어지고 있습니다. 가장 먼저 삼성SDS는 지경부의 1과제와 유사한 성격의 NGS 데이터를 분석할 수 있는 플랫폼을 이미 상용화하였습니다. 삼성의 경우 삼성의료원이나 삼성종기원과 잘 협력한다면 임상이나 신약개발에 있어서 genome 데이터를 가장 잘 support할 수 있는 기반을 잘 갖추고 있는셈이 되겠습니다. 현재로서는 이 플랫폼외에는 특별히 다른 정보가 없기 때문에 뭐라 말할거리가 없네요. SKT 또한 발빠르게 이분야에 뛰어들기 시작했는데요. 얼마전에는 서울대병원과 조인트벤처를 만든다는 소식이 들리기도 했습니다. SKT는 임상으로의 적용을 고려했는지 현재 BenchTop NGS 장비를 가지고 다양한 테스트를 진행중인것으로 보입니다. 아마도 추측이지만, SKT는 병원에 장비를 배포하고 이를 이용한 임상 소프트웨어/플랫폼을 구축하여 health care 분야를 선도하려고 하는듯 합니다. 서울대병원의 노하우를 최대한 활용하여 좋은 비즈니스 모델을 만든다면 더이상 바랄게 없겠죠. IBM 또한 국내에서 삼성SDS와 같은 클라우드기반의 분석 플랫폼과 분석할 수 있는 클라우드 컴퓨팅 인프라를 제공하는 비즈니스 모델을 선택했습니다. 하지만, 아직 구체적인 모습은 보이지 않지만, 많은 데이터의 관리/저장 및 분석을 위해서는 컴퓨팅 자원은 필수적이겠죠. 마지막으로 KT는 KPGP프로젝트에 참여하는 등 이리저리 기웃거리고 있는 상황입니다. 이미 KT는 검증된 public cloud 서비스와 cloud 관련 기술을 가지고 있으며, 우선적으로는 아마존의 클라우드를 기반으로 해외에서 많은 유전체 및 Bio 관련 회사들이 서비스를 하듯이 KT 또한 국내외적으로 이러한 Bio관련 업체들이 클라우드를 사용하는데 문제가 없도록 다양하게 노력하고 있는 모습입니다.

이처럼 국내에서는 플랫폼, 임상적용, 클라우드라는 다양한 관점에서 대기업들이 이분야에 뛰어들고 있는 모습을 보여주고 있으며, 모두들 자신의 역량을 최대한 발휘할 수 있는 영역에 각각 집중하고 있는 모습을 보이고 있습니다. 다만 우려되는것이 이것이 정말 국민들의 삶을 윤택하게 할 수 있는… 하나의 유행처럼… 지난 10년의 수고가 헛되지 않길 바랄뿐입니다.

맺는말

유전체는 이제 장비 업체를 비롯한 다양한 업체들이 임상으로의 적용을 위한 준비를 하고 있는 모습입니다. 앞으로 제도적으로 보완해야할 부분도 많고 기술적으로 보완해야할 부분도 많은 그런 분야입니다. 당장에 눈앞에 어떠한 성과가 없다고 실망하지 말고 꾸준히 준비한다면 분명 유전체 분야는 임상을 비롯한 다양한 분야에서 매우 흥미로운 데이터로서 충분한 가치가 있다고 생각됩니다. 요즘 빅데이터라고 해서 뜨고 있는데, 소프트웨어 업체들도 금융/통신 등의 빅데이터뿐만 아니라 Bio분야의 빅데이터에도 관심을 가진다면 분명 좋은 성과가 있을거라 또한 생각됩니다. 개인적으로 넘쳐나오는 데이터가 있고 그 데이터를 만질 수 있다는 자체가 흥분됩니다. 여러분은 어떠신가요?

GIW 2011 / BIOINFO 2011 참가 후기

hongiiv — Thu, 08 Dec 2011 23:11:52 +0900

지난 월요일부터 수요일까지 부산 그랜드 호텔에서 GIW 2011/BIOINFO 211 컨퍼런스가 있었습니다. KT도 약간의 후원하게 되었고, 그에 따라 참가하게 되었습니다. 조만간 KT도 멋진 발표를 할날을 기대하며....ㅋㅋㅋ 간단하게 리뷰에 들어가겠습니다.

행사장 전경

KT도 후원했습니다.!!!

Information-based design of drug repositioning and combiniation
김성훈 교수 (서울대학교 약대)
서울대 김성훈 교수님의 발표로 기존 약물의 새로운 기능을 밝히기 위한 자신의 PharmDB에 대한 설명이 있었습니다.

My Samples, My Study, My Sequencing
김경아 (BMS)
일루미나의 국내 총판을 담당하는 BMS의 발표로 일루미나의 HiSeq이 아닌 작은 크기의 MiSeq에 대한 설명이 있었습니다. 임상 분야에 활용될 수 있다는 내용과 (작은크기로), 또한 별도의 컴퓨팅 인프라 없이 일루미나가 제공하는 Base Cloud를 활용하여 데이터를 저장/분석/관리가 가능하다는 이야기가 있었습니다.

Application of new genome anaysis technology
DNALINK
이종은 사장님 대신 다른 분이 발표를 진행하셨구요, 국내 최초로 DNALINK에 들여오는 Single Molecule 기반의 Pac Bio 제품에 대한 설명이 있었습니다. 기본적으로 6~8 kb(참고로 저희는 일루미나 HiSeq 2000으로 90bp)의 긴 read를 읽을 수 있기 때문에 denovo나 variation을 찾는데 좋다는 설명과 아직까지 긴 read이기 때문에 에러도 좀 있기는 하다는 내용과 ngs과 함께 하이브리드 형태로 사용하면 다양한 분야에서 좋은 결과를 얻을 수 있다. 현재 셋팅되어 테스트 중으로 내년 1월부터 서비스가 가능하다는 내용이었습니다.

DNALINK에 인스톨중인 PacBio RS 장비

IBM Bioinformatics Cloud for Healthcare Industry
문수영 (IBM Korea)
현재 IBM이 글로벌하게 추진하고 있는 클라우드 기반 genome 플랫폼에 대한 설명이 있었습니다. 상품은 Bioinformatics Exchange Cloud로 크게 다음의 3가지로 분류됩니다.

1. private: 기관에 직접 클라우드 인프라와 플랫폼을 제공하는 상품 (IBM은 하드웨어, 클라우드 기술 + genome 플랫폼 모두를 가지고 있기 때문에 가능)
2. hosted: 한국 IBM은 인천 송도에 데이터 센터를 운영하고 있고, 여기에 dedicate(아웃소싱) 형태로 관리해주는 형식의 상품
3. public: DNAnexus나 삼성 SDS와 같이 public하게 사용하는 상품

한국 IBM이 생각하는 주력 상품은 2번 형태로 본사의 주도로 마케팅과 체계가 내려오고, 아직까지는 아니지만 한국 IBM도 Lab 수준의 genome관련 조직을 만들 계획이라고 합니다.

Cancer genomics and epigenomics research on the cloud computing
김선 교수(서울대학교)
얼마전 미국 인디애나 대학교의 교수로 재직하다가 서울대학교로 옮기신 분으로, 미국에서 진행했던 클라우드 기반 암 및 Epigenome 분석 플랫폼에 대한 설명이 있었습니다. 아마존의 EC2 서비스를 이용하여 제공되는 분석 플랫폼(소프트웨어)로 아마존의 이미지(AIM) 형태로 제공하여 쉽게 설치하여 사용 가능하다고 합니다.

Genome-wide map of common and rare variants in Asian population using
massively parallel DNA and RNA sequencing
서정선 교수(서울대학교)
기존에 한국인 whole genome 시퀀싱과 RNA 시퀀싱에 대한 내용이었구요, 뭐 한국인만 가진 유전자 마른귀지, 술먹으면 얼굴벌개지는 유전자 등등 아시아인에서 한중일, 그리고 유럽인에서 다르다 뭐 이런 내용이었습니다.

KISTI
별도의 발표는 없었지만, 지난번 열린 한국 슈퍼컴퓨팅 컨퍼런스에서 발표도 있었고, 이번에 부스 참가 만들었더군요. 3~4년전인가 한창 BioWorks라는 Bioinformatics workflow 관리 도구를 선 보인적이 있는데, 아직까지 꾸준히 이어가고 있었습니다. 예전에는 클러스터 기반이었다면, 이제는 유행에 맞추어 클라우드 기반으로 서비스를 수행하고 있었습니다.

달라진것이라면, 예전에는 KISTI에 별도의 센터로 존재했었지만, 이제는 슈퍼컴퓨팅센터의 하나의 팀으로 존재하고 있더군요. NGS를 비롯한 유전체 연구활성화와 더불어 예전의 영광?을 되찾는 힘을 보여줬으면 하는 바램입니다. 그런데,, BioWorks에 몇년만에 로그인해봤는데,, 제아이디도 그대로 존재하고,,, 서비스도 그대로라는....(실망).... 언뜻 NGS 관련 워크플로우도 작성할 수 있다고 설명했던것 같던데... 제눈엔 옛날 서비스 그대로라는... 제발 좀!!! 분발하셨으면 합니다.

백만년만에 다시 실행해본 Bioworks 옛날 만들어놨던 스크립트도 그대로 ㅋㅋㅋ
http://ccbb.kisti.re.kr/index.php

이상 간단 리뷰였습니다! 혹시나 잘못된 부분 있으면 댓글로 지적 부탁드립니다. 예전에 S모사로부터 잘못을 지적 받은적이 있어서. ㅋㅋㅋ

한국인 공개 데이터에 대한 단상

hongiiv — Sat, 26 Nov 2011 10:18:10 +0900

KPGP 공개 데이터를 가지고 분석하기 전에 그들간의 어떠한 연결 고리가 있는지 확인하는 방법에 대해서 저번 포스팅에서 잠깐 다루었습니다. 실제 모든 KPGP 공개 데이터를 가지고 kinship을 분석해 보니 제가 원하던 결과가 나오지 않아서 현재 좀 의하한 상태입니다.

Genome 연구에서의 데이터 공개의 의미
공개된 genome 데이터는 기본적으로 그들간의 kinship이 있어서는 안됩니다. 아니 있어도 됩니다. 하지만, 혈연관계가 있다면은 마땅히 그 정보 또한 공개되어야 합니다. 그래야만 완벽한 공개 데이터라고 할 수 있습니다.

기본적으로 genome 데이터는 부모에서 자식에게로 유전되는 즉 관계가 있는 데이터입니다. 따라서 자신이 어떠한 연구를 수행하는냐에 따라서 이러한 혈연관계가 있는 데이터를 썼다가 낭패를 볼 수 가 있습니다. 가령 gwas 연구에 있어서는 이러한 혈연관계가 있는 데이터는 제거됩니다. 그 이유는 질병에 관련된 유전자를 찾아야 하는데 자칫 혈연관계가 있는 데이터를 모르고 사용하는 경우 질병관련 유전자가 아닌 그 가족을 다른 가족과 구분짓는 유전자를 찾게 될 수 있기 때문입니다.

따라서, 데이터를 공개한다면 마땅히 혈연 정보 또한 공개되어야 그 데이터를 분석하는 사람들에게 혼란을 주지 않습니다. HapMap이나 1000 genomes 프로젝트를 보더라도 혈연관계가 있는 데이터는 따로 그 내용을 표시해 주고 있습니다.

KPGP 공개 데이터는?
그렇다면 KPGP는 어떨까요? 기본적으로 쌍둥이 2쌍에 대한 정보만 존재합니다. 그렇다면 당연히 연구자들은 그외 사람들은 혈연관계가 없다고 생각하실텐데요. 이거 살짝 분석해 보니 KPGP는 KFGP(Korea Family Genome Project)인듯합니다. (-.-;;) KPGP_00002를 시작으로 12개의 Sample이 서로간에 혈연관계가 있는 것으로 나타났으니 말이죠. 총 49개의 Sample 중 12 Sample이 가족이라니.. 이건 한국인 게놈 프로젝트인지... KPGP_0000X 가족 게놈 프로젝트인지... 좀 헷갈리네요.

아래의 그래프는 서로간의 연관성을 그래프로 표현한 것입니다. 각 원은 Sample을 표시한 것이구요. 원간의 연결선은 kinship이 존재하는 사람들간에 연결한 것입니다. 그리고 선의 굵기는 두 사람이 얼마나 근친관계가 있느냐를 표시한 것입니다.

KPGP_00011과 KPGP_00012를 보면 중간 굵기 인데요. 이건 형제쯤 되는 정도
KPGP_00088과 KPGP_00089(그리고 KPGP_00091과 KPGP_00090)는 엄청 굵은데요. 이건 쌍둥이나 동일인쯤 되는 정도
그외 선들은 부모자식이나 사촌지간들쯤 된다고 보시면 되겠습니다.

그림의 하단 부분을 보면 KPGP_0009(아빠)의 자식 2명 KPGP_00011과 KPGP_00012가 있습니다. 그리고 그하단에는 KPGP_00010이라는 엄마가 존재한다고 볼 수 있습니다.

제대로 된 데이터 공개를 생각하자
지금까지 Genome 연구에서 한국은 괄목할만한 성과를 거두고 있습니다. 그러나 이러한 성과는 어찌보면 어느 몇몇 그룹에만 국한된 그런 성과입니다. 외국의 경우 데이터를 수집하고, 또한 공개를 통해 또 다른 연구들이 활발하게 이루어지고 있습니다. 연구의 생태계가 조성되어 있는 것이죠.

1000 genomes 프로젝트는 단순히 NGS raw 데이터나 발굴한 유전변이 뿐만 아니라, 연구자들이 활용할 수 있는 다양한 2차3차 데이터와 브라우저 등이 함께 제공됩니다. 물론 그 데이터들은 어떻게 만들어졌는지 등등 예를 들자면, 1000 genomes의 경우 모든 샘플의 유전변이는 하나의 vcf 포맷으로 제공되어 손쉽게 분석이 가능한데, 저는 KPGP 데이터로 저 그래프를 그리느라 각각 개인의 데이터를 merge하는 등의 삽질을 했죠. 너무 큰 걸 바라는 건 아니지만... 그래도... 좀....

하지만, 국내는 굵직굵직한 공개 프로젝트에 한국인 데이터를 제공하는 것 조차 제대로 이루어지지 않고 있는 상황입니다. 그런 의미에서 KPGP는 정말 훌륭한 프로젝트입니다. 하지만, 단순한 데이터 공개가 아닌 실제 연구자들이 연구를 수행할 수 있는 제대로된 데이터가 아닌 환경을 제공했으면 하는 바램입니다. 안그랬다가는 좋은 일을 하면서도 욕을 먹을 수 있는게 이바닥 아닐까요? ㅎㅎㅎ

잃어버린 부모 찾기 - VCF 파일을 PLINK 포맷으로 변경하기

hongiiv — Tue, 22 Nov 2011 18:12:53 +0900

즐거운 분석 놀이 - 역시나 제일 재미있는 것은 뭐랄까? 데이터를 분석하고 거기에서 의미를 찾아내는 것이 아닐까? ^_____________^ 마치 보물찾기와 같은...그럼 오늘은 저번 galaxy를 이용한 분석의 연장선상으로 발굴한 유전변이를 가지고 다양한 분석을 해보도록 하겠습니다.

그런데 안타깝게도 오늘 사용할 주재료인 VCF 파일은 galaxy에서 아직 지원을 안하고 있습니다. VCF (Variant Call Format)는 유전변이를 나타내는 표준 파일 형식인데요. NGS를 통해 발굴된 유전변이를 VCF 포맷으로 만들어야 하건만, 이때 Picard나 GATK와 같은 툴들이 사용되는데, 아직 galaxy에서는 이 툴들을 지원하지 않고 있습니다. 뭐 조만간 지원할 것이라고 보는데요. 그건 테스트 galaxy 서버에는 해당 툴들이 있기 때문입니다. 그러니까 곧 정식 galaxy에도 도입된다는 이야기가 되겠죠. 암튼 NGS를 통해 나온 유전변이를 VCF 포맷의 파일로 만들었다고 가정하고 진행하도록 하겠습니다.

한국인 데이터가 없다구요?!!
현재 국내에서 가장 많은 한국인 NGS 데이터를 공개하고 있는 곳은 KPGP(Korean Personal Genome Project)입니다. 이 프로젝트에서는 현재 42명의 한국인 데이터를 공개하고 있습니다.

	남	여	합
한국인	20	16	36
한국인 혼혈 (East Asian/Caucasian)	2	0	2
한국인 일란성 쌍둥이	0	2	2
한국인 이란성 쌍둥이	2	0	2
합계	24	18	42

일란성 쌍둥이 데이터 다운로드
KPGP 데이터는 opengenome.net 을 통해 다운로드가 가능하며, 공개되는 데이터는 FASTQ 포맷의 raw data, BAM 포맷의 mapping 데이터, 각종 유전변이 데이터가 존재합니다. 여기서는 VCF 포맷의 SNV 데이터를 다운로드 하도록 하겠습니다. gzip으로 압축된 형태로 약 80 MB의 용량 (압축 해제시 약 400 MB)을 차지합니다. KPGP 웹 페이지를 보시면 일란성 쌍둥이 (Monozygotic Twin) 샘플이 있습니다. 일란성 쌍둥이의 경우 SNV 데이터는 정확히 일치한다고 알려져 있습니다. 물론 그래야만 하구요 ^^;; KPGP_00088, KPGP_00089가 일란성 쌍둥이 샘플명입니다. 각각을 클릭하여 SNV 데이터를 다운로드 합니다.

VCF 파일을 PLINK 포맷으로 변경하기
다양한 genome 분석을 위해서는 VCF 포맷의 데이터를 PLINK 포맷으로 변경해야 합니다. 이때 사용되는 툴이 VCFTools 입니다. VCFTools의 기능 중에는 PLINK에서 사용 가능한 PED, MAP 파일로 변경해주는 옵션이 있습니다.

$ vcftools --vcf KPGP89_G_110915_HiSeq_EastAsian_Kor_F.vcf.SNV --plink

이렇게 명령을 주면, out.map 파일과 out.ped 파일이 생성됩니다. 그럼 이 파일을 PLINK를 이용하여 Binary 형태로 변경합니다. 그런데 주의하셔야 할것은 기본적으로 KPGP에서 생성한 VCF 파일에는 염색체를 나타내는 첫번째 컬럼이 "chr1"과 같이 chr이라는 접두사가 붙습니다. 이렇게 되면 PLINK에서 인식하지 못하기 때문에 그냥 "1"이라고 변경해주어야 합니다. vi 등에서 문자열 치환을 통해 "chr"을 모두 삭제합니다. 또 하나 주의하여야 할것이 있는데요. KPGP의 VCF 포맷에는 ID 즉 해당 변이의 식별자에 해당하는 세번째 컬럼 또한 모두 "."으로 되어 있습니다. 이 부분 또한 임의의 ID를 부여해야합니다. 저는 "염색체_포지션" 즉 "chr1_112000"의 형태로 임의의 ID를 부여했습니다. 이상의 두 가지에 대해서 변경을 하신 후에 VCFtools를 이용하여 PLINK포맷으로 변경합니다.

$ plink --file out --make-bed --out KPGP_89

위의 명령을 실행하면, out.map과 out.ped 파일은 KPGP_89.bed, KPGP_89.bim, KPGP.fam의 세개의 파일로 변경됩니다. 이 과정을 두 쌍둥이에 대해서 각각 수행합니다. 이제는 각각의 PLINK 파일을 병합합니다.

$ plink --bfile KPGP_89 --bmerge KPGP_88.bed KPGP_88.bim KPGP_88.fam --make-bed --out TWINS

그럼 TWINS.bed, TWINS.bim, TWINS.fam 파일에 두명의 쌍둥이 데이터가 들어가게 됩니다. 이러한 방법으로 VCF파일을 PLINK로 변환하여 association 분석 등을 수행할 수 있습니다.

혈연관계 분석하기
그럼 과연 이 쌍둥이 데이터가 정말 혈연관계가 있는건지 확인해 보도록 하겠습니다. PLINK에서는 IBS를 이용하여 혈연관계를 분석할 수 있습니다만, 여기서는 KING(Kinship-based INference for Gwas) 이라는 프로그램으로 혈연관계를 분석하도록 하겠습니다. KING은 pairwise로 사람들간의 혈연지수 (kinship coefficient)를 계산해줍니다. kinship coefficient는 다음과 같습니다.

Relationship	Kinship cofficient	Coeffcient of relatedness
자기자신과 비교, SELF	0.5	1.0
일란성 쌍둥이, Monozygotic twins	0.5	1.0
부모-자식, Parent-child	0.25	0.5
친형제, Full siblings	0.25	0.5
배다른 형제, Half siblings	0.125	0.25
친사촌, First cousins	0.0625	0.125
관계없음, Unrelated	0	0

$ king -b TWINS.bed --kinship

위의 결과로 king.kin0 파일이 생성되며 여기에 비교하고자 하는 샘플들간의 Kinship cofficient가 있습니다. 아래와 같이 두 쌍둥이간에 0.4988이 나온것을 확인하실 수 있는데요. 바로 일란성 쌍둥이이거나 혹은 같은 사람이라는 것을 의미합니다.

가족 찾기 문제
자 이제 문제 갑니다. 아까 말한 OPEN KPGP의 공개된 42명의 데이터에는 서로 가족인 사람이 있습니다. 부모와 자식2이 있습니다. 한번 분석해 보시면 간단하게 어떠한 샘플들이 서로 혈연 관계인지를 확인하 실 수 있을 겁니다. 힌트 나갑니다. 부(KPGP_00009) 모(KPGP_00010) 입니다. 자 그럼 여러분들이 잃어버린 자식을 한번 찾아 주시기 바랍니다. ^________________^

덧) KPGP 데이터를 다운로드 하실경우 olleh ucloud라고 되어 있는 곳의 RAW DATA를 다운로드 하실 경우 클라우드를 통해 빠르게 다운로드 하실 수 있습니다. 현재 KPGP데이터는 일반 FTP와 클라우드에 나뉘어 제공되니 참고 하시기 바랍니다.

Galaxy를 이용한 NGS 분석 (2) - Mapping & SNP calling

hongiiv — Sun, 20 Nov 2011 23:34:41 +0900

Galaxy를 이용한 NGS 데이터 분석에 대한 두번째 시간이자 마지막입니다. ^^;; 본 문서는 크게 3부분으로 구성되어 있습니다. 다음 시간에는 Galaxy를 비롯한 OpenSource 진영과 상용 분석툴에 대한 내용과 실제 Whole genome 데이터를 다룰때 고려해야 할 점과 좀 더 자세한 분석 옵션과 고려할 사항들에 대해서 이야기 해보도록 하겠습니다.

당장 나에게 NGS 데이터 분석이 필요없다고 하시는 분들도 한번쯤은 읽어보시고, 어떻게 데이터 분석이 진행되는지 한번 살펴보는 것도 좋을 듯 합니다. 그럼 즐거운 주말 보내세요 ^_________________^;; 혹시 잘못된 부분이나 추가할 부분이 있으시다면 댓글 부탁드립니다.

>> Galaxy를 이용한 NGS 분석 PDF 파일 다운로드하기<<

Analysis 1 : NGS Quality Control

QC 과정은 다음의 총 12 단계로 진행되며, 각 단계마다의 의미와 분석방법, 결과해석 및 NGS 분석외의 타 galaxy의 유용한 기능에 대해서 설명될 것입니다.

1. fastq 데이터를 galaxy에 로드하고 업로드된 데이터에 대한 파일 속성 설정

2. SangerFASTQ 포맷으로 변경

3. Read로 부터 quality 관련 통계 수치 계산

4. Quality 수치를 boxplot으로 그리기

5. 각 read의 첫 60bp만 남기고 시퀀스 데이터 trimming하기

6. Quality score가 <20인 position에 대해서 “N”으로 마킹하기

7. Quality score를 가지고 trimming하기

8. 첫 2,500개의 read 시퀀스와 quality 정보만 추출하여 새로운 데이터셋 만들기

9. 새로운 데이터셋을 FASTA 포맷으로 변경하기

10. 60bp로 trimming 된 각 시퀀스 read 데이터 검증하기

11. 새로운 데이터셋을 Tabular 포맷으로 변경하기

12. 시퀀스 read의 길이가 60인지 데이터셋 확인하기

Analysis 2 : NGS SE(Single End) Mapping

이번에는 Analysis 1에서 QC 과정을 거친 read를 Human genome에 Mapping 해보도록 하겠습니다. 이전과 마찬가지로 각 단계마다의 의미와 분석방법, 결과해석 및 NGS 분석외의 타 galaxy의 유용한 기능에 대해서 설명될 것입니다. 본 과정은 다음과 같이 7단계로 구성되어 있습니다.

1. Sanger 포맷의 fastq 파일을 업로드하고 파일 속성을 설정

2. Bowtie와 BWA를 이용하여 reference human genome (hg18)에 mapping

3. SAM 포맷의 파일에서 mapping 되지 않은 reads를 제거

4. Chromosome별로 mapping된 read의 분포 보기

5. 가장 많이 mapping된 chromosome 별로 sorting하기

6. SAM 포맷을 BAM 포맷을 변환하기

7. Samtools를 이용하여 flagstat을 통해 일반적인 통계정보 얻기

Analysis 3 : SNP Calling

Analysis 1,2를 통해 생성된 BAM 파일에는 NGS reads가 reference genome에 매핑된 결과가 들어있습니다. 이제 BAM 파일을 가지고 variation을 찾고 이를 이용하여 다양한 분석을 수행하는 방법에 대해서 알아 보도록 하겠습니다.

1. Pileup file 만들기

2. Pileup file sort를 통한 가장 많이 mapping된 부분 찾기

3. SNPs을 발굴을 위한 Pileup file 필터링하기

4. Pileup 파일을 genomic interval 포맷으로 변경하기

5. UCSC로 부터 dbSNP 데이터 가져오기

6. SNP annotation

Galaxy를 이용한 NGS 분석 (1) - Read data QC

hongiiv — Thu, 17 Nov 2011 17:54:34 +0900

Galaxy를 이용한 NGS 분석 첫번째 - Read 데이터 QC 입니다. pdf로 제작 배포합니다. 다운로드는 여기를 클릭

Day4 - 보다 자세한 Ancestry 정보

hongiiv — Tue, 01 Nov 2011 11:37:06 +0900

Day3에 이어서 Interpretome을 이용하여 자신의 genome을 분석하는 시간이다. 이번에는 Clinical과 Ancestry 기능으로 우선 Ancestry 기능을 위주로 살펴보도록하겠다.

Ancestry
Ancestry는 Similarity, PCA, Painting의 메뉴로 구성되어 자신의 genome 데이터를 가지고 다양한 방법을 통해 자신의 조상 정보를 표시해 준다. 그럼 하나씩 하나씩 어떠한 원리로 자신의 genome 정보를 표시하는지 간단한 이론과 함께 살펴보도록 하자.

Similarity
인간은 누구가 부모에게서 하나씩 받은 총 23개의 염색체로 구성되어 있다. 물론 어떤게 아버지에게 어머니에게 받은 건지는 확실하게 알 수는 없다. 이 부분에 대해서는 이전 글에서 언급했었으니 참고하기 바란다.

사람들은 저마다 다른 유전정보를 지니고 있고 개인마다 모두 다른 정보를 가지고 있지만, 그차이는 전체 30억이라는 염기서열에서 극히 일부분에 지나지 않는다. 인간과 침팬치와 98.8% 유사하니까 말이다. 하지만 아무리 98.8%라고 하더라도 갯수로 따지면 3천6백만개에 이른다.

Similarity는 특정 영역의 genome에서 비교하고자하는 사람들끼리 얼마나 같은 유전형을 가지는지 갯수를 세어 비교하여 타인과 얼마나 유사한지를 보여주게 된다. 아까 침팬치와는 98.8% 일치한다고 했었는데, 사람과 사람사이는 99.97% 유사하다고 알려져 있다. 즉 나와 타인은 0.03%의 차이 (약 9십만개의 염기)로 인해 구별된다고 할 수 있다.

단순히 다른것의 갯수라고 했지만, 아까도 이야기 했듯이 인간의 염색체는 부/모에게 하나씩 물려 받았고 이를 대립유전자라고 한다. 즉 Allele가 2개의 형태로, 흔히 Genotype이라고 AA/AB/BB의 3가지 형태로 표시한다. 따라서 어느 한 부분에서 타인과 나를 비교할때 정확히 일치 AA(나) / AA(타인)하는 경우(2점 획득), 하나만 일치하는 경우 AA(나)/AA or AB(타인)인 경우 (1점 획득) 마지막은 서로 완전히 다른 AA(나)/BB(타인) 경우 (0점)로 이 점수로 서로 다른 갯수(정확히 말하면 갯수는 아니죠 ^^)를 나타내게 되며 이를 IBS라고 한다.

그렇다고 30억개의 모든 염기서열의 IBS값을 구해서 서로 얼마나 유사한지를 계산하는 것은 비효율적이기 때문에 사람마다 평균적으로 다른 부분이 많은 부분(Block)을 뽑아서 그 부분에 대한 IBS값을 구하게 되면 30억개를 모두 비교하는 것보다 훨씬 효율적이고 정확하게 유사성을 판별할 수 있다.

Interpretome은 1,000개, 10,000개, 100,000개의 SNP만을 비교해서 서로간의 유사성을 판단하게 된다. 각각의 SNP 세트는 아까말한 Block내의 대표적인 SNP을 뽑은 것으로 이세트에서는 1,000개 보다는 100,000개로 비교하는 것이 서로간의 유사성을 판단하는데 좀 더 정확한 값이라고 할 수 일겠다. Interpretome은 6명의 공개된 사람들 vs. 나를 비교해서 살펴 볼 수 있다. 다른 사람들과 유독 유사한 분이 계신데... 찾아보니 나와 제일 유사하게 나온 Stuart는 본명이 Stuart Kim으로 동양사람 이었다.

1,000개의 SNP를 가지고 비교한 결과 난 87.738%로 Stuart와 제일 유사

PCA
유사성이 개인간에 같은 genome 정보를 얼마나 공유하는지를 보는 것이었다면, PCA는 각 인종을 대표하는 Reference Panel을 X,Y의 2차원적인 그래프에 표시하는 방법이다. 여기에서도 IBS값을 사용하며, 각 사람들의 IBS값을 대표하는 값을 추출하게 된다. 이렇게 다양한 차원의 값(IBS)을 차원축소를 수행하는데, 대표적인 방법이 PCA라는 방법이다. 즉 (1,2,2,3........3) -> (X,Y,Z)의 형태로 왼쪽의 다양한 값을 오른쪽의 X(PC1),Y(PC2),Z(PC3)처럼 간단하게 만드는 것이다. X(PC1)는 왼쪽의 값들을 가장 많이 대표할 수 있는 값이며, Y(PC2)는 그 다음 ... 그중에서 X,Y의 두개의 값을 통해 2차원적으로 표시하는 것이다.

HGDP, HapMap은 각 인종의 데이터를 모아 놓은 Reference Panel로 기존에 알려진 이러한 Reference내에서 자신의 위치를 표시해준다

빨간색점이 자신의 위치로 East Asian들 사이에 있는 것을 확인할 수 있다. PC1의 값이 약 -7로 수많은 자신의 genotype 데이터를 설명하는데에 PC1의 대표성은 5.45%, PC2의 대표성은 3.88%이다.

X,Y축을 PC1,PC2,PC3 등으로 변경해 보면서 또는 Reference Panel을 다양하게 변경해보면서 자신의 위치를 확인해 볼 수 있으며, 3차원적으로 표시해서 보면 좀 더 분명하게 자신의 위치를 확인 가능하다.

Ancestry Painting
마지막은 각 염색체별로 Ancestry 정보를 색칠해주는 것으로, 염색체를 작은 Block으로 나누어 해당 Block이 어느 인종과 유사한지를 확인해서 painting해주는 것이다. 각 인종이 염색체의 어느 한부분이 평균적으로 아프리카인의 경우 "AAAAAA", 아시아인은 "AAABBB", 유럽인은 "BBBBBB"이라고 할 경우 자신이 그 Block이 "AABBBB"라면 아시아인과 가장 유사하기 때문에 그 부분을 아시아인의 색인 초록색으로 표시하는 것이다. Block의 크기를 작게하면 할 수록 좀 더 세밀하게 분석되어진 모습을 볼 수 있겠지만, Block이 작을수록 노이즈가 섞일 가능성이 많아지게 된다.

전체적으로 난 CHB+JPT(중국인+일본인)

이상으로 자신의 인종적인 정보를 다양한 방법으로 살펴보았다. 보시면서 느끼겠지만 Reference 인종에 대한 자세한 정보가 존재할 수록 좀 더 자신의 유전정보를 확실하게 알 수 있다. 하지만, 아쉽게도 이러한 Reference로 많이 사용되는 HapMap이나 HGDP 등의 프로젝트에 한국인은 누락되어 있기 때문에 좀 아쉬면이 있기는 하다.

Day3 - 네안데르탈인과 나의 Genome 비교

hongiiv — Tue, 01 Nov 2011 03:24:15 +0900

데이터도 얻었고 public domain에 등록도 해보았다. 그렇다면 이제부터 내 Genome을 내스스로 한번 분석해 보도록하자. 하지만 이미 많은 연구자들이 personal genome 데이터를 해석해주는 다양한 툴들을 만들어 놓았으니 우선 이것들을 활용해서 분석하는 것 부터 시작해보도록 하자.

Interpretome
Interpretome은 웹기반의 툴로서 스탠포드 대학의 유전학 강의를 듣는 학생들이 만든 것이다. Genome 데이터로부터 할 수 있는 다양한 분석을 웹상에 구현해 놓았으니 당신은 클릭만 하면 된다. 자신의 23andMe 포맷의 데이터를 업로드하면 서버상에서 분석해서 그 결과를 보여준다.

Interpretome을 사용하기 위해서는 우선 23andMe 파일을 선택한 후 자신의 인종을 선택하는 작업이 선행되어야 한다.

Lookup
자신이 가진 SNP 리스트를 찾아주며, 보고자하는 SNP이 없다면 imputation을 통해 통계적으로 Reference 데이터를 기반으로 없는 SNP의 genotype을 추정해서 알려준다. rs3751813는 23andMe를 서비스를 받은 사용자에게는 없는 SNP이지만, 주변에 존재하는 rs9941349의 genotype과 HapMap에 이미 존재하는 다른 사람들의 rs9941349 genotype 정보를 기반으로 자신의 genotype을 추정하여 보여준다. 물론 imputation을 하기 위해서는 Reference가 되는 즉 알고자하는 SNP의 다른 사람들의 genotype 정보가 있어야 가능하기 때문에 자신이 원하는 모든 SNP이 나오는 것은 아니다.

새로운 phenotype과 연관된 SNP이 논문으로 나왔는데, 자신의 genome 정보에 없다면 lookup 기능을 사용하여 추정된 genotype을 활용해보면 유용할것이다. genomesunzipped에서도 알츠하이머에 관련된 SNP이 23andMe에는 없기 때문에 이러한 imputation을 통해 추정된 genotype을 통해 분석을 수행하기도 했다.

rs3571813은 GG가 나왔는데, 이는 상관관계가(R2=0.723) 높은 주변의 rs9941349를 기반으로 추정(imputed from)된 결과

Explore
논문으로 발표된 다양한 내용을 기반으로 여러가지 분석을 자신의 데이터를 가지고 수행해볼 수 있다. 그중에서 네안데르탈인과의 비교를 수행하는 부분으로 최근에 발표된 논문에 의하면 아프리카인을 제외한 유럽과 아시아인의 일부가 네안데르탈인과 이종교배를 통해 일부 유전정보가 남아있다는 논문이다. 이 논문을 근거로 하여 자신의 얼마나 네안드탈인의 유전정보를 지니고 있는지를 보여준다.

Choose an existing exercise에서 Neandertal을 선택하면 네안데르탈인이 지닌 유전정보와 내 정보가 얼마나 일치하는지를 보여주는데, 총 84개의 allele 중에 6개의 allele가 네안데르탈인으로부터 유래된 것이다. 논문에 따르면 일찍이 아프리카를 떠난 호모사피엔스중 일부 유럽과 아시안인들이 네안데르탈인과 응응한 결과 네안데르탈인의 유전정보가 현재까지 내려온다는 것인데, 이러한 네안데르탈인의 allele는 아프리카인들에게서는 볼 수 없다고 한다. 나도 비록 84개중 6개 이지만, 우리 할아버지의 할아버지....는 네안데르탈인이 ㅋㅋㅋ

네안데르탈인과의 비교

이렇게 Explore는 키, 노화 등등 다양한 정보를 직접 해 볼 수 있도록 해 놓았다. 또 하나 흥미로운 것은 각 인종에서 서로 뚜렷하게 대립되는 allele가 있는데, Ancestry SNP을 선택하면 European, Asian 고유의 SNP을 자신의 SNP과 함께 보여준다. 총 20개의 SNP이 모두 Asian을 가르키고 있다.

European과 East Asian 사이에 확연하게 구분하는 allele

다음에는 계속해서 Clincal 정보와 Ancestry 정보를 보다 다양한 방법으로 시각화해서 보여주는 Interpretome의 기능에 대해서 이야기하기로 하고 오늘은 여기까지...

Day2 - 내 데이터 공개하기

hongiiv — Mon, 31 Oct 2011 17:06:33 +0900

자신의 genotype 데이터가 준비되었고, 또한 DTC 회사에서 제공하는 정보외에 다양한 정보를 얻기를 원할 것이다. 이러한 정보들을 얻기 이전에 과학계의 발전을 위해서 내 데이터가 쓰여지길 원하고 더불어 몇몇 유용한 정보를 더 얻기를 원한다면 다음의 서비스들은 당신에게 커다란 보람을 줄것이다.

openSNP
openSNP은 최근에 만들어진 사이트로 자신의 결과를 다른사람들과 공유할 수 있도록 만들어진 웹 기반 시스템이다. 23andMe나 deCOMEme 사용들은 자신의 raw data를 업로드하고 다양한 방법으로 확인할 수 있다.

Phenotypes
머리카락색, 눈색 등의 이미 다른 사용자가 만들어진 phenotype 정보에 자신의 phenotype을 적거나, 없는 phenotype의 경우 자신이 직접 질문을 작성할 수 있다. 이렇게 작성된 결과는 phenotype별로 genotype 정보를 다운로드 가능하다. 즉 빨간색? 눈을 가진 사람들만 따로 genotype 파일을 다운로드 할 수 있도록 해준다.

자신의 Eye color에 대한 설문이 가능하며, 각 phenotype별로 다운로드 가능

SNPs
사용자들이 업로드한 SNP들을 Ranking하여 순위가 높으순으로 나열하여 보여주며, 이때 Ranking은 해당 SNP이 현재까지 얼마나 많은 정보(annotation)을 포함하는지에 따라서 매겨진다. 원하는 SNP을 클릭하면 해당 SNP의 SNPedia, PLoS, Mendeley의 정보를 함께 보여준다.

rs9939609에 대한 정보, 자신의 genotype 사용자별 Genotype/Allele Frequency 정보와 함께 부가정보를 표시
해당 SNP은 제2형당뇨와 연관된 SNP으로 대부분 사용자들이 T allele를 보유 A allele보유자는 당뇨에 위험이 큼

Mendeley와 PLoS의 경우 API를 통해 해당 SNP과 관련된 논문들을 자동으로 추출하여 출력

Users
각 사용자의 정보를 열람 가능하며, 사용자가 설문에 응답한 내용이나 genotype 정보를 제공한 사람의 경우 해당 genotype 데이터를 다운로드 할 수 있는 링크를 제공한다. phenotype 정보에 대답한 만큼 별모양의 뱃지를 받는다. 또는 새로운 질문을 생성한 경우도 뱃지를 받으며, 해당 뱃지는 사용자 사진 옆에 위치한다.

Variation은 설문에 응답한 자신의 phenotype 정보가 보여진다.

과감하게 Upload
자신의 유전정보가 공개되는 것에 대해서 충분한 생각을 거치고 공개하기로 결정했다면, openSNP은 아주 흥미로운 공개장소 중 하나일 것이다. 좀 더 많은 사람들이 모인다면 GWAS도 가능할 만큼의 데이터가 되지 않을까 생각해본다. 23andMe가 그랬던것처럼 조만간 OpenSNP의 데이터를 기반으로한 진정한 사용자 참여의 논문을 기대해 본다.

DNAnexus 서비스를 통해 보는 Genome 연구의 패러다임 변화

hongiiv — Sun, 30 Oct 2011 01:16:27 +0900

현재 과학과뿐만 아니라 타 분야 특히 통신분야를 포함한 다양한 분야에서의 관심사 중의 하나는 Big Data이다. 이러한 Big Data는 더이상 연구소에 보유한 컴퓨팅의 한계를 뛰어넘는 (당신이 Broad나 Sanger에서 연구를 하지 않는 이상...) 그래서 요즘 화두는 이러한 Big Data를 다루는데에 있어서 Cloud 컴퓨팅은 그 대안으로 떠오르고 있으며, Cloud의 활용 분야에 대한 기사를 보더라도 호스팅 서비스가 16% 정도임에 비해 HPC (High Performance Computing)가 27%로 나타나고 있다.

Cloud Computing USE CASES

실제로 외국에서는 Bioinformatics 분석 회사들이 자신들의 솔루션을 Amazon AWS를 이용해서 제공하는 형태로 서비스를 내놓고 있다. 이런 상황에서 단연 두각을 나타내고 있는 회사로는 Cycle Computing이라는 회사로 Amazon AWS를 활용한 거대 cluster 구축 노하우를 기반으로 HPC를 이용하고자 하는 많은 연구소나 대학을 대상으로 서비스를 제공하고 있다. PacBio는 자사의 NGS 분석 솔루션인 SMART를 Cycle Computing을 통해서 제공하는 등 Cloud인프라를 제공하는 Amazon과 Cloud에 대한 별다른 지식(관심)이 없는 연구자들 사이의 빈틈을 공략하고 있다.

Cycle Computing에서 제공하는 Bioinformatics Application

내가 원하는 시간에 비용만 지불하면 원하는 만큼의 컴퓨팅자원(CPU+Storage)을 손쉽게 할당 받고 연구자가 사용하고자 하는 솔루션(Blast, NGS Mapping Tools 등등)을 사용 가능하게 된 것이다. 이로서 연구자들은 자신의 아이디어와 데이터만 있으면 아무리 큰 데이터를 가지고 있더라도 컴퓨팅에 대한 부담없이 연구가 가능하게 된 것이다. 아마도 이제 연구비 목록에 "Cloud 컴퓨팅 사용료" 항목이 기본적으로 들어가는 날이 올것이다. 더 나아가 연구소에 연구를 위해 고성능의 컴퓨터를 구매해야 한다고 올렸다가는 비웃음 거리가 되는 날이 올지도 모르겠다.

NGS 데이터 분석의 경우 단순히 1-2개의 분석 툴을 Cloud로 제공하는 형태에서 더 나아가 NGS를 위한 분석을 위한 Pipeline과 데이터 저장 솔루션을 Cloud 기반에서 제공하는 업체들도 속속 생겨나고 있는데, 대표적으로 얼마전 Google의 투자를 받은 DNAnexus가 있다. DNAnexus는 Google의 Cloud Storage를 기반으로 SRA 데이터베이스까지 제공하고 있는데, 연구자들은 자신의 데이터 뿐만 아니라 SRA 데이터를 DNAneuxs 솔루션으로 import해서 분석할 수 있도록 해주고 있다. 국내에서는 BMS를 통해서 DNAnexus 서비스를 사용할 수 있는데, 30X의 Human Genome(약 120 gb)을 기준으로 500만원 정도의 분석 비용이 소요된다. 이 비용에는 1년 동안의 데이터 저장 및 Mapping을 제외한 여타 분석(SNP Calling, Genome Browser를 통한 데이터 확인 등) 비용이 포함되어 있다.

DNAnexus의 SRA에서 "GMI"로 검색한 결과

DNAnexus의 서비스에서 주목해야 할 부분은 NGS 데이터를 통해 CNV를 발굴하거나 정상세포와 암세포와 같이 두개의 Genome을 비교하는 툴들이 포함되어 단순히 mapping과 SNP calling외의 다양한 분석이 가능하다는 것이다. 또한 이러한 분석은 공동연구자들간의 데이터 및 분석 내용을 share하는 기능까지 제공하고 있다. 이러한 DNAnexus의 솔루션은 철저하게 Amazon AWS를 기반으로 작성되어 있기 때문에 DNAneuxs는 서비스를 위한 하드웨어의 구입이나 유지보수에 전혀 신경 쓸 필요가 없다.

SRA의 FASTQ는 바로 DNAnexus 서비스로 Import한 후 분석 가능

이제 Genome은 단순히 Genome 연구자들만이 사용하는 데이터가 아닌 타 Bio분야에서도 기본적으로 다루어지는 데이터로 점차 그 사용이 확대되고 있으며, 요즘에는 실제 임상에서 활용하기 위한 다양한 시도(EMR과의 통합 등) 또한 이루어지고 있다. 이제 더 이상 Cloud는 뜬 구름이 아닌 당신의 연구에 깊숙히 자리 잡을 즉, Excel과 같은 존재가 될 날이 머지 않았다고 감히 말하고 싶다. 지금부터라도 차근차근 Cloud의 개념이나 그 usage에 관심을 기울여 두면 많은 도움이 될 것이다.

Day1 - Genome Data 받기

hongiiv — Sun, 30 Oct 2011 00:06:36 +0900

Genotyping 데이터나 Sequencing 데이터의 가격이 점차 하락과 함께 23andMe나 deCODEme와 같은 DTC(소비자직접거래) 방식의 Personal genome 서비스를 통해 자신의 질병에 대한 유전적인 소인이나 자신의 조상에 대한 정보를 얻을 수 있게 되었다. 23andMe 서비스를 받았다면, 자신의 Genotype 데이터를 따로 받을 수 있다. 23andMe에 로그인한 후 Download raw data를 선택하면 자신의 genotype raw 데이터를 다운로드가 가능하다.

SNPTips를 사용하면 firefox web browser를 pop-up 창에서 SNP 정보를 확인할 수 있게 된다. 23andMe에서도 이와 비슷하게 SNP 정보를 확인 할 수 있다. 23andMe의 경우 SNP의 유전자와 염색체 정보까지 함께 보여준다.

Firefox Extention인 SNPTips를 설치 후 웹 페이지에서 rs접두사가 붙은 단어가 활성화 되어 자신의 genotype 정보를 확인 가능

23andMe 웹 페이지는 기본적으로 SNP에 링크가 활성화되어 자신의 genotype 정로를 확인 가능

자신의 genome 정보가 없다면, SNPedia나 Genome Unzipped, PGP-10 등을 통해서 public하게 공개된 사람들의 genome 데이터를 사용하여 테스트 해 볼 수 있다.

FASTQ - NGS 데이터 포맷

hongiiv — Sat, 20 Aug 2011 09:26:21 +0900

바로 밑에서 엑솜 데이터를 Galaxy를 이용해서 분석하는데에 잠깐 언급된 내용인데 좀 정리가 필요한 부분일 것 같다는 생각이 들어서 짧게 언급하려고 한다. 일반적으로 차세대 시퀀서에서 사용하는 데이터 포맷은 fastq 포맷으로 인간이 읽을 수 있는 텍스트 파일 형태로 biological sequence(일반적으로 nucleotide sequence)와 이에 상응하는 quality score로 구성된 파일이다. 즉 각 nucleotide base마다 해당 base가 얼마나 정확하게 읽어낸 것인지에 대한 quality가 함께 포함된 파일로 산업계의 표준 (de facto) 으로 Illumina Genome Analyzer와 같은 시퀀서에서 사용된다. 일반적으로 fastq 파일의 확장자는 정해진게 없지만 주로 사용하는 확장자로는 fq, fastq, txt라는 확장자를 사용한다.

FASTQ 포맷을 사용하지 않은 시퀀서
이러한 fastq 포맷외에도 Life Technologies의 SOLiD 장비의 경우에는 quality를 따로 떼어낸 두개의 파일을 사용하는데, csfast (colour-space read) 파일과 qual 두개의 파일이 그것이다.

Roche의 454 장비의 경우에는 SFF라는 파일 포맷을 사용하는데 sfftofasta라는 프로그램을 이용해서 흔히 볼 수 있는 fasta와 quality 파일로 변환해준다.

SOLiD나 454의 경우 제공되는 전용 툴들을 사용하면 별 무리가 없지만, BWA나 Bowtie와 같은 OpenSource 기반의 툴들을 사용하기 위해서는 해당 포맷을 fastq 포맷으로 변경해줘야 한다.

fastq 포맷도 quality score를 어떻게 표현하느냐에 따라서 또 나뉘게 되는데 quality를 표현하는 Pread Quality Score를 어떻게 표현하느냐에 따라서 달라진다.

현재까지 전세계에 보급된 NGS 장비 -표에서 보는바와 같이 SOLiD나 454 포맷은 Illumina에 비해서 흔히 볼 수 있는 포맷은 아니며, 연구자들은 아마 대부분 Illumina의 포맷을 볼 수 있을 듯 ^^;;

Sanger (Phred+33)
Venter가 7.5x로 시퀀싱한 것이 바로 Sanger의 capillary 방식의 시퀀싱이었는데, 전통적으로 sanger에서 사용하는 것이 바로 sanger fastq 또는 fastq-sanger 라고 불리우며, Galaxy에서는 FASTQ quality scores type에 Sanger라고 표시되어 있다.

fastq-sanger는 quality를 표현하는데에 있어서 ASCII 33-126번까지의 문자를 사용하게 되며 offset은 33으로 표현할 수 있는 quality의 range는 0에서 93까지 표현이 가능하다.

Solexa (Solexa+64)
지금은 Solexa가 Illumina에게 넘어갔지만 한때 잘 나가던 장비로 현재는 Genome Analyzer가 Solexa에 있으면서 1.3으로 버전업 하기전까지 사용했던 포맷으로 fastq-solexa, Galaxy에서는 Solexa라고 표시되어 있다.

fastq-solexa는 ASCII 59-126까지 offset은 64로 -5에서 62까지 표현이 가능하며, Quality Score는 PHRED score가 아닌 Solexa score를 사용한다.

Illumina 1.3+ (Phred+64)
Genome Analyzer가 1.3으로 버전업되면서 부터 사용하기 시작한 포맷으로 fastq-illumina, Galaxy에서는 Illumina 1.3+라고 표시한다. ASCII 64-126, offset은 64로 0에서 62까지 표현 가능하다.

Hadoop for Bioinformatics

hongiiv — Fri, 19 Aug 2011 22:10:27 +0900

간단히 정리하려고 쌓아두고 있었는데, 당췌 시간이 나질 않아서 우선 제목과 URL만 주욱 나열합니다. 추후 어떠한 방식으로 어떻게 Hadoop을 응용해서 사용하는지에 대해서 포스팅 할 계획입니다. 그전에 우선!!! :)

Summarizing next-gen sequencing variation statistics with Hadoop using Cascalog
http://bcbio.wordpress.com/2011/07/04/summarizing-next-gen-sequencing-variation-statistics-with-hadoop-using-cascalog/

Hadoop: intervals and JOIN
http://stackoverflow.com/questions/1832103/hadoop-intervals-and-join

Hadoop: genomic segments and JOIN
http://biostar.stackexchange.com/questions/8821/hadoop-genomic-segments-and-join

Sorting and Joining some Genotypes with Hadoop
http://plindenbaum.blogspot.com/2011/06/sorting-and-joining-some-genotypes-with.html

Sequence Alignment Map Quality Assurance (SAMQA) hadoop toolkit for validating quality of ngs data
http://informatics.systemsbiology.net/informatics/project/samqa

지금까지의 gwas는 잊어라, 새로운 연구 패러다임

hongiiv — Fri, 19 Aug 2011 13:32:13 +0900

지금까지 질병관련 유전자를 찾는 gwas 연구에서 있어서 몇가지 트렌드를 짚어보자면 다음과 같다.

1. 불과 몇년전만 하더라도 아니 아직까지도 많은 수의 샘플을 모으는데에 있어서 어려움이 따른다.
2. 한 사람 한사람 유전정보를 얻기 위한 Genome-wide SNP chip 가격이 점점 하락하고 있다.
3. 대부분의 연구가 유럽인을 조상으로 두고 있는 흔히 말하는 European을 중심으로 연구가 진행되어왔다.
4. 개별적으로 진행되었던 연구들이 모아지고 이를 통한 meta 분석이 현재 주를 이루고 있다.
5. 기존의 연구 결과에 대한 검증 연구가 이루어지고 있다.

이러한 현재 트렌드와 더불어 다음과 같은 꾸준한 움직임이 포착되어지고 있는데 하나씩 살펴보자면 다음과 같다.

1. 질병외에 다른 trait들에 대한 연구가 진행되고 있는데 예를 들어 성격에 관한 유전자를 찾는다거나 얼마전 BGI의 Cognitive Genomics에서 지능에 관한 연구를 위한 움직임 등이 그예이다.
2. 23andMe는 "Roots into the Future"를 통해 만명의 African American 참여자를 모집하고 분석하려고 한다.

위에서 언급한 내용의 공통점 중 하나가 바로 연구에 참여할 참여자를 공개적으로 인터넷을 통해 모집하고 있다는 것이다. 또다른 하나는 바로 인종(인종이라는 단어보다는 인구집단, 공통조상 정도가 나을듯)간의 유전적 차이에 따른 각 인구집단에 세분화된 연구가 진행되고 있다는 것이다.

Wired에 나온 기사를 보면, 지금까지의 연구가 유럽 조상을 둔 인구집단을 기준으로 그들의 질환이나 유전적 뿌리에 대한 연구가 주로 이루어져왔고 이러한 현상이 지속될 경우 Personal Medicine 시대에 있어서 전세계의 소수 민족을 포함한 타 인구집단의 소외로 인한 또다른 인종 차별이 올 지도 모른다는 것이다. GWAS는 일반적으로 5% 이상 사람들이 공통적으로 공유하는 유전변이에 대해서 연구를 수행하는데 이러한 common한 유전변이 만으로는 질병에 대한 heritability를 설명하는데 한계가 있고 이를 바로 missing heritablity 잃어버린 유전성이라고 한다. 이러한 missing heritabilty를 희귀한, 드문 즉, 인구집단에서 1% 미만으로 나타나는 유전변이에 대한 연구가 필요하다는 것이다.

아래 그림에서 보듯이 common한 유전변이는 인종이나 민족간에 공유하는 경향이 큰 반변 rare한 유전변이는 인종간에 공유하는 비율이 적다. 현재까지의 GWAS 연구에 있어서 96%의 연구가 유럽인 조상을 둔 인구집단이 대다수를 차지하며, 나머지 인구집단에 대한 연구에서 그 sample 수 또한 지극히 적은 숫자라고 한다. 그 중에서도 아프리카 조상을 둔 인구집단에 대한 연구는 적다고 말하고 있다.

요약하자면, common한 유전변이에서의 인종간의 차이는 존재하기는 하지만 missing heritability에 대한 주요한 key를 가진 rare한 유전변이에 있어서 인종간의 차이는 분명 더 크게 존재하며, 아직까지 유럽인 조상의 인구집단에 대한 연구 위주에 있어서 향후 의료 시스템에 있어서 중요한 부분을 담당하게 될 genome 분야에서 유전자 연구의 혜택을 모든 사람들이 누리기 위한 연구가 진행되어야 한다는 것이다. 그러한 의미에서 23andMe의 African American 10,000명의 샘플의 얻기 위한 프로젝트는 그 의미가 크다고 할 수 있겠다.

얼마전 23andMe에서는 자신들의 3번째 연구 결과를 논문으로 발표했는데, 이는 지금까지 나온 GWAS 결과에 대해서 자신들의 고객에 대해서 다시 한번 검증 연구를 수행했다는 것이다. 아까 말했듯이 common한 variant와 질병과의 연관에 있어서 다양한 인종들간의 검증은 위의 맥락에 비추어본다면 분명 필요한 부분이고, Asian을 포함하는 한국인에 대한 대규모의 GWAS 연구 결과들에 대한 검증 또한 필요한 부분이라고 할 수 있겠다.

현재 가격과 정확성에 대한 검증이 어느정도 이루어진 Genome-wide SNP Chip을 이용한 대규모 한국인 샘플을 수집하고, 웹 기반의 설문을 통해 기존의 GWAS에 대한 다각적인 검증과 새로운 trait에 대한 연구를 수행한다면 genetics에서 한국을 넘어선 Asia를 주도하지 않을까라는 생각을 해본다.

STRUCTURE 프로그램을 이용한 Population Structure 분석

hongiiv — Fri, 12 Aug 2011 16:03:30 +0900

STRUCTURE라는 프로그램과 SNP 데이터를 이용해서 population structure를 분석하는 방법입니다. 예전에 128개의 SNP으로 분석하는 방법에 대한 글은 이곳을 클릭하시기 바랍니다. 윈도우용 프로그램을 다운로드 하셔서 위의 링크의 예제 파일을 다운로드하신 후 분석하시면 됩니다. 한국인의 infomative한 SNP 마커 발굴에 관한 논문은 다음의 논문을 참고하시면 됩니다.

Int J Legal Med (2010) 124:125–131 DOI 10.1007/s00414-009-0389-9

Development of SNP-based human identification system

View more presentations from Hong ChangBum

갤럭시를 이용한 Exome 데이터 분석

hongiiv — Tue, 26 Jul 2011 13:10:27 +0900

가끔 어디서부턴가 유래를 알 수 없는 데이터를 받게 되고 또 그것을 분석해야 하는 일들이 종종 생기게 된다. 최근(지금은 아니지만)에는 그러한 데이터중의 하나가 바로 NGS 시퀀싱 데이터였다.

몇 년전 Roche/454의 pyrosequencing을 통해 생성된 데이터였는데, SFF 형태로 데이터를 받게 되었다. 454라는 것은 알고 있었는데 그 당시만 해도 당췌 Flowgram이 뭔지, SFF를 fastq 포맷으로 바꾸느라 삽질하고 이것저건 mapping/variant call 프로그램들 셋팅하느라 시간 보낸걸 생각하면 요즘은 참 세상이 많이 좋아졌다라는 생각을 하지만 여전히 예전의 나처럼 삽질하고 있는 또는 삽질할 분들께 도움이 될까하는 마음에 ^^;;

Life Techologies의 SOLiD 데이터
SOLiD는 일반적으로 Ligation 방식을 사용하며 (Roche/454->Pyrosequencing, Illumina/Solex->Reversible terminators) 다른 시퀀싱 방식들과 가장 큰 차이는 하나의 염기를 두번 읽게 되기 때문에 더 정확하게 변이들을 찾아낼 수 있다는 장점이 있다. 물론 그에 따라서 비용의 문제가 발생하지만, 이러한 독특한 방식으로 읽어낸 colour-space read는 csfasta/qual가 각각 따로 저장된 두 개의 파일로 제공된다. (예, reads_F3.csfasta, reads_F3_QV.qual)

따라서 SOLiD에서 제공하는 BioScope나 Coronal lite와 같은 전용 mapping 도구를 사용하거나 일반적으로 사용되는 BWA, Bowtie를 사용하기 위해서는 fastq 포맷으로 변환해야 한다.

여기에서는 SOLiD의 mate paire는 아니구, SureSelect Human All Exon 50Mb Kit을 이용한 paired-end 방식의 SOLiD4 system을 사용한 데이터를 가지고 csfasta -> fastq -> mapping -> sam -> bam -> variant call 까지의 과정을 살펴보도록 하겠다.

DNAnexus로 부터 Sample Data 얻기
DNAnexus는 웹 기반의 NGS 데이터 분석 제공 업체로서 데이터 분석을 위해서는 일정 비용을 지불해야 하지만, Demo 계정을 통해서 분석 데이터를 살펴볼 수 있다. Samples 탭으로 이동하면 Public 폴더에 Venter의 엑솜시퀀싱 데이터를 받을 수 있도록 되어 있으며 총 4개의 파일로 되어 있다. 이 데이터는 Edge Bio사에서 제공한 데이터로 앞서 이야기했듯이 SOLiD와 Illumina SureSelect 엑솜킷을 통해서 생산된 엑솜 시퀀싱 데이터이다.

파일은 paired-end 방식으로 두 개로 구성(quality파일포함 총 4개) 되어 있으며, 다음의 URL을 통해서 다운로드가 가능하다.

read 파일
https://dnanexus.com/download/32jhbsskclt68/52sgstgf92lmymvsxk9l8uzns/0031001S1A-reads1-Venter.PE.q3
https://dnanexus.com/download/34za360261sdx/52sgstgf92lmymvsxk9l8uzns/0031001S1A-reads2-Venter.PE.q3_pair

read 파일에 해당하는 quality 파일
https://dnanexus.com/download/12mw3qolgjckr/52sgstgf92lmymvsxk9l8uzns/0031001S1A-qual1-Venter.PE.q3_qual
https://dnanexus.com/download/39sktmkhwxhem/52sgstgf92lmymvsxk9l8uzns/0031001S1A-qual2-Venter.PE.q3_qual_pair

Galaxy 데이터 업로드 하기
획득한 URL에 존재하는 데이터는 굳이 다운로드 할 필요없이 galaxy에 URL을 적어 주기만하면 galaxy가 알아서 자신의 서버에 다운로드 해준다. (galaxy는 web을 통한 upload, ftp를 통한 upload, URL을 통한 upload를 지원)

Read 파일 fetch
아래와 같이 File Format을 csfasta를 선택하고 두개의 colour-space read의 URL을 입력하고, Genome을 hg18로 설정한 후 Execute 버튼을 클릭한 후 일정 시간이 지나면 galaxy가 해당 URL에서 파일을 다운로드하여 galaxy 분석 서버에 저장한다.

Quality 파일 fetch
마찬가지로 File Format을 qualsolid를 선택한 후 quality 파일들의 URL을 입력해서 fetch한다.

DNAnexus로 부터 데이터 fetch가 완료되면 History에 1/2번은 read 파일, 3/4번은 quality 파일이 존재하는 것을 확인 할 수 있다.

SOLiD read 파일을 fastq(fastqcssanger) 포맷으로 변경
왼쪽의 Tools 메뉴에서 NGS TOOLBOX BETA->NGS:QC and manipulation->AB-SOLID DATA->Convert SOLiD output to fastq를 선택한다. select reads에 1번 read 파일과 그에 해당하는 qualities 파일(3번)을 선택한다. 당연히 mate-pair 데이터가 아니므로 Is this mate-paire run?은 No로 지정. 마찬가지로 두번째 read 파일도 Convert를 수행한다.

우측의 History 부분의 15번과 16번은 각각 fastq(fastqcssanger)로 변경된 파일을 보여주고 있으며, 첫번째 read의 이름이 1177_463_886_F5-P2와 이에 대응하는 1177_463_886의 두 read가 존재하며 paired-end임을 확인시켜주고 있다.

Quality Score Plot 그리기
앞서서 fastq 포맷으로 변경시에 Quality Score가 낮은 것들을 제거할 수가 있는데, 제거전에 한번 전체적으로 Quality Score를 plot으로 그려서 확인해 볼 수 있다. 그럼으로써 전체적으로 실험이 잘 되었는지에 대한 정보를 확인할 수 있다. NGS TOOLBOX BETA -> AB-SOLID DATA -> Compute quality statistics for SOLiD data통해 read의 position마다의 quality를 계산해 준다.

이렇게 계산된 결과를 plot으로 그리면 아래 그림과 같이 read의 각 위치마다의 Quality Score를 시각적으로 확인이 가능하다. NGS TOOLBOX BETA -> AB-SOLID DATA -> Draw quality score boxplot for SOLiD data 를 선택하고 앞서 계산된 quality statistics를 선택해서 boxplot을 생성한다.

아래 그림을 보면 전체적으로 read의 뒷부분으로 갈수록 Quality가 떨어지는 것을 확인 할 수 있으며, 이것은 NGS 자체가 read의 뒷부분으로 갈수록 잘 못 읽어내기 때문이다.

Reference genome에 Mapping
이제 앞서 생성한 fastq 포맷의 read data를 reference 서열에 대해 mapping하는 과정을 수행한다. ngs분석에서 가장 많은 시간이 소요되는 작업으로 mapping 프로그램으로는 BWA와 Bowtie를 사용 가능하며, Bowtie를 이용하여 다음과 같이 hg18에 대해서 mapping을 수행한다.

Pileup을 통한 SNP calling
mapping된 결과는 sam 포맷으로 이를 bam 포맷으로 변경한 후 pipeup을 수행하여 snp을 발굴한다. Exome sequencing 데이터를 업로드하고 snp을 발굴하는 전 과정에서 생산된 데이터는 약 200Gb 정도로 galaxy를 가지고도 충분히 10명 내외의 데이터를 분석하는데에는 무리가 없다. 이렇게 찾은 snp을 dbSNP와 비교하는 등의 annotation 과정 및 ngs 분석의 각각 통계정보, genome browser를 통해 확인하는 등의 일련의 분석과정에 대해서는 추후 다시 포스팅하기로 하겠다.

이상 간단하게 나마 galaxy를 통해서 SOLiD를 통해 exome sequencing 데이터를 분석하는 과정에 대해서 살펴보았다. 얼마전 삼성SDS에서는 ngs 분석을 위해 Bioinformatics 상용서비스를 런칭했는데, ~~http://www.samsunggeome.com~~ https://www.samsunggenome.com/index.do 이도저도 귀찮다거나 많은 양의 데이터를 분석한다면 한번쯤 고려해 볼 수 있을 것이다.