데이터25

• [Chemoinformatics] Cheminfo tools 1. 웹 기반 Small molecule 만들기 : Hack-A-Mol My favorite web tool to create small molecules: Hack-A-Mol | by LucianoSphere | Medium My favorite web tool to create small molecules: Hack-A-Mol Hack-a-Mol is a “web app” (kind of complete program in the form of a regular webpage) created by Robert “Bob” Hanson, originally devised… lucianosphere.medium.com 데이터/Bioinformatics tools 2023. 6. 9.

• [PandasAI] Swiss army knife for data processsing 🐼Introducing PandasAI: The Generative AI Python Library 🐼 | by Gabe Araujo, M.Sc. | May, 2023 | Level Up Coding (gitconnected.com) 🐼Introducing PandasAI: The Generative AI Python Library 🐼 Pandas AI is an additional Python library that enhances Pandas, the widely-used data analysis and manipulation tool, by incorporating… levelup.gitconnected.com gventuri/pandas-ai: Pandas AI is a Python library.. 데이터/Data Manipulation 2023. 5. 24.

• 

  [Matplotlib] 한글 폰트 사용하기. 나는 윈도우 세팅에서 작업을 할 때, WSL 과 jupyter lab 에서 matplotlib, seaborn 을 가지고 주로 시각화를 진행한다. Matplotlib 에서 폰트를 사용하려면 WSL(Ubuntu) 에 깔려 있어야 하는데, 먼저 대표적인 한글 폰트인 "나눔고딕" 을 설치하는 방법과 우분투에 폰트를 업데이트하는 법을 소개한다. sudo apt-get install fonts-nanum* # 폰트 설치 sudo fc-cache -fv # 캐시 제거 sudo fc-list | grep nanum # 폰트 설치 확인 rm -rf ~/.cache/matplotlib/* # matplotlib 캐시 제거 세팅이 끝났으면 본격적으로 그림을 그려보자. import matplotlib.pyplot as pl.. 데이터/Plotting 2023. 5. 2.

• [einops] 차원 관리 툴 이제 차원 관리는 einops (yongwookha.github.io) 이제 차원 관리는 einops stupidly easy yongwookha.github.io arogozhnikov/einops: Deep learning operations reinvented (for pytorch, tensorflow, jax and others) (github.com) 데이터/Data Manipulation 2023. 4. 28.

• [0] 데이터 품질 높이기 데이터의 품질과 신뢰성 높이기. 어떤 작업들이 필요할까 ? 1) 회사 플랫폼에 data quality rule을 만들어서 테스트 실험 데이터에 적용 경우 NGS QC 데이터를 다루는 경우가 많은데, 먼저 data 를 가지고 process 를 진행하기 전 테스트를 진행한다 실험 데이터는 정량화된 값이 많기 때문에, 시퀀싱에 관련된 인자들을 고려한 선형 / 비선형 모델을 만든 후 그것에 넣어봄 1차적으로 process 가 들어가기 전 어떤 형식으로 해석이 될 지 알 수 있음 / 혹은 사용할지, 사용하지 않을지 알 수 있음. 2) 개념적으로 데이터 품질 관리를 위해 데이터 리니지, 데이터 카탈로그 등으로 데이터 품질 관리와 히스토리를 관리 A. 데이터 리니지 데이터 리니지는 데이터의 수집과 저장, 이동과 통합.. 데이터/Data Manipulation 2023. 4. 9.

• [GO] Gene Ontology Biological process 시각화 archiving GO pathway 들은 너무 방대해서, 시각화하기 쉽지 않은데, 몇 가지 좋은 package 들을 발견해서 아카이빙 한다. 1. bioinfproject/bioinfo: NeVOmics (github.com) GitHub - bioinfproject/bioinfo: NeVOmics NeVOmics. Contribute to bioinfproject/bioinfo development by creating an account on GitHub. github.com 이것은 Tree 도 그려주는 듯. 데이터/Bioinformatics tools 2023. 3. 13.

• 트리 시각화하기 The Programmable Tree Drawing Engine — ETE Toolkit - analysis and visualization of trees 데이터/Plotting 2023. 3. 3.

• [IGV] IGV 자동화 자료들 모음 IGV 로 read 들을 보는 것은 꽤 많은 노력이 들어가는 일 인데, 쉽게 할 수 있는 것들을 찾아서 적어본다. 나도 예전에 batch script 를 사용한 자동화를 한 적이 있는데, 그 과정보다 훨씬 편해 보인다. Igv | Dash for Python Documentation | Plotly Igv | Dash for Python Documentation | Plotly dash_bio.Igv Examples and Reference see Igv in action. Igv An example of a default Igv component without any extra properties. Select the genome to display below. import dash from dash... 데이터/Bioinformatics tools 2023. 2. 15.

• [Pytorch] Batch size 무시한 채 하나만 test 하고 싶은 경우 [Deep Learning] [Pytorch] ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 512, 1, 1]) - model.eval()로 해결 ! (tistory.com) [Deep Learning] [Pytorch] ValueError: Expected more than 1 value per channel when training, got input size torch.Size([1, 512, 1 에러 발생 상황 : 1) Resnet 에 배치사이즈 100으로 이미지 데이터를 학습 시켰다. 2) 모델 학습이 완료된 후 학습한 모델에 1개의 테스트 인풋을 넣고 예측값을 확인하려.. 데이터/Data Manipulation 2023. 2. 3.

• [Archiving] Histology image archiving 1. Histological images for tumor detection in gastrointestinal cancer | Zenodo Histological images for tumor detection in gastrointestinal cancer This is a set of 11977 image patches of hematoxylin & eosin stained histological samples of human colorectal cancer. It is a subset of the data set "100,000 histological images of human colorectal cancer and healthy tissue" which is accessible at http:.. 데이터 2023. 1. 16.

• 이번 주 해볼 것 5 Python Computer Vision Projects To Work on This Weekend | by Coffee Bytes | Medium 5 Python Computer Vision Projects To Work on This Weekend A treasure trove of learning resources and reading materials medium.com 데이터/Plotting 2023. 1. 5.

• [ML/DL Model visualization] 모델을 시각화해보자. machine learning - How do you visualize neural network architectures? - Data Science Stack Exchange How do you visualize neural network architectures? When writing a paper / making a presentation about a topic which is about neural networks, one usually visualizes the networks architecture. What are good / simple ways to visualize common archite... datascience.stackexchange.com 여기에 굉장히 많은 방법들이 나.. 데이터/Plotting 2022. 12. 14.