ok-lab

해당 문제는 2022 KAKAO BLIND RECRUITMENT 에서 출제된 문제다. 마지막 출력되는 값은 유저가 신고한 유저 중 몇 명이 정지 되었는지에 대한 값을 반환한다. 한 유저가 동일한 유저에게 여러번 신고한 경우에는 모두 한 번으로 처리하고, K개의 임계값(Threshold)이 주어진다. def solution(id_list, report, k): froud_by = dict({key:[] for key in id_list}) counts = dict({key:0 for key in id_list}) idx_info = dict({key:i for i, key in enumerate(id_list)}) answers = [0] * len(id_list) for val in report: src..

앞선 글에서 pyspark Session을 설정하는 법과 csv 파일을 불러오는 방법에 대해서 다루어 보았다. 이번에는 pyspark에서 csv 파일을 불러와 간단한 ML(machine Learning)을 수행해보자. from pyspark.sql import SparkSession spark = SparkSession.builder.appName('missing').getOrCreate() training = spark.read.csv('dataset/test2.csv', header=True, inferSchema=True) training.printSchema() training.show(4) inferSchema = True 로 설정해줌으로써 age, Experience, Salary 변수가 in..

파이썬에서 스파크를 활용하기 위해서는 기본적으로 Session을 지정해주어야 한다. 세션을 지정하고 빌드업을 해주면 다음과 같은 결과창이 나온다. from pyspark.sql import SparkSession spark = Sparksession.builder.appName('Practise').getOrCreate() spark 스파크의 버전과 내가 지정한 AppName도 같이 출력된다. df_pyspark = spark.read.option('header', 'true').option('inferSchema', 'true').csv('sample.csv') option에서 header : true를 지정해주면 csv 파일의 첫번째 행을 열이름으로 인식하고 가지고 온다. inferSchema는 각 ..

이전에 스파크를 설치해보았다. 지금은 스파크의 간단한 코드를 작성해볼 것이다. 환경은 파이썬 내에서 실행한다. 파이썬에서 스파크를 실행하기 위해서는 Session을 생성해주어야한다. 아래와 같이 Session을 생성하고 변수에 받을 수 있다. import pyspark from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession # Session 생성 spark = SparkSession.builder.appName('Basics').getOrCreate() # make DataFrame myRange = spark.range(1000).toDF('number') myRange는 0부터 999까지의 데이터를 받아 데이터 ..

파이썬에서 분석을 하기 위해서는 데이터가 필요하다. 파이썬 패키지 내의 내장된 데이터셋을 활용하여 분석을 할수도 있지만, 직접 데이터를 호출해 분석하는 일이 생길 것이다. 그럴때 패키지를 다운받지 않고도 파일을 불러오는 방법에 대해서 알아보자. 파일을 불러오는 패키지로 대표적인 패키지는 pandas가 있단는 것을 알고 있다. 하지만 여기서는 패키지가 아닌 내장함수 open에 대해서 다루어 볼 것이다. 다음에 있는 open 함수 내의 method를 하나하나 뜯어보자. open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) file 우리가 불러오고자 하는 파일의 위치를 적어주어야..

tuple의 형태와 기초를 다루는 형태로 코드를 작성해보았다. # tuple t1 = () t2 = (1,) t3 = (1, 2, 3) # 괄호를 생략해도 무방 t4 = 1, 2, 3 t5 = ('a', 'b', ('ab', 'cd')) t1, t2, t3, t4, t5 # list 의 값은 변경이 가능하지만 tuple의 값은 변경이 불가능하다. # 지우는 것이 불가능 t1 = 1, 2, 'a', 'b' del t1[0] # error # 변경 불가능 t1[0] = 'c' # error # indexing t1 = 1, 2, 'a', 'b' t1[0] # 1 a = ((1 ,2) , (3,4), (5,9)) a[:][1] # (3, 4) # slicing t1[:-1] # (1, 2, 'a') t1[1:..