京东-优惠雷达
新人页面
精选商品
首月0月租体验,领12个月京东PLUS
自营热卖

利用Python线程池充分发挥华为云DLS的性能

说好了再见 1年前   阅读数 126 0

华为云DLS的配置真的好,根本不是普通开发服务器相比

image.png

然而,每张图片都要先从OBS通过网络读到DLS,再用opencv做预处理,特别是网络那里极之耗时。

干脆利用Python线程池充分发挥华为云的性能,话不多说,直接上码

import multiprocessing

def imgProc(imagePath):
    image = cv2.imdecode(np.fromstring(mox.file.read(imagePath, binary=True), np.uint8), cv2.IMREAD_COLOR)
    ...中间一堆预处理...
    npimage = img_to_array(image)
    return npimage
   
pool=multiprocessing.Pool(64)    #开64个线程
m=multiprocessing.Manager()
data=[]
labels=[]

asyncdata=[]
for imagePath in files:
    #耗时的才用多线程
    npimage = pool.apply_async(imgProc, args=(imagePath,))
    asyncdata.append(npimage) #注意:这里不能用get获取结果,否则变成单线程
    #不耗时就普通吧
    label = imagePath.split(os.path.sep)[-2]
    labels.append(label)

pool.close()
pool.join()
print("asyncdata len:"+str(len(asyncdata)))
#全部做完再取结果
for d in asyncdata:
    data.append(d.get())

特别要注意get的时机,要等全部做完再get。否则如果在asyncdata.append(npimage)这里get的话,会变成单线程。

效果对比:

image.png

从3:52直接降成2:10

当然还是与本地没得比(毕竟是网络IO与磁盘IO是有区别)

(华为云5186张图读取和处理居然比3636张要快,那很明显瓶颈是在网络IO,而不是opencv预处理上)

image.png

所以,遇到图片特别多的话,还是先在本地预处理好,尽量做成一个csv,来避免数万次的网络IO带来的延时

(封面图来自https://en.wikipedia.org/wiki/Multithreading_(computer_architecture))

购买华为云请点击立即购买


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: