쿠웅's Parallel Programming

Windows MSVC

• 개발자 명령 프롬프트(Developer Command Prompt)실행해서 확인
• Visual Studio가 설치되어 있다면 검색에서 'Developer...' 입력하면 프롬프트을 확인할 수있다
  

  

• 명령어 cl /LD /EHsc example.cpp /Fe:example.dll 을 입력하면 dll을 만들 수 있다

  cl /LD /EHsc example.cpp /Fe:example.dll

  

• 예제 소스 코드

  // example.cpp
  #include <cstring>
  
  #if defined(_WIN32)
    #define EXPORT extern "C" __declspec(dllexport)
  #else
    #define EXPORT extern "C"
  #endif
  
  // int 두 개 더하기
  EXPORT int add_ints(int a, int b) {
      return a + b;
  }
  
  // double 두 개 곱하기
  EXPORT double mul_doubles(double x, double y) {
      return x * y;
  }

c++ Desktop develope kit 설치

• 만약 cl 이 없다면 추가 설치가 필요하다
  

  

• c++을 이용한 데스크톱 개발을 체크하고 업데이트를 해주면 된다
  

  

구글 트렌드에서도 핫하고, star history에서 핫한.. 배워야 할것 같다

AI 모델과 실제 서비스를 하는 표준연결방식이라고 한다

커서AI에서 MCP서버로 Redis DB를 연결하면 이제 채팅으로 SQL없이 DB조회가 가능해진다 

물론 이전부터 있었지만 깔끔한 표준이라고 한다

https://modelcontextprotocol.io/introduction

https://github.com/astral-sh/uv?tab=readme-ov-file#projects

[GitHub - astral-sh/uv: An extremely fast Python package and project manager, written in Rust.

An extremely fast Python package and project manager, written in Rust. - astral-sh/uv

github.com](https://github.com/astral-sh/uv?tab=readme-ov-file#projects)

• pip 보다 빠르고 관리가 편하다고 왠지 새로운 트렌드가 될것 같다.

Organizers from the local government hanve planned a daylong event at Waterford Park to honor the city's founder Thomas O'sConnell.

organzier 주최자, 조직자

daylong 하루종일, 온종일의

honor 예우하다, 공경하다

 The demand for handheld devices such as tablets across South Asia has not been as intense as in East Asia, but it is steadily rising. 

across ~전역에 걸쳐

beyond ~저편에, ~너머에

along ~을 따라

among ~의 가운데에, ~중에 

handheld 소형의 손바닥 크기의 

intense 강한, 강렬한

steadily 꾸준히, 착실하게

The construction crew has almost completed renovating the hospital, after which new machines for the pediatric center will be brought in.

thereby 그렇게 함으로써

near 가까이

nowadays 요즘에는

pediatric 소아과의

bring in 들여오다, 들이다

Catering to chidren as well as adults, it will apcialize in extreme ride, including an 80-foot-tall roller coaster and a fast-paced water ride. 

cater to ~의 요구를 충족시키다

speciallize in ~을 전문으로 하다

fast-paced 빠른 속도의 

patron 손님

We hope to build on everything we've learned in the past and give visitors a truly mind-blowing experience.

mind-blowing 신나는

It will feature costumed individuals

One of the women is paying for her purchase.

A woman is making a selection.

He's gesturing with his hand.

He's speaking into a microphone.

He's picking up a piece of paper.

He's addressing the audience.

address 연설하다

audience 청중

Where do we store the copy toner?

It comes in several colors.

At Office Mart down the street.

In the supply closet.

I wanted to get in touch with you. 

get in touch with ~와 연락을 취하다

He asked if we would refund the remainder of the week.

remainder 나머지

But he made a nonrefundable reservation.

nonrefundable 환불이 불가한, 환불되지 않는

general manager 총지배인

authorize 허가하다, 권한을 부여하다

make an exception 예외를 두다

Please let me know if you think we should make an exception.

secure 확보하다, 획득하다; 안전한

secure other accommodations 다른 숙소를 확보한다

resouce 자원 수단

occupation 직업, 일

personnel 직원들, 인원

engagement 약속, 업무

Techinal support personnel are available 24 hours a day to assist you if you have a problem with your computer or other equipment. 

reference material 참고 도서

reading public 독자층, 독서계

more quietly(o)

more quieter(x)

walk-in 대형의, 걸어 들어갈수있을정도로 큰, 예약이 안된

perishable 잘 상하는

The electronic code on the safe is reset after each use and must be reprogmmed every time the door is opened.

출처: 퍼플렉시티

Citations:

1. https://www.reddit.com/r/LocalLLaMA/comments/19f9z64/running_a_local_model_with_8gb_vram_is_it_even/
2. https://www.linkedin.com/posts/anima-anandkumar_paper-page-galore-memory-efficient-llm-activity-7171555545848504320-WQAm
3. https://huggingface.co/docs/transformers/en/perf_train_gpu_one
4. https://huggingface.co/docs/transformers/main/llm_tutorial_optimization
5. https://www.nitorinfotech.com/blog/training-large-language-models-llms-techniques-and-best-practices/
6. https://github.com/InternLM/Awesome-LLM-Training-System/blob/main/Memory_Optimizations.md
7. https://stackoverflow.com/questions/77531993/run-llm-on-single-gpu-with-8gb-ram
8. https://openreview.net/forum?id=NIzbVvB3Ox
9. https://deepsense.ai/blog/how-to-train-a-large-language-model-using-limited-hardware/
10. https://milvus.io/ai-quick-reference/what-innovations-are-improving-llm-efficiency
11. https://www.computer.org/publications/tech-news/trends/training-techniques-large-language-models/
12. https://www.kisacoresearch.com/content/memory-optimizations-large-language-models-training-inference
13. https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms
14. https://www.hyperstack.cloud/technical-resources/tutorials/llm-inference-techniques-to-reduce-latency-and-boost-performance
15. https://openreview.net/forum?id=s7DkcgpRxL
16. https://www.youtube.com/watch?v=mbmaEDL2wms
17. https://openreview.net/forum?id=e0bTcdF29g
18. https://milvus.io/ai-quick-reference/how-are-llms-optimized-for-memory-usage
19. https://www.linkedin.com/pulse/mastering-llm-inference-cost-efficiency-performance-victor-qfs6e
20. https://discuss.huggingface.co/t/llama-7b-gpu-memory-requirement/34323
21. https://openreview.net/forum?id=rWzECppYr4

Perplexity로부터의 답변: pplx.ai/share

The buildings overlook the water (내려다보다)

Some boats are under the bridge. 

Children are playing on the dock.

Boxes are being transported up the river.

You've received my wedding invitation, haven't you?

Have you seen our new ClearView TV? It's the best we've ever produced. 

Yes, I'm in charge of the marketing campaign for it. 

That must be easy. The TV will practically sell itself.

You'd think so, but some consumers in our focus groups don't like it.

Really? That's hard to believe

It's true. They complained that it's out of their price range.

That makes things more difficul. What will you do?

We'll release a less advanced model that's more affordable. That way we can market the model to customers who are on a budget.

That sounds like a great plan.

practically 사실상, 현실적으로

focus group 포커스그룹(상품 시장이나 여론 조사를 위해 뽑힌 소수의 샘플 그룹)

affordable (가격이)알맞은, 입수 가능한

on a budget 한정된 예산으로  

Ellen's probationary status was extended by ____ month after it was discovered that she had no actual experience in accounting procedures. 

another (가산 단수명사)

other (복수 가산 명사 또는 불가산 명사) 

probationary 수습기간의 , 견습 시간의 

status 자격, 신분 

incidence 발생, 출현

assistance 조력, 원조

adherence 고수, 집착

correspondence 서신, 편지 

monetary 금전적인, 재정상의

renowed 유명한, 명성있는 

mainland 본토

take in at a glance 한눈에 알아보다

many of them to the effect that the information is difficult to take in at a glance 

expansive 탁 트인, 광활한

on occasion 가끔 

permanently 영구적으로 

faultiness 결함

at once 한꺼번에 

accumulate 모으다, 축적하다 

He's installing a new light

He's wearing a tool belt. 

He's carrying a backpack.

He's taking off his uniform.

tool belt 도구 벨트

I'm taking public transportation.

I've played piano for years.

That sounds like a lot of fun.

public transportation 대중 교통

I'm sure she's worked with a lot of caterers 

caterer 음식 공급업자, 연회업자 

Diamond Motor Company is considering hiring 30 assembly workers in order to increase production by 50 percent during the upcoming fiscal year.

consider 동명사를 목적어로 갖는 동사 

fiscal year 회계연도

agreeably 기분좋게, 기꺼이

fully 완전히, 충분히

attendee 참석자

complimentary 무료의, 칭찬하는

alert 알림, 경고 

excuse 면제하다, 용서하다; 변명, 이유

borrower 대출자, 빌리는 사람

take note of ~에 주의하다, 주목하다

appropriate 적절한

image를 로드할 때 실패하거나 연산 오류를 발생할 때 반환값이 None이 되는 경우가 있어서

다음과 같이

if A == None: ~~~

처럼 작성했더니 제대로 동작안해서 찾아봤다 

"=="을 작성할 때는 값이 명확하게 동일한것인지 아닌지가 중점이다

이럴 때는 is None 이라고 쓰는것이 맞다고 한다 

하지만

np.ndarray 이 경우에는 타입자체가 np.ndarray를 유지하면서 

들어가 있는 값 자체가 None인 경우가 있어서 의도한대로 작동을 안할 수 있다. 

이럴 때는 np.isnan() 또는 pd.isnull()를 쓰면 None값인 위치를 알수 있다고 한다

import numpy as np

# None이 포함된 리스트로 배열 생성
# 주의: None은 자동으로 np.nan으로 변환됩니다
arr = np.array([1, 2, None, 4, 5])

# None 값 확인 방법 1: np.isnan() 사용
none_mask = np.isnan(arr)
print("None인 위치:", np.where(none_mask)[0])

# None 값 확인 방법 2: pandas의 isnull() 사용
import pandas as pd
none_mask = pd.isnull(arr)
print("None인 위치:", np.where(none_mask)[0])

만약 객체 배열에서 실제 None 값을 찾는다면

# 객체 배열 생성
obj_arr = np.array([1, 2, None, 4, 5], dtype=object)

# None 값 직접 비교
none_mask = np.array([x is None for x in obj_arr])
print("None인 위치:", np.where(none_mask)[0])

PyTorch에서 unsqueeze()와 unsqueeze_()는 텐서의 차원을 확장하는 함수입니다. 두 함수의 주요 차이점은 연산 방식에 있습니다.

unsqueeze()

• 새로운 차원을 지정된 위치(인덱스)에 추가합니다
• 원본 텐서를 변경하지 않고 새로운 텐서를 반환합니다 (비파괴적 연산)
• 사용 예시:

  import torch
  x = torch.tensor([1, 2, 3, 4])  # 형태: [4]
  y = x.unsqueeze(0)  # 형태: [1, 4]
  z = x.unsqueeze(1)  # 형태: [4, 1]

unsqueeze_()

• 기능적으로는 unsqueeze()와 동일합니다
• 원본 텐서를 직접 변경합니다 (파괴적/인플레이스 연산)
• 밑줄(_)은 PyTorch에서 인플레이스 연산을 의미합니다
• 사용 예시:

  import torch
  x = torch.tensor([1, 2, 3, 4])  # 형태: [4]
  x.unsqueeze_(0)  # x의 형태가 [1, 4]로 직접 변경됩니다

주요 용도

• 배치 차원 추가하기 (단일 샘플을 배치로 변환)
• 브로드캐스팅 연산을 위한 차원 맞추기
• CNN이나 RNN 등의 신경망에 입력할 때 필요한 차원 형태로 변환

unsqueeze_()는 메모리를 절약할 수 있지만, 원본 데이터가 변경된다는 점에 주의해야 합니다.