#AI #LLM - - ai-newsbits

Jerry

May 17

#AI #LLM

구글 2024 I/O

Gemini, Gemma 모델 업데이트

Veo, Imagen, Music AI Sandbox 등 멀티모달 서비스 업데이트

Synth ID 기능 (AI 생성 여부 판단) 업데이트

🔗 https://blog.google/intl/ko-kr/products/google-io-2024-keynote-sundar-pichai/

[I/O 2024] 구글 I/O 2024: 새로운 시대를 위한 I/O

이 블로그는 구글 The Keyword 블로그(영문)에서도 확인하실 수 있습니다.편집자 주: 아래는 I/O 2024에서 발표된 순다 피차이 구글 CEO의 발표를 편집, 무대에서 발표한 내용을 더 많이 포함하도록 수정한 녹취록입니다. 전체 발표 내용은 자료집에서 확인하세요.구글은 이제 본격적인 제미나...

blog.google

Reaction

Comment

Share

Jerry

May 17

#AI #LLM

GPT-4o (omni) 출시

음성과 영상 인식 등 멀티모달(multi-modal) 능력이 크게 향상

🔗 https://openai.com/index/hello-gpt-4o/

https://openai.com/index/hello-gpt-4o/

openai.com

Reaction

Comment

Share

Jerry

May 17

#AI #LLM

하이브리드 벡터 검색 지원 서비스 Invector

🔗 https://invector.co/

Invector

AI 검색 / 벡터 서치 / 전 세계에서 유일하게 한국어를 잘하는 검색엔진 / 검색엔진 개발 툴 지원

invector.co

Reaction

Comment

Share

Jerry

May 13

#AI #LLM

OpenAI, 한국 시간 5월 14일 새벽 2시 발표 예정

Sam Altman은 GPT-5나 검색 엔진의 발표는 아니지만, 마법같은 무언가가 발표된다고 언급함

대중들은 Sam Altman이 SNS에서 영화 Her에 대한 반응을 보인 것을 토대로, 음성 데이터과 관련된 서비스를 출시할 것이라고 예상

🔗https://community.openai.com/t/livestream-openai-product-announcements-on-monday-may-13/742070

Livestream: OpenAI product announcements on Monday, May 13

This is our little hype thread moving forward to the event. What do you expect to be revealed? https://twitter.com/sama/status/1788989777452408943 OpenAI is low balling this event. A little bit. Add the event to your calendar.

community.openai.com

Reaction

Comment

Share

Jerry

May 12

#AI #LLM #RAG

LLMSherpa: Rule-based PDF Parser

모델이 아닌 룰 기반의 PDF Parser

모델에 비해 정확하고, 빠른 Parsing이 가능

RAG에 특화된 Parser

🔗 https://github.com/nlmatics/llmsherpa

🔗 https://github.com/nlmatics/nlm-ingestor

🔗 https://python.langchain.com/v0.1/docs/integrations/document_loaders/llmsherpa/

LLM Sherpa | 🦜️🔗 LangChain

This notebook covers how to use LLM Sherpa to load files of many types. LLM Sherpa supports different file formats including DOCX, PPTX, HTML, TXT, and XML.

python.langchain.com

GitHub - nlmatics/llmsherpa: Developer APIs to Accelerate LLM Projects

Developer APIs to Accelerate LLM Projects. Contribute to nlmatics/llmsherpa development by creating an account on GitHub.

github.com

GitHub - nlmatics/nlm-ingestor: This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats.

This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. - nlmatics/nlm-ingestor

github.com

Reaction

Comment

Share

Jerry

May 11

#Graph

그래프 분석의 혁신: NVIDIA cuGraph 가속화를 통한 차세대 아키텍처

그래프 분석은 노드나 엣지의 수가 증가할수록 기하급수적으로 함께 증가하는 연산량으로 종종 어려움을 겪음

cuGraph는 그래프 관련 연산을 NVIDIA GPU로 가속화할 수 있게 함

cuGraph를 포함하는 자체 제작 그래프 분석 프레임워크인 RAPIDS를 이용할 수 있음

PyG(Pytorch-Geometric), DGL(Deep Graph Library), TigerGraph, Memgraph 등 다양한 분석이나 그래프 저장소와도 연동됨

🔗 https://developer.nvidia.com/blog/revolutionizing-graph-analytics-next-gen-architecture-with-nvidia-cugraph-acceleration/

Revolutionizing Graph Analytics: Next-Gen Architecture with NVIDIA cuGraph Acceleration | NVIDIA Technical Blog

In our previous exploration of graph analytics, we uncovered the transformative power of GPU-CPU fusion using NVIDIA cuGraph. Building upon those insights, we now introduce a revolutionary new…

developer.nvidia.com

Reaction

Comment

Share

Jerry

May 11

#AI #LLM

OpenAI, 모델 구성 방식(Model Spec) 공개

OpenAI가 어떻게 LLM에게 답변하는 방식을 지정하는 지, 즉 'instruction'에 대한 spec이 주 내용

모델 매개변수 규모나 아키텍처 대한 spec 내용은 아님

🔗 https://openai.com/index/introducing-the-model-spec/

https://openai.com/index/introducing-the-model-spec/

openai.com

Reaction

Comment

Share

Jerry

May 8

#AI #LLM

신경망 압축 텍스트로 LLM 학습시키기 (Training LLMs over Neurally Compressed Text)

🔗 https://arxiv.org/pdf/2404.03626

Reaction

Comment

Share

Jerry

May 8

#AI #LLM

Phi-3 기술 보고서 (Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone)

🔗 https://arxiv.org/pdf/2404.14219

Reaction

Comment

Share

Jerry

May 8

#AI #LLM #Graph

ScrapeGraphAI: LLM과 그래프 로직을 사용한 웹 스크래핑

🔗 https://scrapegraph-doc.onrender.com/

🔗 https://github.com/VinciGit00/Scrapegraph-ai

GitHub - VinciGit00/Scrapegraph-ai: Python scraper based on AI

Python scraper based on AI. Contribute to VinciGit00/Scrapegraph-ai development by creating an account on GitHub.

github.com

Hello from Scrapegraph-ai | Scrapegraph-ai

Official documentation of Scrapegraph-ai

scrapegraph-doc.onrender.com

Reaction

Comment

Share

Jerry

May 6

#AI #LLM #Graph

Diffbot

데이터로부터 지식 그래프를 간편히 구축할 수 있는 Natural Language API 제공

무료 및 유료 요금제 존재

LangChain과 연동 지원

🔗 https://docs.diffbot.com/reference/introduction-to-natural-language-api

Introduction to Natural Language API

Extract entities (e.g., people, organizations, products) and data about them (e.g., sentiment, relationships) from raw text

docs.diffbot.com

Reaction

Comment

Share

Jerry

May 5

#AI #LLM

LLM을 텍스트 압축(text compression)에 사용하기

🔗 https://o565.com/llm-text-compression/

DRINK ME: (Ab)Using a LLM to compress text

Introduction Large language models are trained on huge datasets of text to learn the relationships and contexts of words within larger documents. These relationships are what allows the model to generate text. Recently I've read concerns about LLMs being trained on copyrighted text and reproducing it. This got me thinking:

o565.com

Reaction

Comment

Share

Jerry

May 1

#AI

Rainbow Array Algebra

신경망이나 트랜스포머(transformers) 아키텍처 이해에 필요한 선형대수 지식을 시각화로 알기 쉽게 학습할 수 있음

🔗 https://math.tali.link/rainbow-array-algebra/#introduction

Rainbow array algebra

I’ve added a new section on the relation between bubbles and functional programming.

math.tali.link

Reaction

Comment

Share

Jerry

May 1

#AI #LLM

LLM Visualization

LLM의 기본 아키텍처인 트랜스포머(transformers)의 구조를 시각화로 알기 쉽게 표현

🔗 https://bbycroft.net/llm

🔗 https://news.ycombinator.com/item?id=38505211

LLM Visualization | Hacker News

news.ycombinator.com

LLM Visualization

A 3D animated visualization of an LLM with a walkthrough.

bbycroft.net

Reaction

Comment

Share

Jerry

May 1

#AI #LLM

AI 기반 스타트업을 위한 데이터 수집 전략

🔗 https://news.hada.io/topic?id=14556 (번역 및 요약)

🔗 https://press.airstreet.com/p/data-acquisition-strategies-for-ai (원문)

Data acquisition strategies for AI start-ups in 2024

Back in 2016, I came across a prescient guide on data acquisition strategies for AI startups written by Moritz Mueller-Freitag, then co-founder of Twenty Billion Neurons (TwentyBN): We quickly became good friends and explored product applications for TwentyBN’s video understanding technology: large-scale crowd-acted video demonstrations of concepts, actions and situations that could endow machines with visual common sense and intuitive physics. The company was ultimately acquired by Qualcomm, where Moritz now serves as Director of Product Management.

press.airstreet.com

2024년 AI 스타트업을 위한 데이터 수집 전략 | GeekNews

[ #1 대규모 생성형 모델(Large Generative Models) ]LLM과 LMM을 활용한 합성 데이터 생성Large Language Model(LLM)은 텍스트 출력을 생성하는 반면, Large Multi-Modal Model(LMM)은 텍스트, 코드, 이미지 등 다양한 형태의 합성 데이터를 생성할 수 있음실제 데이터가 부족하거나, 개인정보 보호

news.hada.io

Reaction

Comment

Share

Jerry

Apr 29

#AI #LLM

업스테이지, 오픈소스 데이터 ETL 파이프라인 구축 프로젝트 Dataverse 공개

Python을 사용해 추출, 변환, 로드(ETL) 파이프라인을 간소화하도록 설계된 무료로 액세스 가능한 오픈 소스 프로젝트

🔗 https://github.com/UpstageAI/dataverse

🔗 https://ko.upstage.ai/feed/tech/dataverse-preprocessing-open-source

데이터 처리에 관한 오픈소스, 데이터버스 - Upstage

'Dataverse'는 건강한 LLM 데이터 전처리 생태계를 구축하기 위한 업스테이지의 오픈소스 프로젝트입니다. 이 프로젝트가 시작된 계기와 오픈소스 데이터 처리 영역의 미래 전망에 대해 블로그에서 자세히 살펴보세요.

ko.upstage.ai

GitHub - UpstageAI/dataverse: The Universe of Data. All about data, data science, and data engineering

The Universe of Data. All about data, data science, and data engineering - UpstageAI/dataverse

github.com

Reaction

Comment

Share

Jerry

Apr 28

#AI #LLM

Reader(Jina AI)

웹사이트의 구조 및 내용을 LLM의 프롬프트로 이용하기 용이하도록 요약

분석하려는 웹사이트 URL 앞에 접두사 https://r.jina.ai/ 를 붙이면 출력을 확인할 수 있음

AI 어플리케이션의 에이전트 및 RAG 시스템의 출력을 개선할 수 있음

무료로 사용 가능

🔗 https://jina.ai/reader/#demo

🔗 https://github.com/jina-ai/reader

GitHub - jina-ai/reader: Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/

Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/ - jina-ai/reader

github.com

Reader API

Read any URL into LLM-friendly text instantly, hassle-free.

jina.ai

Reaction

Comment

Share

Jerry

Apr 26

#AI

tiny-gpu

GPU의 작동 원리를 기초부터 배우기에 최적화된 최소한의 Verilog GPU 구현

15개 미만의 완전 문서화된 Verilog 파일, 아키텍처 및 ISA에 대한 완전한 문서, 작업 행렬 덧셈/곱셈 커널로 구축

커널 시뮬레이션 및 실행 추적을 완벽하게 지원

🔗 https://github.com/adam-maj/tiny-gpu

GitHub - adam-maj/tiny-gpu: A minimal GPU design in Verilog to learn how GPUs work from the ground up

A minimal GPU design in Verilog to learn how GPUs work from the ground up - adam-maj/tiny-gpu

github.com

Reaction

Comment

Share

Jerry

Apr 23

#AI #LLM

OpenAI Assistant API v2 출시

🔗 https://platform.openai.com/docs/assistants/whats-new

Reaction

Comment

Share

Jerry

Apr 23

#AI #LLM

Dify

오픈 소스 LLM 앱 개발 플랫폼

직관적인 인터페이스에 AI 워크플로우, RAG 파이프라인, 에이전트 기능, 모델 관리, 상태 관찰(observability) 기능 등을 결합하여 프로토타입에서 프로덕션으로 빠르게 전환할 수 있도록 지원

타 AI 개발 플랫폼과의 비교(이미지)

🔗 https://github.com/langgenius/dify

GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.

Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, le...

github.com

Reaction

Comment

Share

Jerry

Apr 22

#AI #LLM

Llama 3 토크나이저를 웹에서 사용해보기

토크나이저는 Llama 3에서의 주요 변경사항 중 하나

토큰 수가 32K에서 128K로 증가

🔗https://belladoreai.github.io/llama3-tokenizer-js/example-demo/build/

llama-tokenizer-js playground

Web site created using create-react-app

belladoreai.github.io

Reaction

Comment

Share

Jerry

Apr 19

#LLM #AI

Meta, Llama3 발표

🔗 https://llama.meta.com/llama3

Reaction

Comment

Share

Jerry

Apr 18

#AI #LMM

Grok-1.5 Vision(Grok-1.5V) Preview

Grok은 X(구 Twitter)에서 구축한 LLM

Grok-1.5V Grok에서 비전 입출력을 더한 멀티모달 버전(LMM)

🔗 https://x.ai/blog/grok-1.5v

Grok-1.5 Vision Preview

Connecting the digital and physical worlds with our first multimodal model.

x.ai

Reaction

Comment

Share

Jerry

Apr 18

#Graph

Solving the minimum cut problem for undirected graphs

그래프에서의 minimum cut은 그래프 파티셔닝과 관련 있는 개념

🔗 https://research.google/blog/solving-the-minimum-cut-problem-for-undirected-graphs/

Solving the minimum cut problem for undirected graphs

research.google

Reaction

Comment

Share

Jerry

Apr 18

#Database #Postgres

Neon, 정식 출시

서버리스(serverless) 형태로 PostgreSQL 호환 데이터베이스를 제공

AWS Aurora Postgres의 서버리스 오픈 소스 대안

🔗 https://neon.tech/blog/neon-ga

Neon: A New Approach to Database Development - Neon

Neon is now Generally Available. We’ve shipped major improvements to Neon internals that, combined with our operating experience scaling up to 700,000+ databases over the past year, give us the confidence that Neon is ready to support your business-critical workloads. If you’re building or scaling an application, you like Postgres, and you prioritize efficiency and […]

neon.tech

Reaction

Comment

Share

Jerry

Apr 18

#Database #Postgres

Supabase, 정식 출시

BaaS(Backend as a Service, 서비스형 백엔드)

프론트엔드 애플리케이션에 백엔드 서비스를 자동화화여 제공하기 위해 사용

Firebase는 NoSQL 기반이며, Supabase는 Firebase의 PostgreSQL 버전

🔗 https://supabase.com/ga

General Availability | Supabase

Supabase is officially launching into General Availability.

supabase.com

Reaction

Comment

Share

Jerry

Apr 14

#Postgres

PostgreSQL index advisor

쿼리에 인덱스가 있어야 하는지 여부를 결정할 수 있는 PostgreSQL extension

Supabase에서 제공

예를 들어, 아래 테이블의 경우

    create table book(
      id int primary key,
      title text not null
    );

'index_advisor()'를 실행하여 select 문에 인덱스가 있어야 하는지 확인할 수 있음

select *
from index_advisor('select book.id from book where title = $1');

출력 예는 다음과 같음

{"CREATE INDEX ON public.book USING btree (title)"}

Postgres 데이터베이스에서 실행된 모든 SQL 문의 실행 통계를 추적하는 pg_stat_statements와 잘 연동됨

본 기능은 리소스를 사용하지 않고도 PostgreSQL이 주어진 인덱스를 사용할지 여부를 결정하는 데 탁월한 extension인 HypoPG에 크게 의존함

🔗 https://github.com/supabase/index_advisor

GitHub - supabase/index_advisor: PostgreSQL Index Advisor

PostgreSQL Index Advisor. Contribute to supabase/index_advisor development by creating an account on GitHub.

github.com

Reaction

Comment

Share

Jerry

Apr 14

#Postgres

pgJQ

pgJQ extension은 내장된 표준 jq 컴파일러를 통해 jq 언어를 Postgres에서 사용할 수 있게 함

jq는 JSON 데이터를 처리하고 변환할 수 있는, 가볍고 유연한 커맨드라인 도구

jq 프로그램을 구현하는 jqprog 데이터 타입과 jsonb 객체에서 이를 실행하는 jq(jsonb, jqprog) 함수가 추가됨

표준 jsonb 함수, 연산자 및 jsonpath와 원활하게 연동

🔗 https://github.com/Florents-Tselai/pgJQ

GitHub - Florents-Tselai/pgJQ: jq extension for Postgres

jq extension for Postgres. Contribute to Florents-Tselai/pgJQ development by creating an account on GitHub.

github.com

Reaction

Comment

Share

Jerry

Apr 14

#AI #LLM #RAG

Dot

Dot은 로컬 LLM과 RAG를 쉽게 사용하여 문서 및 파일과 상호 작용하기 위한 독립형(standalone ) 오픈 소스 앱

완전 독립형이며 Mistral 7B 사본을 포함한 기능들이 패키지로 제공되므로 앱에 쉽게 액세스할 수 있음

프로그래밍이나 로컬(local) LLM에 대한 사전 지식 없이도 사용할 수 있음

애플의 Silicon 이나 Windows 환경에서도 사용 가능

🔗 https://dotapp.uk

🔗 (사용 예) https://dotapp.uk/assets/bigdotvid.webm

Try out the Dot beta

dotapp.uk

Reaction

Comment

Share

Jerry

Apr 11

#AI #LLM #LMM

OpenAI, 비전 버전의 GPT-4 Turbo 모델 API 공개

모델명 gpt-4-turbo-2024-04-09 로 이용할 수 있음

비전에 대한 요청을 JSON 모드와 function calling을 사용할 수 있음

gpt-4-turbo 도 현재 이 버전에 해당

128,000 토큰의 context window 크기 지원, 2023년 12월까지의 데이터 반영

🔗 https://platform.openai.com/docs/models/continuous-model-upgrades

Reaction

Comment

Share

Jerry

Apr 10

#AI #LLM

Lumentis

간단한 command 만으로 녹취록과 같은 텍스트 기록(transcript) 및 비정형 정보로부터 웹페이지 형식의 문서(docs)를 곧바로 생성할 수 있음

작업에 필요한 비용을 실행 전 동적으로 알려줌

작업 종류에 따라 모델 전환 가능

사용자 기록이나 내부 프로세스를 확인할 수 있음

Vercel을 통해 배포

🔗 https://github.com/hrishioa/lumentis?tab=readme-ov-file

🔗 (결과물 예시) https://feynman-lectures.vercel.app/

Introduction to Physical Laws – Nextra

This appears to be a transcript of a series of lectures given by renowned physicist Richard Feynman. He discusses the nature of physical laws, the scientific process of formulating theories and making discoveries, and the challenges and excitement of trying to unravel the fundamental workings of the universe. Key themes include the role of imagination and guesswork in scientific advancement, the relationship between mathematics and the physical world, and the ongoing quest to find a unified, consistent set of principles that can explain all observable phenomena. The lectures were likely given to a general audience interested in physics and aimed at making complex ideas accessible.

feynman-lectures.vercel.app

GitHub - hrishioa/lumentis: AI powered one-click comprehensive docs from transcripts and text.

AI powered one-click comprehensive docs from transcripts and text. - hrishioa/lumentis

github.com

1 Reaction

1 Comment

Reaction

Comment

Share

Jerry

Apr 8

#AI #LLM #RAG

Vector Library vs Vector Database

🔗 https://weaviate.io/blog/vector-library-vs-vector-database

Vector Library versus Vector Database | Weaviate - Vector Database

Learn more about the differences between vector libraries and vector databases!

weaviate.io

1 Reaction

1 Comment

Reaction

Comment

Share

Jerry

Apr 8

#AI #LLM

2024년 데이터, 분석, 머신러닝, AI 생태계(MAD; ML, AI, Data)에 대한 현황 보고서

🔗 https://mad.firstmark.com/

🔗 https://mattturck.com/mad2024/

🔗 https://news.hada.io/topic?id=14209

2024년 ML/AI/Data 업계 지도와 최신 트렌드 | GeekNews

이미지 한장으로 정리한 2024년 MAD(ML,AI,Data) 업계 지도 및 올해의 24가지 테마 설명[Part I : Landscape]2012년 최초 버전에서는 139개 기업만 있었으나, 2024년 MAD 생태계에는 2,011개 기업이 포함됨이는 작년 1,416개에서 578개가 새로 추가된 것이렇게 많은 기업이 포함된 이유는 최근 10여년간 데이터 인프

news.hada.io

Full Steam Ahead: The 2024 MAD (Machine Learning, AI & Data) Landscape

This is our tenth annual landscape and “state of the union” of the data, analytics, machine learning and AI ecosystem. In 10+ years covering the space, things have never been as exciting and promising as they are today. All trends and subtrends we described over the years are coalescing: data ha

mattturck.com

FirstMark | 2024 MAD (ML/AI/Data) Landscape

The 2024 MAD (ML/AI/Data) Landscape is the definitive market map of companies and products in machine learning, artificial intelligence and data, compiled by FirstMark.

mad.firstmark.com

1 Reaction

1 Comment

Reaction

Comment

Share

Jerry

Apr 7

#AI #LLM

Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch

언어 모델(LM)이 재학습 또는 GPU를 이용한 작업 없이도 동종 모델의 파라미터를 흡수하여 새로운 기능을 획득할 수 있음

🔗 https://news.ycombinator.com/item?id=39952826

🔗 https://arxiv.org/abs/2311.03099

Language Models are Super Mario: Absorbing Abilities from...

In this paper, we unveil that Language Models (LMs) can acquire new capabilities by assimilating parameters from homologous models without retraining or GPUs. We first introduce DARE to set most...

arxiv.org

Language models are Super Mario: Absorbing abilities from homologous models | Hacker News

news.ycombinator.com

Reaction

Comment

Share

Jerry

Apr 7

#Databases

drawDB

브라우저에서 바로 사용할 수 있는, 사용자 친화적인 데이터베이스 엔티티 관계(database entity relationship, DBER) 편집기

계정을 만들지 않고도 몇 번의 클릭만으로 다이어그램을 작성하고, SQL 스크립트를 내보내고, 편집기를 사용자 지정하는 등의 작업을 수행할 수 있음

🔗 https://drawdb.vercel.app/

🔗 https://github.com/drawdb-io/drawdb

GitHub - drawdb-io/drawdb: Free, simple, and intuitive online database design tool and SQL generator.

Free, simple, and intuitive online database design tool and SQL generator. - drawdb-io/drawdb

github.com

drawDB | Online database diagram editor and SQL generator

Online database entity-realtionship diagram editor and SQL generator. Design, visualize, and export scripts without an account and completely free of charge.

drawdb.vercel.app

Reaction

Comment

Share